跳转至

ISSUE-0227 42w 库 P0 止血

来源

Tony 报障「42w 商家打开插件都很卡 浏览器点击下拉那都很卡」→ 深析(raw: 2026-10-02-42w-lag-analysis)→ 双席对抗审修订版(commit 211c32d)→ Tony 拍板 「按照你建议先改完」:先实测定案,再落 P0。

修法(对抗审修订版 P0 方案)

  1. getDataCounts 降频(main-layout.tsx:95-106):数据条统计轮询独立降频 5s→30s 级(新独立常量,不动 FAST_DATA_POLL_MIN_MS 其他消费方)。🔴 红线: 顶部数据条必须有数;挖掘入库/删除/导入后的刷新触发点逐一核,用户主动操作 后仍要及时刷新(不许降频降成死数字)。数字口径属窗口估算(对抗审已记), 本刀不改口径只降频。
  2. 孤儿扫描按需化(task-filter-picker.tsx:32-57):60s 轮询+refreshDeps:[tasks] (实际 ~5s 一次)改为下拉打开时计算一次 + 结果随任务列表变化失效;下拉 打开到出结果加 loading 态(微文案跟仓风格)。grep 已证 orphanIds 唯一消费方 是 picker 本体,无阉割面。
  3. 修 M2 判定不完整:现 {limit:100000} 无排序只看主键序前 10 万行,42w 下 后段任务永远进不了孤儿判定。修法方向(写手按调研选优,写明理由): a) selectByQuery 列裁剪只取 taskId(若 jsstore 支持,数据量骤减可全表); b) taskId 索引 distinct 游标;c) 以上都不行则去 limit 全表一次(按需场景下 可接受,需 loading 态与耗时说明)。判定完整性必须提升(至少覆盖全库)。
  4. 实测基线先行:本地造 42w 假库(按分析处方分布:status=0 大头/status=2 数万/ status=3 少量,行均 ~1KB)+ 原生 IDB 探针页复刻三个查询模式(两窗 order+limit / count / 100k+ 拉取),量单次耗时 → 定案 M1 全子集扫量级,同时作为 P0 前后 对比基线。探针不进 tests/layout/(避免 T2 误升),放 tests/perf/ 或 scripts/。
  5. Tony 真机探针:交付一段可贴扩展页 console 的探针代码(0216 前例风格), 供 Tony 在真 42w 库上双采样定案「整机卡」归因(UNVERIFIED 维持,不静态定案)。

状态

  • 2026-10-02 开账(Tony 拍板),v0.16.79 处理。P1(事件合并/count 收口/M1 order 子集扫)与 P2(增量派生索引)另刀,按实测结果再排。
  • 2026-10-02 fixed in v0.16.79:实测基线先行(tests/perf/42w-baseline.md—— 两窗 status=0 全子集扫 30w 步中位 1989ms,钉死 M1 6× 名义值;taskId 索引 distinct 3.1s 否决备选 b);修 1 数据条独立常量 DATA_COUNTS_POLL_MIN_MS=30s (main-layout 接入,红线核过——主动操作刷新路径不受影响);修 2/3 孤儿扫描 删轮询改下拉打开按需 + tasksStableKey 缓存失效 + loading 态,M2 去 limit 全表 distinct 判定覆盖全库。测试:新 12 例行为/源码钉 + 常量契约防回潮;compile 0 错、 全量 189 files/2909 tests 绿、build 出 dist-v2/chrome-mv3。详见 docs/changelog/development-log.md v0.16.79 条目。Tony 真机探针备妥 (tests/perf/tony-console-probe.js),双采样定案「整机卡」归因仍待 Tony 跑。
  • 2026-10-02 T2 双审回环(glm-flash GO-WITH-WARNINGS / luna NO-GO 一票否决): status 回 in-progress。修三处:① P1 红线违约——删除/清空成功后数据条实际 陈旧最长 30s(初版 changelog「主动路径不依赖轮询」声称不符),补 onDataMutated prop 链(MainLayout→DataView→LocalDataView→LocalToolbar)即时刷新,高频 maps-data-updated 事件不接(防风暴);② P2-1 扫描失败吞 [] 被缓存永不重试, 改抛出+失败不写缓存+下次打开自动重试;③ P2-2 M2 选型证据补全——getAllKeys 路线实测(三轮结果异常:返回主键而非索引键,已加 cursor 对照自证重跑定案)+ 420k 全表整行 distinct 真测(非外推)。P3 顺手:stableKey 排序+编码、 data-bar 注释改 30s、初帧空 tasks 跳过、stale race 守卫。测试 17+6 例全绿。
  • 2026-10-02 luna 二验 NO-GO 两条,小修收口:① P1——email 清洗(改 emails 字段⇒邮箱去重数变)与手动重采(scrape_status 改 0⇒已采/待采数变)上轮被 「只改字段不改条数」误排除,本轮各接 onDataMutated(email-cleanup-button.tsx 清洗成功回调 + data-view.tsx 重采成功回调),接线测试补两路径(wiring 测试 现 8 例);② P2 定性订正——getAllKeys 按 W3C 规范本来就返回主键(首轮误判 为 Chrome 154 引擎 bug),IDB 无批量取索引键原生方法 ⇒ b 路线只剩逐条 key 游标(4846ms 慢于 c),选型维持 c 不变、否决理由改真。三处措辞订正 (baseline.md ⑤ 节 / task-filter-picker.tsx 头注 / devlog 回环节)。 status 保持 in-progress 待复审收口。
  • 2026-10-03 尾巴 P1 已处理:M1 两窗子集扫换原生 IDB 索引倒序游标 50k 聚合 (data-counts.ts;口径唯一真源 + fallback 红线 + 对账测试 11 例;42w 实测两窗 2347→847ms,详见 42w-baseline.md「P1 实测」节)。版本号随主控收口统一 bump。

收口记录(2026-10-02)

三轮回环:首轮交付(降频+按需化+基线)→ T2 双审 luna NO-GO(主动操作红线违约) →回环一(四层接线+getAllKeys 实测+失败重试+P3)→ luna 二验 NO-GO(email 清洗/手动 重采计数口径违约+getAllKeys「引擎 bug」定性错误——后者源头是主控任务书预期错, IDBIndex.getAllKeys() 规范即返回主键)→小修(两路径接线+定性订正,190/2922 绿) →luna 三验 P1 PASS / P2 主体 PASS,剩余 probe 注释旧措辞(P2 级,按分级映射禁止 NO-GO)由主控直接订正收口;backup/ 快照为历史备份不回改。主控独立复跑:定向 31/31、compile 0 错、全量 190 files / 2922 tests 绿、build 0.16.79。

尾巴账本

  • ~~[P2·下刀] M1 order 子集扫(两窗去 order:实测 count 211ms vs 两窗 2.6s,收益已 量化)~~ 已处理(2026-10-03 P1 刀):data-counts.ts 两窗统计换原生 IndexedDB scrape_status 索引倒序游标(openCursor(only(status),'prev'),走最多 50,000 步 即停,边走边聚合不收集整行数组);42w 实测两窗合计 2347→847ms(~2.8×),步数 300k/100k → 50k/50k(tests/perf/42w-baseline.md「P1 实测」节)。口径抽唯一真源 createWindowAggregateAcc 新旧两路共用,对账测试 tests/data-counts-cursor-aggregate.test.ts;红线:原生 IDB 失败 console.warn + 回退旧 jsstore 两窗,jsstore 也挂返回 EMPTY,不抛(顶部数据条必须有数)。 未达 <300ms 预期(残余=整行物化成本),压缩余量归下面 P2 聚合表。 尾巴余项「事件 dirty-bit + count 共享 scheduler」仍未做,另刀。
  • [P2·观察] 全表 distinct c 路线 ~4.2s/次 + ~336MB 过手尖峰(按需一次性);100w 外推 ~10s,届时升 P1 做增量聚合表。
  • [P3] wiring 清洗测试钉「回调存在」未钉 success-only 顺序(源码正确,测试强度缺口)。
  • [待实测] Tony 真机探针(tests/perf/tony-console-probe.js)——「整机卡」归因与 真库三查询实测,回帖 PROBE_DONE JSON 即可。

P1 收口补记(2026-10-03)

  • terra T1 轮值审 B 刀:GO(A 刀)/ GO-WITH-WARNINGS(B 刀,P2=语义等价证据原在 /tmp 已被清)。主控重建仓内可复现验证 tests/perf/p1-semantics-eq.mjs (spawn+stderr 流模式,照 probe-42w-lib.mjs 成熟通道;dump-dom/virtual-time 对 IDB 异步不可靠——B 刀首报同坑):真 IDB 600 行乱序 status+倒序覆盖写, prev 游标窗口 vs 旧「全子集排序切片」逐主键相等,VERDICT: OK(含 limit 1/7/50/600 超/欠边界 × 状态 0/2/3)。测试数订正:cursor-aggregate 实为 11 例。