ISSUE-0210 采到商家的组合反而标不上「已采集」¶
现象(Tony 实测 v0.16.27)¶
任务详情「已采集」一直显示 1,而他确认采到了大量新商家(左侧商家列表 322 → 687)。 原话:「我可以确认是新采集到的 但是一直显示0,你没发现 已采集也不对吗?」
根因:越采得到,越标不上¶
页面侧 content-button/index.tsx:323 sendMessage('store-page-data') 不 await,发完就走
content-button/index.tsx:348 reportBatchDone() 紧接着发 'batch-done'
后台 'batch-done' -> onTabDone -> finalizeTab
activeTabs.delete(tabId) 同步,在第一个 await 之前
'store-page-data' -> storePageOneData
await settingParamsStorageItem.getValue()
await addSearchData(...)
markComboForTab(taskId, tabId, added) 此时 activeTabs 已空 -> return
markComboForTab 的定位链是 activeTabs.get(tabId) -> urlIndex -> tasks.get(taskId).combos[urlIndex],
拿不到就 return,不报错、不留日志。
⇒ 只要这个组合搜到了商家(p1List.length > 0),它几乎必然标不上 done。 ⇒ 而「搜到 0 条」那条分支在所有 await 之前就回写了(v0.16.7 为 ISSUE-0190 加的) ⇒ 能标上的基本只有空结果的组合。
Tony 看到的「已采集 1」= 唯一一个返回 0 条的组合。
为什么藏到现在:这条链路零行为判据¶
独立审查方(dshf)的变异证明:把 activeTabs.get(tabId) 改成 activeTabs.get(-1)
(组合回写彻底打死),7 个测试文件 119 条测试全绿。
守它的只有 tests/task-follow-up.test.ts 里一条 grep 源码字面的正则,换个参数不会红。
这正是 docs/rules/behavior-level-predicates.md 要治的形态:判据在量源码长什么样,不在量它做了什么。
同一批坐实的另外三条¶
A. finishTask 的顺序会导致队列静默永久停摆¶
844 tasks.delete(taskId); 先从内存删
845 await persistTasks(); 无 try/catch,全量序列化 41 万条 urls+combos
861 onBatchDoneHandler(taskId); 唯一写 status:'done' 的触发,在最后
MapTask.status 永远停在 running
⇒ 队列不再 pump、无任何日志,只能等 SW 重启。
B. 翻页产生的商家一条账都没记¶
翻页 job 脱离 tab 跑(没有 tabId),入库后只调 recordTaskProgress,
没有任何组合回写,也不累加组合行的 resultCount。第 2 页起采到的商家在组合账上完全不存在。
C. 没有「本任务实际入库了多少商家」这个持久数¶
详情页的「净增」读 MapTask.resultCount,而它只在整个任务跑完那一刻算一次全局差值(见 ISSUE-0209)。
修法(v0.16.28)¶
- 派发时就把组合身份绑死在 tabId 上:
tabToComboBinding(taskId + comboKey),openTabForTask派发时写入,回写完成后才解绑;孤儿绑定 10 分钟超时清理并留痕。 关 tab 与入库因此可以并行,不牺牲采集吞吐。 - 拒绝跨任务兜底:带 tabId 的消息只认派发绑定,不再回退
local:currentTaskId(多任务并行时那个单值会把商家和组合记到错的任务上)。markComboForTab额外校验binding.taskId === taskId。 - 回写失败必须留痕:全部走
logShortCircuitOnce持久 sysLog (console 在 SW 死后不可查,ISSUE-0146 的教训)。 - PagingJob 持久携带 comboKey,翻页结果也回写组合账;旧 job 缺该字段时降级并留痕。
- 按 taskId 持久累加实际入库数,作为净增的真值来源。
账本落在中立模块
src/utils/task-ingested.ts(keylocal:task-ingested,串行 write chain), 导出getIngestedCount/clearIngestedCount/incrementIngestedCount。 跨暂停/停止/续跑/补搜保留,只有真正删除任务才清。 为什么是中立模块而不是留在batch-controller.ts:那是 background-only 模块(整个采集调度器), UI 侧只为读一个数就 import 它,会把调度器整个打进 UI bundle。 读端由task-store.ts的setIngestedCountReader注入,background 与 main 两个 JS 上下文各注入一次 (模块级单例按上下文隔离,SW 里注入的那次到不了 UI)。 - persistTasks 加 try/catch + 留痕;
finishTask用finishingTasks+finally保证onBatchDoneHandler单次且必定触发。
行为判据(新增)¶
tests/batch-controller-writeback.test.ts 真实驱动:竞态、零结果、翻页、持久化失败、并发累加、跨任务误写。
七组反向变异逐条验证(改坏实现 -> 对应断言红):
| 变异 | 结果 |
|---|---|
改回 activeTabs 定位 |
2/6 红 |
移除翻页 markComboByKey |
1/6 红 |
吞掉 onBatchDoneHandler |
1/6 红 |
| 停掉入库账累加 | 2/6 红 |
恢复 currentTaskId 兜底 |
1/6 红 |
移除 ingestedWriteChain 串行化 |
1/6 红(累计 7 实得 5) |
| 改坏 persistTasks 持久日志标签 | 1/6 红 |
scan:mv3 基线变更的人工判定(必须留证)¶
本次新增 2 处 setTimeout 命中,人工判定为合理设计后存入 .mv3-scan-baseline.json:
| 位置 | 判定 | 理由 |
|---|---|---|
batch-controller.ts:155 |
非真命中 | cleanupTimer: ReturnType<typeof setTimeout> \| null 是类型声明,扫描器的字面匹配 |
batch-controller.ts:434 |
合理设计 | 10 分钟的孤儿绑定清理 timer。MV3 的 SW 空闲 30 秒即被回收、该 timer 不保证执行 —— 但 tabToComboBinding 是模块级 const ... = new Map()(:168),SW 回收时它随模块一起消失、绑定自动清理。timer 不执行的唯一后果是少写一条诊断日志,不是功能缺陷 |
v0.16.29 追加的 7 处(绑定持久化引入)¶
| 位置 | 判定 | 理由 |
|---|---|---|
:169 retentionTimer: / :237 bindingsPersistTimer: |
非真命中 | ReturnType<typeof setTimeout> 是类型声明,扫描器的字面匹配 |
:691 cleanupTimer = setTimeout(...) / :698 retentionTimer = setTimeout(...) |
合理设计 | 超时由 createdAt 重放:remain = Math.max(0, WINDOW - (Date.now() - binding.createdAt))。SW 回收后 timer 消失,但恢复路径重新 arm,剩余窗口按真实年龄算 ⇒ 不依赖 timer 存活 |
:241 1 秒防抖持久化 |
合理设计 | SW 在防抖窗口内被回收 ⇒ 最后 ≤1 秒的绑定变更未落盘。后果是那几笔回写归不了组,但它们会落进 local:combo-writeback-unattributed(有去处,恒等式仍成立)⇒ 可接受的退化,不是静默丢失 |
:514 let unattributedWriteChain |
合理设计 | 与已在基线的 ingestedWriteChain 同形态:SW 回收后重置为 Promise.resolve(),此时没有旧的并发写者 |
v0.16.30 追加的 2 处(rollup sweep 的总时限)¶
| 位置 | 判定 | 理由 |
|---|---|---|
background/index.ts:203 |
非真命中 | let timer: ReturnType<typeof setTimeout> 是类型声明 |
background/index.ts:205 |
合理设计 | sweep 的 20 秒 deadline timer。SW 若在 20 秒内被回收,整个 Promise.race 连同 sweep 一起消失 —— timer 不执行没有任何遗留后果(不像持久化状态那样会留下半截数据);正常路径有 clearTimeout 清理 |
教训¶
「拿不到就什么都不做(降级,不报错)」是一种会自我隐藏的设计。 原注释把这条 return 写成「老任务、SW 重启后恢复的旧持久化数据」的兜底, 但它实际命中的是最常见的正常路径。降级路径没有留痕,就没有人会发现它变成了主路径。
⇒ 凡是写「降级,不报错」的地方,必须问一句:如果这条降级变成了主路径,我怎么会知道?