跳转至

ISSUE-0210 采到商家的组合反而标不上「已采集」

现象(Tony 实测 v0.16.27)

任务详情「已采集」一直显示 1,而他确认采到了大量新商家(左侧商家列表 322 → 687)。 原话:「我可以确认是新采集到的 但是一直显示0,你没发现 已采集也不对吗?」

根因:越采得到,越标不上

页面侧  content-button/index.tsx:323   sendMessage('store-page-data')   不 await,发完就走
        content-button/index.tsx:348   reportBatchDone()                紧接着发 'batch-done'

后台    'batch-done'      -> onTabDone -> finalizeTab
                             activeTabs.delete(tabId)                   同步,在第一个 await 之前
        'store-page-data' -> storePageOneData
                             await settingParamsStorageItem.getValue()
                             await addSearchData(...)
                             markComboForTab(taskId, tabId, added)      此时 activeTabs 已空 -> return

markComboForTab 的定位链是 activeTabs.get(tabId) -> urlIndex -> tasks.get(taskId).combos[urlIndex], 拿不到就 return,不报错、不留日志。

⇒ 只要这个组合搜到了商家(p1List.length > 0),它几乎必然标不上 done。 ⇒ 而「搜到 0 条」那条分支在所有 await 之前就回写了(v0.16.7 为 ISSUE-0190 加的) ⇒ 能标上的基本只有空结果的组合。

Tony 看到的「已采集 1」= 唯一一个返回 0 条的组合。

为什么藏到现在:这条链路零行为判据

独立审查方(dshf)的变异证明:把 activeTabs.get(tabId) 改成 activeTabs.get(-1) (组合回写彻底打死),7 个测试文件 119 条测试全绿。 守它的只有 tests/task-follow-up.test.ts 里一条 grep 源码字面的正则,换个参数不会红。

这正是 docs/rules/behavior-level-predicates.md 要治的形态:判据在量源码长什么样,不在量它做了什么。

同一批坐实的另外三条

A. finishTask 的顺序会导致队列静默永久停摆

844  tasks.delete(taskId);        先从内存删
845  await persistTasks();        无 try/catch,全量序列化 41 万条 urls+combos
861  onBatchDoneHandler(taskId);  唯一写 status:'done' 的触发,在最后
中间任一 await 抛错 ⇒ 任务已从内存删除、但 MapTask.status 永远停在 running ⇒ 队列不再 pump、无任何日志,只能等 SW 重启。

B. 翻页产生的商家一条账都没记

翻页 job 脱离 tab 跑(没有 tabId),入库后只调 recordTaskProgress, 没有任何组合回写,也不累加组合行的 resultCount。第 2 页起采到的商家在组合账上完全不存在。

C. 没有「本任务实际入库了多少商家」这个持久数

详情页的「净增」读 MapTask.resultCount,而它只在整个任务跑完那一刻算一次全局差值(见 ISSUE-0209)。

修法(v0.16.28)

  1. 派发时就把组合身份绑死在 tabId 上:tabToComboBinding(taskId + comboKey), openTabForTask 派发时写入,回写完成后才解绑;孤儿绑定 10 分钟超时清理并留痕。 关 tab 与入库因此可以并行,不牺牲采集吞吐。
  2. 拒绝跨任务兜底:带 tabId 的消息只认派发绑定,不再回退 local:currentTaskId (多任务并行时那个单值会把商家和组合记到错的任务上)。 markComboForTab 额外校验 binding.taskId === taskId。
  3. 回写失败必须留痕:全部走 logShortCircuitOnce 持久 sysLog (console 在 SW 死后不可查,ISSUE-0146 的教训)。
  4. PagingJob 持久携带 comboKey,翻页结果也回写组合账;旧 job 缺该字段时降级并留痕。
  5. 按 taskId 持久累加实际入库数,作为净增的真值来源。 账本落在中立模块 src/utils/task-ingested.ts(key local:task-ingested,串行 write chain), 导出 getIngestedCount / clearIngestedCount / incrementIngestedCount。 跨暂停/停止/续跑/补搜保留,只有真正删除任务才清。 为什么是中立模块而不是留在 batch-controller.ts:那是 background-only 模块(整个采集调度器), UI 侧只为读一个数就 import 它,会把调度器整个打进 UI bundle。 读端由 task-store.ts 的 setIngestedCountReader 注入,background 与 main 两个 JS 上下文各注入一次 (模块级单例按上下文隔离,SW 里注入的那次到不了 UI)。
  6. persistTasks 加 try/catch + 留痕;finishTask 用 finishingTasks + finally 保证 onBatchDoneHandler 单次且必定触发。

行为判据(新增)

tests/batch-controller-writeback.test.ts 真实驱动:竞态、零结果、翻页、持久化失败、并发累加、跨任务误写。 七组反向变异逐条验证(改坏实现 -> 对应断言红):

变异 结果
改回 activeTabs 定位 2/6 红
移除翻页 markComboByKey 1/6 红
吞掉 onBatchDoneHandler 1/6 红
停掉入库账累加 2/6 红
恢复 currentTaskId 兜底 1/6 红
移除 ingestedWriteChain 串行化 1/6 红(累计 7 实得 5)
改坏 persistTasks 持久日志标签 1/6 红

scan:mv3 基线变更的人工判定(必须留证)

本次新增 2 处 setTimeout 命中,人工判定为合理设计后存入 .mv3-scan-baseline.json:

位置 判定 理由
batch-controller.ts:155 非真命中 cleanupTimer: ReturnType<typeof setTimeout> \| null 是类型声明,扫描器的字面匹配
batch-controller.ts:434 合理设计 10 分钟的孤儿绑定清理 timer。MV3 的 SW 空闲 30 秒即被回收、该 timer 不保证执行 —— 但 tabToComboBinding 是模块级 const ... = new Map()(:168),SW 回收时它随模块一起消失、绑定自动清理。timer 不执行的唯一后果是少写一条诊断日志,不是功能缺陷

v0.16.29 追加的 7 处(绑定持久化引入)

位置 判定 理由
:169 retentionTimer: / :237 bindingsPersistTimer: 非真命中 ReturnType<typeof setTimeout> 是类型声明,扫描器的字面匹配
:691 cleanupTimer = setTimeout(...) / :698 retentionTimer = setTimeout(...) 合理设计 超时由 createdAt 重放:remain = Math.max(0, WINDOW - (Date.now() - binding.createdAt))。SW 回收后 timer 消失,但恢复路径重新 arm,剩余窗口按真实年龄算 ⇒ 不依赖 timer 存活
:241 1 秒防抖持久化 合理设计 SW 在防抖窗口内被回收 ⇒ 最后 ≤1 秒的绑定变更未落盘。后果是那几笔回写归不了组,但它们会落进 local:combo-writeback-unattributed(有去处,恒等式仍成立)⇒ 可接受的退化,不是静默丢失
:514 let unattributedWriteChain 合理设计 与已在基线的 ingestedWriteChain 同形态:SW 回收后重置为 Promise.resolve(),此时没有旧的并发写者

v0.16.30 追加的 2 处(rollup sweep 的总时限)

位置 判定 理由
background/index.ts:203 非真命中 let timer: ReturnType<typeof setTimeout> 是类型声明
background/index.ts:205 合理设计 sweep 的 20 秒 deadline timer。SW 若在 20 秒内被回收,整个 Promise.race 连同 sweep 一起消失 —— timer 不执行没有任何遗留后果(不像持久化状态那样会留下半截数据);正常路径有 clearTimeout 清理

教训

「拿不到就什么都不做(降级,不报错)」是一种会自我隐藏的设计。 原注释把这条 return 写成「老任务、SW 重启后恢复的旧持久化数据」的兜底, 但它实际命中的是最常见的正常路径。降级路径没有留痕,就没有人会发现它变成了主路径。

⇒ 凡是写「降级,不报错」的地方,必须问一句:如果这条降级变成了主路径,我怎么会知道?