跳转至

「采样提示」在任何采集进行时都误报

怎么发现的

Tony 发来一张正在采集时的截图,让我确认 v0.10.185 有没有问题。 采集本身没问题(今日新增 +127,注入链路正常)。但截图里有两处数字对不上:

商家列表标题 129    分页「共 128 条」    chip「全部 35」
chip:全部 35 | 已挖掘 5 | 待挖掘 28        ← 5 + 28 = 33 ≠ 35
数据只有 129 条,却显示「是最近 100,000 条的采样数」

前两个是已知取舍(三处轮询节拍不同:5s / 5s / 30s,采集中数字在涨,已记档)。 第三个不是。

根因:判据量的是状态差,不是截断

const sampleSize = sampleDone.length + samplePending.length;  // 只装 status 2 和 0
truncated: total > sampleSize,                                 // total 数全部四态

scrape_status 有四态:

值 含义 在样本窗口里吗
0 待挖掘 ✅ samplePending
1 挖掘中(engine-manager.ts:720 起跑即置 1) ❌
2 已完成 ✅ sampleDone
3 失败终态 ❌

⇒ 只要有一行处于 1 或 3,total > sampleSize 就成立。

而「挖掘中」在任何一次采集进行时都必然存在 —— 所以这个 flag 事实上是「只要在采集就为真」,与 5 万行采样上限毫无关系。

截图就是证据:129 条数据的库,弹出「最近 100,000 条的采样数」。 129 条根本不可能触发采样。

🔴 危害不是多一条提示,是它说的话是假的

那条提示原文:

「有邮箱/有网址/高评分」是最近 100,000 条的采样数, 用它们筛选时实际范围也在采样内

而在 129 条的库里,全部数据都在样本内,那几个 chip 的筛选结果是准确的。

⇒ 提示在教用户不要相信一个正确的结果。比不提示更糟。

顺带还有第二层:真正该警示的场景(数据真的超过 5 万)被日常噪音淹掉了 —— 和同一天修的那 36 条 preload 警告(0157-war-wildcard-exposed-background-script) 是同一类病:噪音把信号盖住。

同一个字段,两条路径,一条对一条错

无 taskId:truncated = total > sampleSize                    ← 错(本 issue)
有 taskId:truncated = allRows.length >= ROWS_CAP            ← 一直是对的

有 taskId 那条量的就是「窗口撞墙」。两条路径对同一个概念给了两种判据, 而只有错的那条是日常路径(不按任务筛选时走它)。

修

const truncated = sampleDone.length >= ROWS_CAP || samplePending.length >= ROWS_CAP;

两个窗口都要判 —— 只判已采窗会漏掉「待挖掘行撑满窗口」的情形(定向变异已证明)。

⚠️ 另一种「没覆盖全」是真的,但与截断无关:status=3 的失败行不进任何一个窗口, 所以 withWebsite / highRating 会漏掉它们。那是口径问题, 写在展开说明里,不该由 truncated 这个「窗口撞墙」的信号来表达。

连带:一段被当成事实的错误注释

local-data-view.tsx 里有段注释写着:

三个数原本出自【同一次】并发 countByQuery,所以 已挖掘 + 待挖掘 = 全部 这条算术在屏幕上是成立的

那句是错的,而且它是支撑一个设计决策(不能单独把 total 换成 5s 节拍)的理由之一。 判据不互补 ⇒ 结构性地加不起来,差额 = 挖掘中 + 失败的行数。

⚠️ 结论仍然成立,理由要改对:同一时点取数时,差额是可解释的(就是 1/3 两态的条数); 混节拍会让差额变成「时点差 + 状态差」的混合,那才是真正说不清的。

UI 上也把这件事讲明白了:提示里补一句 「已挖掘 + 待挖掘通常小于全部 —— 差的是正在挖掘中和挖掘失败的商家」。

验证

tests/merchant-stats-truncated.test.ts 5 条行为测试(mock jsstore/base,跑真实现): 采集中窗口没满不报截断 · 已采窗撞墙要报 · 待采窗撞墙要报 · 空库不报 · 把「已挖掘 + 待挖掘 < 全部」这个反直觉事实钉住(用截图里的真实组合 35/5/28)。

2 条定向变异打红(退回旧判据 / 只判已采窗),每条先与备份 diff 确认写入。

元教训

「这个 flag 为什么总是真」是一个该被问出口的问题。

它上线以来大概一直在误报(只要在采集就为真),但每个人看到提示都会想 「哦数据挺多的」然后翻过去 —— 恒真的告警和没有告警,信息量相同。

判据一旦量错了东西,它的输出仍然是一个像模像样的布尔值, 不会报错、不会红测试。发现它的唯一途径是有人盯着一个具体数字问「这对吗」。

🔴 v0.10.187 返工:本文的诊断只对了一半

对抗审(dshf)指出两处:

  1. 新判据 >= ROWS_CAP 在边界值误报 —— 窗口恰好装满、一条都没截也报截断。 同仓 manual-rescrape.ts:90-101 早踩过并修好(多取 1 行 + >),我又踩了一次。
  2. 旧判据不是「量错了东西」,是「被安错了名字」 —— 它量的是「有多少行没进样本」,那是真实且有用的量。整个换掉之后, 「窗口没满但大量行不在样本里」的场景(20 万行里 15 万条失败)信号彻底消失。

⇒ 拆成两个独立信号:truncated(窗口撞墙)+ failedCount(失败行,不进任何窗口)。 完整复盘见 0159-sticky-eaten-by-card-overflow-and-truncated-rework。