「采样提示」在任何采集进行时都误报¶
怎么发现的¶
Tony 发来一张正在采集时的截图,让我确认 v0.10.185 有没有问题。 采集本身没问题(今日新增 +127,注入链路正常)。但截图里有两处数字对不上:
商家列表标题 129 分页「共 128 条」 chip「全部 35」
chip:全部 35 | 已挖掘 5 | 待挖掘 28 ← 5 + 28 = 33 ≠ 35
数据只有 129 条,却显示「是最近 100,000 条的采样数」
前两个是已知取舍(三处轮询节拍不同:5s / 5s / 30s,采集中数字在涨,已记档)。 第三个不是。
根因:判据量的是状态差,不是截断¶
const sampleSize = sampleDone.length + samplePending.length; // 只装 status 2 和 0
truncated: total > sampleSize, // total 数全部四态
scrape_status 有四态:
| 值 | 含义 | 在样本窗口里吗 |
|---|---|---|
| 0 | 待挖掘 | ✅ samplePending |
| 1 | 挖掘中(engine-manager.ts:720 起跑即置 1) |
❌ |
| 2 | 已完成 | ✅ sampleDone |
| 3 | 失败终态 | ❌ |
⇒ 只要有一行处于 1 或 3,total > sampleSize 就成立。
而「挖掘中」在任何一次采集进行时都必然存在 —— 所以这个 flag 事实上是「只要在采集就为真」,与 5 万行采样上限毫无关系。
截图就是证据:129 条数据的库,弹出「最近 100,000 条的采样数」。 129 条根本不可能触发采样。
🔴 危害不是多一条提示,是它说的话是假的¶
那条提示原文:
「有邮箱/有网址/高评分」是最近 100,000 条的采样数, 用它们筛选时实际范围也在采样内
而在 129 条的库里,全部数据都在样本内,那几个 chip 的筛选结果是准确的。
⇒ 提示在教用户不要相信一个正确的结果。比不提示更糟。
顺带还有第二层:真正该警示的场景(数据真的超过 5 万)被日常噪音淹掉了 —— 和同一天修的那 36 条 preload 警告(0157-war-wildcard-exposed-background-script) 是同一类病:噪音把信号盖住。
同一个字段,两条路径,一条对一条错¶
无 taskId:truncated = total > sampleSize ← 错(本 issue)
有 taskId:truncated = allRows.length >= ROWS_CAP ← 一直是对的
有 taskId 那条量的就是「窗口撞墙」。两条路径对同一个概念给了两种判据, 而只有错的那条是日常路径(不按任务筛选时走它)。
修¶
两个窗口都要判 —— 只判已采窗会漏掉「待挖掘行撑满窗口」的情形(定向变异已证明)。
⚠️ 另一种「没覆盖全」是真的,但与截断无关:status=3 的失败行不进任何一个窗口,
所以 withWebsite / highRating 会漏掉它们。那是口径问题,
写在展开说明里,不该由 truncated 这个「窗口撞墙」的信号来表达。
连带:一段被当成事实的错误注释¶
local-data-view.tsx 里有段注释写着:
三个数原本出自【同一次】并发 countByQuery,所以 已挖掘 + 待挖掘 = 全部 这条算术在屏幕上是成立的
那句是错的,而且它是支撑一个设计决策(不能单独把 total 换成 5s 节拍)的理由之一。 判据不互补 ⇒ 结构性地加不起来,差额 = 挖掘中 + 失败的行数。
⚠️ 结论仍然成立,理由要改对:同一时点取数时,差额是可解释的(就是 1/3 两态的条数); 混节拍会让差额变成「时点差 + 状态差」的混合,那才是真正说不清的。
UI 上也把这件事讲明白了:提示里补一句 「已挖掘 + 待挖掘通常小于全部 —— 差的是正在挖掘中和挖掘失败的商家」。
验证¶
tests/merchant-stats-truncated.test.ts 5 条行为测试(mock jsstore/base,跑真实现):
采集中窗口没满不报截断 · 已采窗撞墙要报 · 待采窗撞墙要报 · 空库不报 ·
把「已挖掘 + 待挖掘 < 全部」这个反直觉事实钉住(用截图里的真实组合 35/5/28)。
2 条定向变异打红(退回旧判据 / 只判已采窗),每条先与备份 diff 确认写入。
元教训¶
「这个 flag 为什么总是真」是一个该被问出口的问题。
它上线以来大概一直在误报(只要在采集就为真),但每个人看到提示都会想 「哦数据挺多的」然后翻过去 —— 恒真的告警和没有告警,信息量相同。
判据一旦量错了东西,它的输出仍然是一个像模像样的布尔值, 不会报错、不会红测试。发现它的唯一途径是有人盯着一个具体数字问「这对吗」。
🔴 v0.10.187 返工:本文的诊断只对了一半¶
对抗审(dshf)指出两处:
- 新判据
>= ROWS_CAP在边界值误报 —— 窗口恰好装满、一条都没截也报截断。 同仓manual-rescrape.ts:90-101早踩过并修好(多取 1 行 +>),我又踩了一次。 - 旧判据不是「量错了东西」,是「被安错了名字」 —— 它量的是「有多少行没进样本」,那是真实且有用的量。整个换掉之后, 「窗口没满但大量行不在样本里」的场景(20 万行里 15 万条失败)信号彻底消失。
⇒ 拆成两个独立信号:truncated(窗口撞墙)+ failedCount(失败行,不进任何窗口)。
完整复盘见 0159-sticky-eaten-by-card-overflow-and-truncated-rework。