ISSUE-0143 · 三层锁死锁¶
起因¶
Tony 反馈自家站 www.laifaxin.com 在扩展里显示「已完成」,但邮箱电话全空;
重新采集时显示「跳过」。
第一步:先排除抽取层¶
主控在扩展外部独立验证:
curl https://www.laifaxin.com/ → 200 / 40855 字节正常 HTML
extractDataFromHtml(那份 HTML) → emails: ["help@zhijixinxi.com","bd@zhijixinxi.com"]
phones: ["17091913071"]
抽取层完全正常。 问题在于抓取根本没发生。
这一步很关键:v0.10.164 刚修完跨标签电话抽取,第一反应是「又是抽取层」。 先证伪这个假设,才没有在错误的方向上浪费一轮。
根因:三层锁串成无出口闭环¶
flowchart TD
A[首次探测撞上网络抖动<br/>HEAD 3s + GET 4s 双超时] --> B["website-probe 返回<br/>kind:dead reason:network-fail"]
B --> C["锁一:domain-state<br/>无 ok 历史即刻 state=dead,TTL 30 天"]
C --> D[getDomainAdvice 恒返回 skip<br/>此后永不发请求]
D --> E[永远拿不到 ok 历史]
E --> F[revivePollutedDomains 的<br/>复活条件恒假]
F --> C
D --> G["锁二:skip 分支无条件写<br/>scrape_status=2「已完成」"]
G --> H[engine 只取 status=0<br/>这行再也不会被采]
G --> I["锁三:batchDedupeByUrl<br/>拿空壳行当复用源"]
I --> J[同 URL 全部待采行<br/>被批量标成「已完成」且全空]
J --> K[只写 sysLog 计数<br/>不写 pageLog ⇒ 用户完全看不见]
锁一:域名状态机把「连不上」和「404」塌成同一个 dead¶
website-probe.ts 的 probeSingleUrl 在 HEAD(3s)与 GET 兜底(4s)都失败时,
返回 { kind: 'dead', status: 0, reason: 'network-fail' } ——
与服务器明确回答 404/410 走的是同一个 dead 分支。
domain-state.ts 的 applyTransition 对无 ok 历史的域名一次 dead 就升级,TTL 30 天。
死锁形状:进入某状态后就不再采集使新状态成立所需的信号。
- 锁上 →
getDomainAdvice恒 skip → 永不发请求 - 永不发请求 → 永远拿不到 ok 历史
- 没有 ok 历史 →
revivePollutedDomains的复活条件恒假 - 只能干等 30 天 TTL
锁二:scrape_status: 2 伪装成「已完成」¶
scraper-executor.ts 的 applyPipelineOutcome 里,outcome.kind === 'skip' 的
所有 reason(dead / no-contact / non-html / domain-dead / domain-cold / retry-later)
都写 scrape_status: 2。
原注释解释了为什么只有 no-contact 带 emails: [](防 deleteNoEmail 误删)——
那个考虑是对的,但 scrape_status: 2 无条件写这件事被忽略了。
后果:UI 显示「已完成」、engine 不再取它、复用查重把它当合格源行。
锁三:批量复用把空壳批发出去(最狠的一层)¶
engine-manager.ts 的 batchDedupeByUrl 在每次 engine session 启动时跑一次:
拿全部 scrape_status: 2 的行当源、全部 scrape_status: 0 的行当目标,同 website
就批量拷贝并写 scrape_status: 2。
它有一条「emails 非空优先」的择优逻辑,但那只在同 URL 有多个源行时择优;
同 URL 的源行全空时,byUrl.get(key) 照样返回那个空行。
而且这条路径不写 pageLog,只在最后写一条 appendSysLog('pipeline','batch-dedupe-applied') 计数
⇒ 用户在「官网抓取记录」里完全看不见自己的行是被它标成「已完成」的。
这是「同源零闸」的第九次复发¶
判据「源行有没有真实数据」有三个消费者,只有一个物理上够得着:
| 消费者 | 改动前的判据 |
|---|---|
scraper-executor 单行复用 |
emails 非空才透传 emails(有一半保护) |
engine-manager 批量复用 |
只在多个源行间择优,全空时照样选中 |
scrape_status 写入 |
无条件写 2 |
同形状的历史:ISSUE-0125 / 0126 / 0130 / 0131 / 0132 / 0133 / 0135 / 0140。
修法¶
1. 区分「连不上」与「服务器说没有」¶
Outcome新增'network-dead';website-scrape-pipeline按probe.reason分流:network-fail记network-dead,404/410 仍记deadapplyTransition的network-dead分支:无论有没有 ok 历史,都要求 recent 末尾 连续DEAD_CONSECUTIVE_NETWORK(=3) 条全是 network-dead 才升 deadDomainStat加deadSource?: 'network' | 'http';network 型 TTL 3 天、HTTP 型仍 30 天
2. 一次性存量解锁¶
存量 recent 里的 outcome: 'dead' 分不出当时是 network-fail 还是 404 —— 信息在写库时就丢了。
所以升级时带持久化 flag 把存量所有 state='dead' 复活成 unknown,只跑一次。
代价:真死站多探测一次(约 7 秒)。收益:被误判锁死的站立刻解锁。
ensureLegacyDeadUnlocked 挂在 loadStat 上(不是 engine 启动),设置页/popup 读状态也会触发。
3. 判据唯一实现¶
新增 src/utils/reuse-source-guard.ts 的 hasAnyContact(),两条复用路径共用。
🔴 判据口径必须等于载荷口径:两条复用路径都只复制 emails 与六个社媒字段、
不复制 phone,所以 hasAnyContact 也不算 phone。
放行只有 phone 的源行,会让目标行拿到全空载荷却被标「已完成」——正是要防的空壳污染。
(一家审查方曾报「不含 phone 是缺陷」,主控核了两处载荷后驳回。)
4. skip 分支说实话 + 失败行可见 + 用户可重采¶
no-contact(页面真读完确实没有)⇒ 维持scrape_status: 2+emails: []+ 定论=true,行为一字未改- 其余 reason ⇒ 写
scrape_status: 3(失败),继续不带 emails、定论=false data-view.tsx全量模式加第三个查询窗口拉 status 3 —— 否则失败行从数据页消失- 新增
src/utils/manual-rescrape.ts:数据页选行点「重新采集」→ 先按域名精确解锁(unlockBlockedDomains)→ 再把行 status 置 0 并打manualRescrape: 1
manualRescrape 标记让该行绕过三条复用路径(batchDedupe / 单行复用 / ContactPool),
到终态后清标记。
🔴 先解锁再置 0:顺序反了会被 engine 在两次写入之间抢走。
🔴 不解锁就是摆设:域名还是 dead 的话,行改回 0 后下一轮仍在 getDomainAdvice 处短路、
立刻写回 3,用户看到的还是「点了没反应」。
5. UI 说得出原因¶
mstage-classify.ts 原本把五种 skip 全渲染成同一个「跳过」,只在 tooltip 区分。拆开:
dead/0 network-fail → 连不上 · 网站当前无法连接(DNS / 证书 / 超时)
dead/404 404 → 不存在 · 服务器明确返回页面不存在
domain-dead → 域名锁定
domain-cold → 暂时跳过
no-contact → 无联系
non-html → 非网页
中途被回退的一版修法(重要教训)¶
第一轮审查判 P0(status 3 不可见 + 永不重采)之后,曾加过一套自动重试调度:
nextRetryAt / retryAttempts / 指数退避 1-16 分钟 / 存量分批迁移 / engine 取「已到期的 status 3」。
第二轮双路审两家都判 FAIL,核心问题:
域名锁 3-30 天 vs 行重试窗口 15-31 分钟,两个时标差 100 到 1000 倍。 域名锁期间,行被反复选中,在
getDomainAdvice处零网络请求就短路返回, 却仍然烧掉一次重试预算;等域名锁到期、站点恢复时,预算已尽 ⇒ 永不重试。
外加三条依附于同一机制的缺陷:存量迁移在高频 manageQueue 下堆积、
SW 被杀后经 resetStaleTasks 变成 status 0 会重置预算、每次重试写 sync: 0 触发重复上传。
同一个机制连续贡献四条缺陷 ⇒ 基元选重了。 Tony 拍板回退,改成手动按钮。 回退之后这四条一起消失。
判据(可机械检查)¶
两个独立的状态机对同一个对象施加封锁时,各自的时标必须可比。 一方的解除周期若比另一方的重试周期大一个数量级以上, 短周期方的预算会在长周期方的封锁窗口内被空转耗尽 —— 而它本该留给封锁解除之后。
用它回看:行重试 15-31 分钟 vs 域名锁 3-30 天 = 差 100-1000 倍 ⇒ 动手前就能预测这条缺陷。