跳转至

ISSUE-0143 · 三层锁死锁

起因

Tony 反馈自家站 www.laifaxin.com 在扩展里显示「已完成」,但邮箱电话全空; 重新采集时显示「跳过」。

第一步:先排除抽取层

主控在扩展外部独立验证:

curl https://www.laifaxin.com/            → 200 / 40855 字节正常 HTML
extractDataFromHtml(那份 HTML)            → emails: ["help@zhijixinxi.com","bd@zhijixinxi.com"]
                                            phones: ["17091913071"]

抽取层完全正常。 问题在于抓取根本没发生。

这一步很关键:v0.10.164 刚修完跨标签电话抽取,第一反应是「又是抽取层」。 先证伪这个假设,才没有在错误的方向上浪费一轮。

根因:三层锁串成无出口闭环

flowchart TD
    A[首次探测撞上网络抖动<br/>HEAD 3s + GET 4s 双超时] --> B["website-probe 返回<br/>kind:dead reason:network-fail"]
    B --> C["锁一:domain-state<br/>无 ok 历史即刻 state=dead,TTL 30 天"]
    C --> D[getDomainAdvice 恒返回 skip<br/>此后永不发请求]
    D --> E[永远拿不到 ok 历史]
    E --> F[revivePollutedDomains 的<br/>复活条件恒假]
    F --> C
    D --> G["锁二:skip 分支无条件写<br/>scrape_status=2「已完成」"]
    G --> H[engine 只取 status=0<br/>这行再也不会被采]
    G --> I["锁三:batchDedupeByUrl<br/>拿空壳行当复用源"]
    I --> J[同 URL 全部待采行<br/>被批量标成「已完成」且全空]
    J --> K[只写 sysLog 计数<br/>不写 pageLog ⇒ 用户完全看不见]

锁一:域名状态机把「连不上」和「404」塌成同一个 dead

website-probe.ts 的 probeSingleUrl 在 HEAD(3s)与 GET 兜底(4s)都失败时, 返回 { kind: 'dead', status: 0, reason: 'network-fail' } —— 与服务器明确回答 404/410 走的是同一个 dead 分支。

domain-state.ts 的 applyTransition 对无 ok 历史的域名一次 dead 就升级,TTL 30 天。

死锁形状:进入某状态后就不再采集使新状态成立所需的信号。

  • 锁上 → getDomainAdvice 恒 skip → 永不发请求
  • 永不发请求 → 永远拿不到 ok 历史
  • 没有 ok 历史 → revivePollutedDomains 的复活条件恒假
  • 只能干等 30 天 TTL

锁二:scrape_status: 2 伪装成「已完成」

scraper-executor.ts 的 applyPipelineOutcome 里,outcome.kind === 'skip' 的 所有 reason(dead / no-contact / non-html / domain-dead / domain-cold / retry-later) 都写 scrape_status: 2。

原注释解释了为什么只有 no-contact 带 emails: [](防 deleteNoEmail 误删)—— 那个考虑是对的,但 scrape_status: 2 无条件写这件事被忽略了。

后果:UI 显示「已完成」、engine 不再取它、复用查重把它当合格源行。

锁三:批量复用把空壳批发出去(最狠的一层)

engine-manager.ts 的 batchDedupeByUrl 在每次 engine session 启动时跑一次: 拿全部 scrape_status: 2 的行当源、全部 scrape_status: 0 的行当目标,同 website 就批量拷贝并写 scrape_status: 2。

它有一条「emails 非空优先」的择优逻辑,但那只在同 URL 有多个源行时择优; 同 URL 的源行全空时,byUrl.get(key) 照样返回那个空行。

而且这条路径不写 pageLog,只在最后写一条 appendSysLog('pipeline','batch-dedupe-applied') 计数 ⇒ 用户在「官网抓取记录」里完全看不见自己的行是被它标成「已完成」的。

这是「同源零闸」的第九次复发

判据「源行有没有真实数据」有三个消费者,只有一个物理上够得着:

消费者 改动前的判据
scraper-executor 单行复用 emails 非空才透传 emails(有一半保护)
engine-manager 批量复用 只在多个源行间择优,全空时照样选中
scrape_status 写入 无条件写 2

同形状的历史:ISSUE-0125 / 0126 / 0130 / 0131 / 0132 / 0133 / 0135 / 0140。

修法

1. 区分「连不上」与「服务器说没有」

  • Outcome 新增 'network-dead';website-scrape-pipeline 按 probe.reason 分流: network-fail 记 network-dead,404/410 仍记 dead
  • applyTransition 的 network-dead 分支:无论有没有 ok 历史,都要求 recent 末尾 连续 DEAD_CONSECUTIVE_NETWORK(=3) 条全是 network-dead 才升 dead
  • DomainStat 加 deadSource?: 'network' | 'http';network 型 TTL 3 天、HTTP 型仍 30 天

2. 一次性存量解锁

存量 recent 里的 outcome: 'dead' 分不出当时是 network-fail 还是 404 —— 信息在写库时就丢了。 所以升级时带持久化 flag 把存量所有 state='dead' 复活成 unknown,只跑一次。

代价:真死站多探测一次(约 7 秒)。收益:被误判锁死的站立刻解锁。

ensureLegacyDeadUnlocked 挂在 loadStat 上(不是 engine 启动),设置页/popup 读状态也会触发。

3. 判据唯一实现

新增 src/utils/reuse-source-guard.ts 的 hasAnyContact(),两条复用路径共用。

🔴 判据口径必须等于载荷口径:两条复用路径都只复制 emails 与六个社媒字段、 不复制 phone,所以 hasAnyContact 也不算 phone。 放行只有 phone 的源行,会让目标行拿到全空载荷却被标「已完成」——正是要防的空壳污染。

(一家审查方曾报「不含 phone 是缺陷」,主控核了两处载荷后驳回。)

4. skip 分支说实话 + 失败行可见 + 用户可重采

  • no-contact(页面真读完确实没有)⇒ 维持 scrape_status: 2 + emails: [] + 定论=true,行为一字未改
  • 其余 reason ⇒ 写 scrape_status: 3(失败),继续不带 emails、定论=false
  • data-view.tsx 全量模式加第三个查询窗口拉 status 3 —— 否则失败行从数据页消失
  • 新增 src/utils/manual-rescrape.ts:数据页选行点「重新采集」→ 先按域名精确解锁(unlockBlockedDomains)→ 再把行 status 置 0 并打 manualRescrape: 1

manualRescrape 标记让该行绕过三条复用路径(batchDedupe / 单行复用 / ContactPool), 到终态后清标记。

🔴 先解锁再置 0:顺序反了会被 engine 在两次写入之间抢走。 🔴 不解锁就是摆设:域名还是 dead 的话,行改回 0 后下一轮仍在 getDomainAdvice 处短路、 立刻写回 3,用户看到的还是「点了没反应」。

5. UI 说得出原因

mstage-classify.ts 原本把五种 skip 全渲染成同一个「跳过」,只在 tooltip 区分。拆开:

dead/0 network-fail  → 连不上    · 网站当前无法连接(DNS / 证书 / 超时)
dead/404 404         → 不存在    · 服务器明确返回页面不存在
domain-dead          → 域名锁定
domain-cold          → 暂时跳过
no-contact           → 无联系
non-html             → 非网页

中途被回退的一版修法(重要教训)

第一轮审查判 P0(status 3 不可见 + 永不重采)之后,曾加过一套自动重试调度: nextRetryAt / retryAttempts / 指数退避 1-16 分钟 / 存量分批迁移 / engine 取「已到期的 status 3」。

第二轮双路审两家都判 FAIL,核心问题:

域名锁 3-30 天 vs 行重试窗口 15-31 分钟,两个时标差 100 到 1000 倍。 域名锁期间,行被反复选中,在 getDomainAdvice 处零网络请求就短路返回, 却仍然烧掉一次重试预算;等域名锁到期、站点恢复时,预算已尽 ⇒ 永不重试。

外加三条依附于同一机制的缺陷:存量迁移在高频 manageQueue 下堆积、 SW 被杀后经 resetStaleTasks 变成 status 0 会重置预算、每次重试写 sync: 0 触发重复上传。

同一个机制连续贡献四条缺陷 ⇒ 基元选重了。 Tony 拍板回退,改成手动按钮。 回退之后这四条一起消失。

判据(可机械检查)

两个独立的状态机对同一个对象施加封锁时,各自的时标必须可比。 一方的解除周期若比另一方的重试周期大一个数量级以上, 短周期方的预算会在长周期方的封锁窗口内被空转耗尽 —— 而它本该留给封锁解除之后。

用它回看:行重试 15-31 分钟 vs 域名锁 3-30 天 = 差 100-1000 倍 ⇒ 动手前就能预测这条缺陷。