跳转至

ISSUE-0142 · 官网抓取可观测性

起因

Tony 采集 laifaxin.com 显示「已完善」但内容全空,去日志页查 —— 什么都没有。

主控实查:src/utils/scraper-executor.ts 与 src/utils/dynamic-scraper.ts 一处 appendSysLog 都没有。抓没抓、HTTP 多少、拿到多少字节、 渲染后可见文本多长、抽出几条 —— 日志里一律看不到。

⇒ 这次只能靠主控从扩展外部实测才定位到根因。用户自己无法诊断。

🔴 设计约束:不把 markdown 全文塞进日志

Tony 问「日志能不能加上 markdown 的内容」。否掉了,理由:

PageMarkdown 表 系统日志
存储 IndexedDB chrome.storage.local(有配额)
容量 按 urlHash 覆盖 环形 5000 条,detail 还有 sanitize 限流

一页 markdown 几十 KB × 5000 条 = 上百 MB,撑爆配额,且同一份数据存两遍 (PageMarkdown 表里已有全文)。

⇒ 日志放指针 + 统计,全文留在表里。日志条目保留 url + googleId 作为查询指针。

六种诊断态

reuse          scrapePath:"reuse"  reuseSourceId:17          ← 复用历史行,跳过抓取
tab-started    opened:true  traceId:…
empty-html     htmlBytes:0  error:"ERR_TIMED_OUT"
shell          htmlBytes:48000  visibleTextLen:42            ← 空壳页,JS 没渲染
extract-empty  htmlBytes:48000  visibleTextLen:4200  phone:0 ← 抽取层问题
blocked        status:403  isBlocked:true

reuse 那条最重要 —— laifaxin.com(不带 www)正是栽在这: 命中 website + scrape_status:2 ⇒ 复用历史空行 ⇒ 跳过抓取 ⇒ 标「已完善」⇒ 内容仍空, 而用户完全看不出(见 0135-contact-pool-upload-read-destroys-local 记的同一条复用路径)。

接的是 UI 可见的那套

项目有两套日志:page-log(local:pageLog,UI 日志页可见)与 system-log(内部事件,独立子页)。本刀接 page-log, LogView 每 2 秒读 pageLogItem,展示在「官网抓取记录」子页 —— 用户无需导出即可看到。

⚠️ 这一点在任务书里被设成了必答题(「若写进用户看不到的那套,这一刀就白做了, 你怎么确认接对了?」),执行方给出了 LogView 的读取路径作为证据。

证据

X_CORPUS_IDENTICAL=YES —— 36 页 phones/emails/socials/whatsapp 规范化 JSON 的 SHA-256 改动前后完全相同(抓取行为零变化)。 审查方独立复核:日志写入是 void appendPageLog(...).catch(() => {}), fire-and-forget,写失败不抛回抓取主流程;新字段不含 HTML / Markdown 正文 / 设置 / 凭据; UI 对新字段均用可选访问,旧条目缺 diagnosis 时走原渲染分支、不会崩。

证据边界

  • 🔴 诊断覆盖面只到 tab / reuse 两条路径 —— fetch / multi-stage pipeline 行 (旧 mstage 格式)未覆盖。审查方指出,未修。
  • 环形 5000 条,按 Tony 的量(11.9k 已采 / 17.9k 总量)会滚掉早期记录。
  • 「查看页面内容」的 UI 抽屉(点开看 PageMarkdown 全文)未做 —— 本刀只做后端埋点。
  • 未在真实 Chrome 扩展里端到端跑过。