ISSUE-0142 · 官网抓取可观测性¶
起因¶
Tony 采集 laifaxin.com 显示「已完善」但内容全空,去日志页查 —— 什么都没有。
主控实查:src/utils/scraper-executor.ts 与 src/utils/dynamic-scraper.ts
一处 appendSysLog 都没有。抓没抓、HTTP 多少、拿到多少字节、
渲染后可见文本多长、抽出几条 —— 日志里一律看不到。
⇒ 这次只能靠主控从扩展外部实测才定位到根因。用户自己无法诊断。
🔴 设计约束:不把 markdown 全文塞进日志¶
Tony 问「日志能不能加上 markdown 的内容」。否掉了,理由:
PageMarkdown 表 |
系统日志 | |
|---|---|---|
| 存储 | IndexedDB | chrome.storage.local(有配额) |
| 容量 | 按 urlHash 覆盖 | 环形 5000 条,detail 还有 sanitize 限流 |
一页 markdown 几十 KB × 5000 条 = 上百 MB,撑爆配额,且同一份数据存两遍
(PageMarkdown 表里已有全文)。
⇒ 日志放指针 + 统计,全文留在表里。日志条目保留 url + googleId 作为查询指针。
六种诊断态¶
reuse scrapePath:"reuse" reuseSourceId:17 ← 复用历史行,跳过抓取
tab-started opened:true traceId:…
empty-html htmlBytes:0 error:"ERR_TIMED_OUT"
shell htmlBytes:48000 visibleTextLen:42 ← 空壳页,JS 没渲染
extract-empty htmlBytes:48000 visibleTextLen:4200 phone:0 ← 抽取层问题
blocked status:403 isBlocked:true
reuse 那条最重要 —— laifaxin.com(不带 www)正是栽在这:
命中 website + scrape_status:2 ⇒ 复用历史空行 ⇒ 跳过抓取 ⇒ 标「已完善」⇒ 内容仍空,
而用户完全看不出(见 0135-contact-pool-upload-read-destroys-local 记的同一条复用路径)。
接的是 UI 可见的那套¶
项目有两套日志:page-log(local:pageLog,UI 日志页可见)与
system-log(内部事件,独立子页)。本刀接 page-log,
LogView 每 2 秒读 pageLogItem,展示在「官网抓取记录」子页 —— 用户无需导出即可看到。
⚠️ 这一点在任务书里被设成了必答题(「若写进用户看不到的那套,这一刀就白做了,
你怎么确认接对了?」),执行方给出了 LogView 的读取路径作为证据。
证据¶
X_CORPUS_IDENTICAL=YES —— 36 页 phones/emails/socials/whatsapp 规范化 JSON 的
SHA-256 改动前后完全相同(抓取行为零变化)。
审查方独立复核:日志写入是 void appendPageLog(...).catch(() => {}),
fire-and-forget,写失败不抛回抓取主流程;新字段不含 HTML / Markdown 正文 / 设置 / 凭据;
UI 对新字段均用可选访问,旧条目缺 diagnosis 时走原渲染分支、不会崩。
证据边界¶
- 🔴 诊断覆盖面只到 tab / reuse 两条路径 —— fetch / multi-stage pipeline 行 (旧 mstage 格式)未覆盖。审查方指出,未修。
- 环形 5000 条,按 Tony 的量(11.9k 已采 / 17.9k 总量)会滚掉早期记录。
- 「查看页面内容」的 UI 抽屉(点开看
PageMarkdown全文)未做 —— 本刀只做后端埋点。 - 未在真实 Chrome 扩展里端到端跑过。