跳转至

电话抓取覆盖缺口

🔴 这是漏抓真客户号码,比噪音严重。 噪音脏了列表用户一眼能认出来; 漏抓是直接少数据,抓成残缺是给用户一个拨不通且看不出错的号码。

起因:ISSUE-0098 的白名单对抗中发现德国斜杠格式三层全漏, 主控随后扩测 12 种真实书写格式,问题比一个斜杠大得多。

三层抓取正则现状

src/utils/scraper.ts 约 :303-307(自己核行号):

层 用途 捕获字符集 / 分隔符类
TEL_LINK_REGEX tel: 链接 [\d\s\-().]
PHONE_CTX_REGEX 关键词附近 [\d\s\-().]
PHONE_TEXT_REGEX 自由文本 分隔符类 [\s.\-]

三者都不含 /,也都只认半角字符。

主控实测(12 种真实格式,三态判定)

🔴 完全抓不到(4 类)

格式 类型
0711/486860 德国斜杠(名片、黄页常见)
0711 486860 全角数字 + 全角空格
电话:0711-486860 全角号码 + 全角横杠
<td>0711</td><td>486860</td> 被 HTML 标签打断(表格布局)
Fon 0711 486860 德语 Fon(关键词表里没有)

🟠 抓成脏值(更危险 —— 用户看不出是错的)

格式 抓到的 问题
089 / 12 34 56 12 34 56 丢了区号,号码拨不通
1-800-FLOWERS 1-800- 截断成无意义片段
Tel: 0711 486860 (Mo-Fr) 0711 486860 ( 带了个孤立左括号
Tel.\n0711 486860 .\n0711 486860 带了点号与换行

✅ 正常(对照组,改动时不许退化)

+49 (0) 711 486860、+49-711-486860、00 49 711 486860、 0711 4868 60、0711 486860 oder 486861、 以及 (212) 555-0100、03-1234-5678、8 (495) 123-45-67、02 1234 5678 等。

一个值得单独说的发现:中文站点只支持了一半

关键词表里已经有中文(电话|手机|联系|传真|微信),说明产品本就要支持中文站点。 关键词后的全角冒号 : 也已支持(正则里有)。

但号码本身的全角字符没有归一化:

电话:0711-486860           ✅ 抓到
电话:0711-486860      🔴 抓不到

⇒ 支持了一半:认得全角的标点,不认全角的数字。 中文站点用全角数字写联系方式很常见,这是外贸场景的真实缺口。

修复方向(分两批,风险不同)

批一(低风险,正在做):Tier3 分隔符类加 /,Tier1/2 字符集评估后决定。 见派活 lfxSlashPhone。

批二(本 issue 剩余): 1. 全角归一化 —— 抓取前把全角数字/标点折叠为半角。 这是收益最大的一条(直接打开中文站点场景),且风险低(纯预处理)。 2. 关键词表补充 —— Fon(德)、Tél(法)、Teléfono(西)、Telefono(意)… 3. 尾部清洗 —— 抓到后剥掉孤立的 (、.、换行等边界字符。 4. HTML 标签打断 —— 这条最难,可能需要在取文本时先归一化标签边界, 风险也最高(会影响所有抓取),建议单独评估,不要和前三条一起做。

回归判据

任何改动都必须给出改动前 vs 改动后的逐条对比,对照组一条都不许退化。 这是在动抓取入口,改坏了影响全部采集。


✅ 批一已修复:斜杠格式(k3 交付,主控独立复核)

验证

  • 新增 tests/scraper-slash-phone.test.ts(58 条断言):
  • 斜杠格式逐条「改动前全漏 ⇒ 改动后完整抓到(含区号)」;
  • 9 条对照格式 × 4 种语境,期望值硬编码自 9dfc641 基线探针, 逐字节一致(git stash 前后探针 diff 仅含预期的 5 行变化);
  • 噪音 01/02/2026 / 12/34/56 / 1/2 / 2026/09/01 / 2024/2025 自由文本与关键词语境全部拦;
  • 「Tel: A / B」拆分恢复两条完整号码、无截断垃圾。
  • pnpm test 126 → 184 全绿;pnpm verify rc=0。

主控独立验证(未采信执行方自测)

斜杠完整抓取
  0711/486860      → ["0711/486860"]         ✅ 完整
  089 / 12 34 56   → ["089 / 12 34 56"]      ✅ 含区号,不再是残缺的「12 34 56」

对照组零退化(6 条抽验)
  (212) 555-0100 · +49 (0) 711 486860 · 0711 12345-0
  020 7946 0018 · 03-1234-5678 · 8 (495) 123-45-67   全部逐字节一致

新噪音全挡
  01/02/2026 · 2026/09/01 · 12/34/56 · 2024/2025     → 全部 []

测试 184 通过(基线 126 + 新增 58)。

设计上两个克制的决定(值得记)

  1. Tier3 原分支一个字节没动,斜杠走新增的结构分支 (区号段必须以 0 或 + 冠码开头)⇒ 回归面为零。
  2. 没有碰 isLikelyCoordinateNoise,日期噪音由新写的独立函数 isLikelySlashDateNoise 拦。那个判据已翻车四轮(ISSUE-0089/0097/0098), 不动它是对的。

📌 归档说明:执行方 memory-OFF,另建了同号文件 0099-slash-phone-format-missed.md, 内容已并入本文并删除。这是本轮第二次同号重建(上次是 ISSUE-0096)—— 派活时若主控已归档,任务书要点名「补充进 XXXX 而非新建」。

剩余:批二(全角归一化等)

见上文「修复方向 · 批二」,尚未开工。全角归一化优先 —— 收益最大、风险最低。


主控实测:中文站点写法(批二派活期间自跑,10 条)

结论比预期好 —— 10 条里 7 条已经能正常抓:

写法 结果
联系电话:0711-486860 ✅ 关键词表用的是子串匹配,「联系电话」含「电话」
电话/传真:0711-486860 ✅
Tel:0711-486860(半角 Tel + 全角冒号) ✅ 正则里 [::] 两种冒号都收
400-800-8888(中国 400 号) ✅
+86 138-0013-8000 ✅
138 0013 8000 ✅
电话:0711-486860转203(中文「转」分机) ✅ 抓到主号,分机丢弃(可接受)

🔴 仍抓不到的三条

写法 问题
(0711)486860 全角括号 —— 批二正在做的归一化应能覆盖
<span>0711</span>-<span>486860</span> 被标签拆开 —— 属「HTML 标签打断」,已定单独评估
0711/486860/486861 三层全漏(见下)

🟠 批一遗留:斜杠连号只抓到第一个

批一(斜杠支持)的结构分支要求「区号段以 0 或 + 开头 + 斜杠 + 数字」, 覆盖了 0711/486860 这种「区号/号码」形态。但德国还常见「主号/副号」写法:

0711-486860/486861      → 抓到 ["0711-486860"]   丢了第二个号
0711 486860 / 486861    → 抓到 ["0711 486860"]   丢了第二个号
0711/486860/486861      → []                     🔴 三层全漏

前两种主号码是完整正确的,只是漏了副号 —— 危害有限。 第三种是完全抓不到,因为斜杠前是完整号码不是区号,不匹配批一的结构分支。

⇒ 建议归入批三,与「HTML 标签打断」一起评估: 两者都涉及「一个字段里有多个号码/号码被切开」这类结构问题, 不是简单加字符集能解决的。


✅ 批二已修复:全角归一化 + 关键词补充 + 尾部清洗(k3 交付)

HTML 标签打断(批三)本轮未做 —— 风险最高、影响所有抓取,维持「单独评估」结论。

三处改法(全部在 src/utils/scraper.ts,纯函数无 IO)

  1. 全角归一化放在抓取【输入】侧(normalizeFullWidthForPhone,三层正则与噪音判据 一行不动):U+FF01–FF5E 减 0xFEE0、U+3000→空格、U+2010–2015/U+2212→-, 全部 1 字符→1 字符(长度不变),纯半角输入 fast-path 原样返回(同引用)。 只喂 phone 三层 + 自定义 phone 正则;email/社媒/WhatsApp 输入不受影响。 放在输入侧而非判据侧的理由:isLikelyCoordinateNoise 已翻车四轮 (0089/0097/0098),归一化做成等价性变换(全角 ≡ 半角),防线复用存量判据。
  2. 关键词表补充(Tier2):telefone?o?、telefonnummer、telefoon、teléfono、 tél、\bfon\b(词边界防 Telefon/Fond 误中)、tlf、handy、mobil、热线、联系方式。 每个词都实测过改动前抓不到;出处见下方 X_KEYWORDS 等价记录(german-impressum-extractor 标签表、Cambridge/DDO 词典条目、法语/西语缩写惯例、德语 Fon/Fax 对举惯例)。
  3. 尾部清洗(addPhone 边界剥除):前导 [\s.,;:/-]+、尾部 [\s.,;:/(-]+。 完整号码不会以这些字符结尾;(212) 555-0100、+49 (0) 711 486860 内部成对括号 不在边界,逐字节不剥(测试锁死)。

改动前 ⇒ 改动后(执行方探针,逐条)

全角(改动前全部 [])
  电话:0711-486860     → ["0711-486860"]
  +49 711 486860        → ["+49 711 486860"](Tier3 自由文本)
  电话:(0711)486860     → ["(0711)486860"]
  电话:0711/486860      → ["0711/486860"]
  Tel:0711‒486860(U+2012)→ ["0711-486860"]
  手机:138 0013 8000    → ["138 0013 8000"]
  tel:0711-486860        → ["0711-486860"](Tier1)
  0711 486860(裸)      → [] ≡ 半角裸 0711 486860 同态(0098 设计决定)
  电话:0711 486860      → ["0711 486860"](关键词语境 Tier2)

关键词(改动前全部 [])
  Fon/Fon:/Telefon:/Telefonnummer:/Tél:/Tél./Téléphone:/Teléfono:/
  Telefono:/Telefone:/Telefoon:/Tlf:/Handy:/Mobil:/客服热线:/联系方式:
  → 全部抓到,如 "Fon 0711 486860" → ["0711 486860"]
  词边界陷阱 "Fond: 12345 678901" → [](不被 fon 误中)

尾部清洗
  Tel: 0711 486860 (Mo-Fr)  ["0711 486860 ("]  → ["0711 486860"]
  Tel.\n0711 486860         [". 0711 486860"]  → ["0711 486860"]
  Tel: 0711 486860.         ["0711 486860."]   → ["0711 486860"]
  Tel: (212) 555-0100 / +49 (0) 711 486860 / 8 (495) 123-45-67  逐字节不变
  1-800-FLOWERS             ["1-800-"](残缺)  → [](残缺降为抓不到,尾部横杠剥掉后位数不足)

全角噪音(改动前后都拦)
  01/02/2026(裸/关键词语境)→ [](归一化后由 isLikelySlashDateNoise 拦)
  10.000.000(裸/关键词语境)→ [](归一化后由 isLikelyCoordinateNoise 基元 C 拦:
                                            2-3-3 段共 8 位,不像电话)

新开的噪音面与对策(诚实记录)

横杠变体归一化(U+2013→-)把「Tel: 10.00–11.30」(营业时间,ISSUE-0097 真实样本类) 变成可捕获的 "10.00-11.30" —— isLikelyCoordinateNoise 只折 Unicode 横杠切 token, 对单 token「float-float」零防线(ASCII 版 "Tel: 10.00-11.30" 本是存量漏网)。 ⇒ 新增独立守卫 isLikelyFloatRangeNoise(整串恰好 小数-小数,真实电话无此形状, 依据仍是 0089 的「点号是组分隔符,同 token ≥2 点」),新旧两个变体一起拦住。 没有动 isLikelyCoordinateNoise 本体。

验证

  • 新增 tests/scraper-fullwidth-phone.test.ts(83 条断言): 全角 11 条、关键词 14 词 + 词边界陷阱、尾部 7 条(含内部括号不剥、FLOWERS 降级)、 对照组 9 条 × 4 语境硬编码基线、全角噪音 4 条、中文写法三态 4 条。
  • 对照组 9 条 × 4 语境(含批一斜杠两条):git stash 前后探针 diff 完全为空 (IDENTICAL),逐字节零退化。
  • pnpm test 184 → 267 全绿;pnpm verify rc=0。

批二顺带发现(最后一问实测,三态)

写法 三态 说明
联系电话:0711-486860 ✅ 内含「电话」子串命中
电话/传真:0711-486860 ✅ 「传真」命中
Tel:0711-486860(半角词+全角冒号) ✅ 本来就支持
400-800-8888 / 400 800 8888 ✅ Tier3 结构匹配
+86 138-0013-8000 ✅
电话:(0711)486860 ✅ 批二新修 全角括号归一化
客服热线:… / 联系方式:… ✅ 批二新修 关键词表补「热线」「联系方式」
手机:13800138000(全角 11 位裸数字) ✅ 批二新修 关键词语境
1-800-FLOWERS 🟠→✅ 从抓成残缺降为抓不到
电话:+86 138 0013 8000 ⚠️ 抓重 ["+86 138 0013 8000","138 0013 8000"] 两条同号(Tier2 整条 + Tier3 子串),都可拨、非残缺
<span>0711</span>-<span>486860</span> / <td> 拆开 ❌ 抓不到 批三范围
(0711)486860(裸,无关键词) ❌ ≡ 半角 (0711)486860 裸同态,Tier3 前缀/首段结构限制
0571-8822 0088(裸) ❌ Tier3 首段 ≤3 位限制(同 0711-486860 裸),关键词语境可抓
(+86)138-0013-8000 ❌ 括号+冠码组合,三层结构都不匹配
电 话:0711-486860(关键词插空格,反爬) ❌ 关键词本身被打断

本轮无「抓成残缺」残留(原两类脏值全修;FLOWERS 降级为抓不到)。

v0.10.141 对抗批的交叉覆盖(ISSUE-0115)

本文批二之后,一轮 15-agent 对抗工作流又在同一片区域确认并修掉三条, 与本文的「四类抓不到、两类抓成脏值」同族,记在这里避免两边各修一半:

形态 本文批二时的状态 v0.10.141
Tel.: 0900 1 234567 (1,99 €/Min.) 资费注记 未测到 —— 批二的尾部清洗只锁了字母注记 (Mo-Fr) ✅ 修(未闭合 ( 截断)。数字开头的注记是那道防线的漏洞:末字符是数字,/[\s.,;:/(\-]+$/ 剥不掉
Tel 0711 486860 70173 Stuttgart 邮编焊接 未测到 ✅ 修(最窄判据截尾)
tel:+49%20711%20486860(WordPress esc_url) 未测到 ✅ 修(%XX 单元化 + decode)
<script type="application/ld+json"> 的 telephone 未测到 ✅ 新增结构化通道

⚠️ 本文表里那条 电话:+86 138 0013 8000 抓重(Tier2 整条 + Tier3 子串两条同号) 在 v0.10.141 仍然存在 —— 对抗批没报它,本次不扩范围,维持「都可拨、非残缺」的原判。

✅ 批三已修复:相邻 <td> 拼接(v0.16.64)

luna P2 对抗整改

原实现只要看到两个相邻数字型 <td> 就拼成 第一段/第二段,没有电话语境门槛;因此价格、面积、年份和业务编号等数字对可能经过 8–15 位守卫后进入电话列表。

本轮在 src/utils/scraper.ts 收窄为三道条件:

  1. 单元格形状:前段 2–5 位、后段 5–9 位;小数点、千分位/空白分隔异常和货币符号直接拒绝。
  2. 语境门槛:非 0/+ 开头的候选必须在同一 <tr> 或 <table> 的 <th> 表头中出现电话关键词(Phone/Tel/Telefon/Fon/电话等)。
  3. 货币邻接保护:即使表头含 Phone,相邻货币单元格的数字对仍拒绝。

无电话表头的 0711 + 486860 保持兼容,继续恢复为 0711/486860;恢复后的候选仍统一进入 addPhone,继续接受既有的位数、日期、小数区间、坐标、黑名单和去重/仲裁守卫。

新增 tests/phone-ctx-cross-tag.test.ts 的“luna P2 对抗”样本覆盖:

  • 2024 + 123456 业务单号类数字对;
  • 1299.00 + 1200.00 价格小数对;
  • 120.50 + 80.00 面积小数对;
  • Phone 表头下紧邻货币列的 1299 + 00000。

验证:修复前运行 pnpm exec vitest run tests/phone-ctx-cross-tag.test.ts 为 24 tests | 1 failed,并明确报出 expected []、实际收到 ['2024/123456'];修复后同命令为 1 passed (24 tests)。

剩余类状态(按 luna 建议逐类列明)

类别 状态 依据/边界
斜杠电话(0711/486860、列表拆分) ✅ 已实现 批一;见 tests/scraper-slash-phone.test.ts,含斜杠日期/列表噪音守卫。
全角数字/标点/横杠 ✅ 已实现 批二;入口解码与电话专用横杠归一,见 tests/scraper-fullwidth-phone.test.ts。
关键词补充(Fon、Telefon、Tél 等) ✅ 已实现 Tier2 关键词表已补,保留词边界。
尾部孤立标点、未闭合注记 ✅ 已实现 addPhone 清洗与后续形态守卫已覆盖。
HTML 关键词跨元素桥 ✅ 已实现 PHONE_CTX_REGEX 的标签数、桥长、形状、void/self-closing 闸已覆盖本文件测试。
相邻 <td> 电话片段拼接 ✅ v0.16.64 修复 本轮加入电话语境、形状和货币邻接门槛;正例 0711/486860 保留。
JSON-LD telephone ✅ 已实现 Tier0 结构化通道;<script type="application/ld+json"> 保留。
不可见/惰性内容中的数字 ✅ 已实现 电话视野剥离普通 script/style/template/noscript/svg,JSON-LD 例外保留。
WhatsApp 号码与电话管线的完全统一 ⚠️ 部分实现 已共享形态清洗和关键守卫,但仍是独立抽取通道;不属于本轮 <td> 拼接范围。

本轮只更新 <td> 拼接实现与测试,并记录其余类别当前状态;issue frontmatter 的 status 保持 in-progress,由主控决定是否改为已关闭或继续跟踪。

✅ 残余刀已修:跨位置同号抓重(v0.16.66)

R4 入库仲裁:带冠码与裸国内写法跨位置同号只留一条(带冠码);NANP 与 merge 层同口径 折叠;未识别前缀 + 候选不参与比较(防误并)。考古修正:本文「v0.10.141 仍存在」 记载的同位置 Tier2+Tier3 形态在后续仲裁重构中已被吸收(跨位置形态才是真残余)。 测试 tests/phone-dedup.test.ts 8 用例。WhatsApp 管线完全统一仍为部分实现,本档 维持 in-progress 由该残余继续跟踪。

✅ 终刀:WhatsApp 管线完全统一(v0.16.72,全档收官)

契约:入口独立(wa.me/whatsapp: 协议关键词语义保留)+ 共享层单一源(清洗/ 8-15 位守卫/黑名单/NANP 折叠/R4 比较规则——comparePhoneR4 与 passesPhoneCandidateGuards 被两管线共同调用)+ WhatsApp 仍单值字段不套位置 仲裁;右边界电话侧同型防格式符截断造伪号(terra P1 整改);官网 ?phone= URL 直写改走同一抽取器。批一/二/三 + 跨位置去重 + 统一全部落地,翻 fixed。