电话抓取覆盖缺口¶
🔴 这是漏抓真客户号码,比噪音严重。 噪音脏了列表用户一眼能认出来; 漏抓是直接少数据,抓成残缺是给用户一个拨不通且看不出错的号码。
起因:ISSUE-0098 的白名单对抗中发现德国斜杠格式三层全漏, 主控随后扩测 12 种真实书写格式,问题比一个斜杠大得多。
三层抓取正则现状¶
src/utils/scraper.ts 约 :303-307(自己核行号):
| 层 | 用途 | 捕获字符集 / 分隔符类 |
|---|---|---|
TEL_LINK_REGEX |
tel: 链接 |
[\d\s\-().] |
PHONE_CTX_REGEX |
关键词附近 | [\d\s\-().] |
PHONE_TEXT_REGEX |
自由文本 | 分隔符类 [\s.\-] |
三者都不含 /,也都只认半角字符。
主控实测(12 种真实格式,三态判定)¶
🔴 完全抓不到(4 类)¶
| 格式 | 类型 |
|---|---|
0711/486860 |
德国斜杠(名片、黄页常见) |
0711 486860 |
全角数字 + 全角空格 |
电话:0711-486860 |
全角号码 + 全角横杠 |
<td>0711</td><td>486860</td> |
被 HTML 标签打断(表格布局) |
Fon 0711 486860 |
德语 Fon(关键词表里没有) |
🟠 抓成脏值(更危险 —— 用户看不出是错的)¶
| 格式 | 抓到的 | 问题 |
|---|---|---|
089 / 12 34 56 |
12 34 56 |
丢了区号,号码拨不通 |
1-800-FLOWERS |
1-800- |
截断成无意义片段 |
Tel: 0711 486860 (Mo-Fr) |
0711 486860 ( |
带了个孤立左括号 |
Tel.\n0711 486860 |
.\n0711 486860 |
带了点号与换行 |
✅ 正常(对照组,改动时不许退化)¶
+49 (0) 711 486860、+49-711-486860、00 49 711 486860、
0711 4868 60、0711 486860 oder 486861、
以及 (212) 555-0100、03-1234-5678、8 (495) 123-45-67、02 1234 5678 等。
一个值得单独说的发现:中文站点只支持了一半¶
关键词表里已经有中文(电话|手机|联系|传真|微信),说明产品本就要支持中文站点。
关键词后的全角冒号 : 也已支持(正则里有)。
但号码本身的全角字符没有归一化:
⇒ 支持了一半:认得全角的标点,不认全角的数字。 中文站点用全角数字写联系方式很常见,这是外贸场景的真实缺口。
修复方向(分两批,风险不同)¶
批一(低风险,正在做):Tier3 分隔符类加 /,Tier1/2 字符集评估后决定。
见派活 lfxSlashPhone。
批二(本 issue 剩余):
1. 全角归一化 —— 抓取前把全角数字/标点折叠为半角。
这是收益最大的一条(直接打开中文站点场景),且风险低(纯预处理)。
2. 关键词表补充 —— Fon(德)、Tél(法)、Teléfono(西)、Telefono(意)…
3. 尾部清洗 —— 抓到后剥掉孤立的 (、.、换行等边界字符。
4. HTML 标签打断 —— 这条最难,可能需要在取文本时先归一化标签边界,
风险也最高(会影响所有抓取),建议单独评估,不要和前三条一起做。
回归判据¶
任何改动都必须给出改动前 vs 改动后的逐条对比,对照组一条都不许退化。 这是在动抓取入口,改坏了影响全部采集。
✅ 批一已修复:斜杠格式(k3 交付,主控独立复核)¶
验证¶
- 新增
tests/scraper-slash-phone.test.ts(58 条断言): - 斜杠格式逐条「改动前全漏 ⇒ 改动后完整抓到(含区号)」;
- 9 条对照格式 × 4 种语境,期望值硬编码自 9dfc641 基线探针,
逐字节一致(
git stash前后探针 diff 仅含预期的 5 行变化); - 噪音
01/02/2026/12/34/56/1/2/2026/09/01/2024/2025自由文本与关键词语境全部拦; - 「Tel: A / B」拆分恢复两条完整号码、无截断垃圾。
pnpm test126 → 184 全绿;pnpm verifyrc=0。
主控独立验证(未采信执行方自测)¶
斜杠完整抓取
0711/486860 → ["0711/486860"] ✅ 完整
089 / 12 34 56 → ["089 / 12 34 56"] ✅ 含区号,不再是残缺的「12 34 56」
对照组零退化(6 条抽验)
(212) 555-0100 · +49 (0) 711 486860 · 0711 12345-0
020 7946 0018 · 03-1234-5678 · 8 (495) 123-45-67 全部逐字节一致
新噪音全挡
01/02/2026 · 2026/09/01 · 12/34/56 · 2024/2025 → 全部 []
测试 184 通过(基线 126 + 新增 58)。
设计上两个克制的决定(值得记)¶
- Tier3 原分支一个字节没动,斜杠走新增的结构分支
(区号段必须以
0或+冠码开头)⇒ 回归面为零。 - 没有碰
isLikelyCoordinateNoise,日期噪音由新写的独立函数isLikelySlashDateNoise拦。那个判据已翻车四轮(ISSUE-0089/0097/0098), 不动它是对的。
📌 归档说明:执行方 memory-OFF,另建了同号文件
0099-slash-phone-format-missed.md, 内容已并入本文并删除。这是本轮第二次同号重建(上次是 ISSUE-0096)—— 派活时若主控已归档,任务书要点名「补充进 XXXX 而非新建」。
剩余:批二(全角归一化等)¶
见上文「修复方向 · 批二」,尚未开工。全角归一化优先 —— 收益最大、风险最低。
主控实测:中文站点写法(批二派活期间自跑,10 条)¶
结论比预期好 —— 10 条里 7 条已经能正常抓:
| 写法 | 结果 |
|---|---|
联系电话:0711-486860 |
✅ 关键词表用的是子串匹配,「联系电话」含「电话」 |
电话/传真:0711-486860 |
✅ |
Tel:0711-486860(半角 Tel + 全角冒号) |
✅ 正则里 [::] 两种冒号都收 |
400-800-8888(中国 400 号) |
✅ |
+86 138-0013-8000 |
✅ |
138 0013 8000 |
✅ |
电话:0711-486860转203(中文「转」分机) |
✅ 抓到主号,分机丢弃(可接受) |
🔴 仍抓不到的三条¶
| 写法 | 问题 |
|---|---|
(0711)486860 |
全角括号 —— 批二正在做的归一化应能覆盖 |
<span>0711</span>-<span>486860</span> |
被标签拆开 —— 属「HTML 标签打断」,已定单独评估 |
0711/486860/486861 |
三层全漏(见下) |
🟠 批一遗留:斜杠连号只抓到第一个¶
批一(斜杠支持)的结构分支要求「区号段以 0 或 + 开头 + 斜杠 + 数字」,
覆盖了 0711/486860 这种「区号/号码」形态。但德国还常见「主号/副号」写法:
0711-486860/486861 → 抓到 ["0711-486860"] 丢了第二个号
0711 486860 / 486861 → 抓到 ["0711 486860"] 丢了第二个号
0711/486860/486861 → [] 🔴 三层全漏
前两种主号码是完整正确的,只是漏了副号 —— 危害有限。 第三种是完全抓不到,因为斜杠前是完整号码不是区号,不匹配批一的结构分支。
⇒ 建议归入批三,与「HTML 标签打断」一起评估: 两者都涉及「一个字段里有多个号码/号码被切开」这类结构问题, 不是简单加字符集能解决的。
✅ 批二已修复:全角归一化 + 关键词补充 + 尾部清洗(k3 交付)¶
HTML 标签打断(批三)本轮未做 —— 风险最高、影响所有抓取,维持「单独评估」结论。
三处改法(全部在 src/utils/scraper.ts,纯函数无 IO)¶
- 全角归一化放在抓取【输入】侧(
normalizeFullWidthForPhone,三层正则与噪音判据 一行不动):U+FF01–FF5E 减0xFEE0、U+3000→空格、U+2010–2015/U+2212→-, 全部 1 字符→1 字符(长度不变),纯半角输入 fast-path 原样返回(同引用)。 只喂 phone 三层 + 自定义 phone 正则;email/社媒/WhatsApp 输入不受影响。 放在输入侧而非判据侧的理由:isLikelyCoordinateNoise已翻车四轮 (0089/0097/0098),归一化做成等价性变换(全角 ≡ 半角),防线复用存量判据。 - 关键词表补充(Tier2):
telefone?o?、telefonnummer、telefoon、teléfono、tél、\bfon\b(词边界防 Telefon/Fond 误中)、tlf、handy、mobil、热线、联系方式。 每个词都实测过改动前抓不到;出处见下方 X_KEYWORDS 等价记录(german-impressum-extractor 标签表、Cambridge/DDO 词典条目、法语/西语缩写惯例、德语 Fon/Fax 对举惯例)。 - 尾部清洗(addPhone 边界剥除):前导
[\s.,;:/-]+、尾部[\s.,;:/(-]+。 完整号码不会以这些字符结尾;(212) 555-0100、+49 (0) 711 486860内部成对括号 不在边界,逐字节不剥(测试锁死)。
改动前 ⇒ 改动后(执行方探针,逐条)¶
全角(改动前全部 [])
电话:0711-486860 → ["0711-486860"]
+49 711 486860 → ["+49 711 486860"](Tier3 自由文本)
电话:(0711)486860 → ["(0711)486860"]
电话:0711/486860 → ["0711/486860"]
Tel:0711‒486860(U+2012)→ ["0711-486860"]
手机:138 0013 8000 → ["138 0013 8000"]
tel:0711-486860 → ["0711-486860"](Tier1)
0711 486860(裸) → [] ≡ 半角裸 0711 486860 同态(0098 设计决定)
电话:0711 486860 → ["0711 486860"](关键词语境 Tier2)
关键词(改动前全部 [])
Fon/Fon:/Telefon:/Telefonnummer:/Tél:/Tél./Téléphone:/Teléfono:/
Telefono:/Telefone:/Telefoon:/Tlf:/Handy:/Mobil:/客服热线:/联系方式:
→ 全部抓到,如 "Fon 0711 486860" → ["0711 486860"]
词边界陷阱 "Fond: 12345 678901" → [](不被 fon 误中)
尾部清洗
Tel: 0711 486860 (Mo-Fr) ["0711 486860 ("] → ["0711 486860"]
Tel.\n0711 486860 [". 0711 486860"] → ["0711 486860"]
Tel: 0711 486860. ["0711 486860."] → ["0711 486860"]
Tel: (212) 555-0100 / +49 (0) 711 486860 / 8 (495) 123-45-67 逐字节不变
1-800-FLOWERS ["1-800-"](残缺) → [](残缺降为抓不到,尾部横杠剥掉后位数不足)
全角噪音(改动前后都拦)
01/02/2026(裸/关键词语境)→ [](归一化后由 isLikelySlashDateNoise 拦)
10.000.000(裸/关键词语境)→ [](归一化后由 isLikelyCoordinateNoise 基元 C 拦:
2-3-3 段共 8 位,不像电话)
新开的噪音面与对策(诚实记录)¶
横杠变体归一化(U+2013→-)把「Tel: 10.00–11.30」(营业时间,ISSUE-0097 真实样本类)
变成可捕获的 "10.00-11.30" —— isLikelyCoordinateNoise 只折 Unicode 横杠切 token,
对单 token「float-float」零防线(ASCII 版 "Tel: 10.00-11.30" 本是存量漏网)。
⇒ 新增独立守卫 isLikelyFloatRangeNoise(整串恰好 小数-小数,真实电话无此形状,
依据仍是 0089 的「点号是组分隔符,同 token ≥2 点」),新旧两个变体一起拦住。
没有动 isLikelyCoordinateNoise 本体。
验证¶
- 新增
tests/scraper-fullwidth-phone.test.ts(83 条断言): 全角 11 条、关键词 14 词 + 词边界陷阱、尾部 7 条(含内部括号不剥、FLOWERS 降级)、 对照组 9 条 × 4 语境硬编码基线、全角噪音 4 条、中文写法三态 4 条。 - 对照组 9 条 × 4 语境(含批一斜杠两条):git stash 前后探针 diff 完全为空 (IDENTICAL),逐字节零退化。
pnpm test184 → 267 全绿;pnpm verifyrc=0。
批二顺带发现(最后一问实测,三态)¶
| 写法 | 三态 | 说明 |
|---|---|---|
联系电话:0711-486860 |
✅ | 内含「电话」子串命中 |
电话/传真:0711-486860 |
✅ | 「传真」命中 |
Tel:0711-486860(半角词+全角冒号) |
✅ | 本来就支持 |
400-800-8888 / 400 800 8888 |
✅ | Tier3 结构匹配 |
+86 138-0013-8000 |
✅ | |
电话:(0711)486860 |
✅ 批二新修 | 全角括号归一化 |
客服热线:… / 联系方式:… |
✅ 批二新修 | 关键词表补「热线」「联系方式」 |
手机:13800138000(全角 11 位裸数字) |
✅ 批二新修 | 关键词语境 |
1-800-FLOWERS |
🟠→✅ | 从抓成残缺降为抓不到 |
电话:+86 138 0013 8000 |
⚠️ 抓重 | ["+86 138 0013 8000","138 0013 8000"] 两条同号(Tier2 整条 + Tier3 子串),都可拨、非残缺 |
<span>0711</span>-<span>486860</span> / <td> 拆开 |
❌ 抓不到 | 批三范围 |
(0711)486860(裸,无关键词) |
❌ | ≡ 半角 (0711)486860 裸同态,Tier3 前缀/首段结构限制 |
0571-8822 0088(裸) |
❌ | Tier3 首段 ≤3 位限制(同 0711-486860 裸),关键词语境可抓 |
(+86)138-0013-8000 |
❌ | 括号+冠码组合,三层结构都不匹配 |
电 话:0711-486860(关键词插空格,反爬) |
❌ | 关键词本身被打断 |
本轮无「抓成残缺」残留(原两类脏值全修;FLOWERS 降级为抓不到)。
v0.10.141 对抗批的交叉覆盖(ISSUE-0115)¶
本文批二之后,一轮 15-agent 对抗工作流又在同一片区域确认并修掉三条, 与本文的「四类抓不到、两类抓成脏值」同族,记在这里避免两边各修一半:
| 形态 | 本文批二时的状态 | v0.10.141 |
|---|---|---|
Tel.: 0900 1 234567 (1,99 €/Min.) 资费注记 |
未测到 —— 批二的尾部清洗只锁了字母注记 (Mo-Fr) |
✅ 修(未闭合 ( 截断)。数字开头的注记是那道防线的漏洞:末字符是数字,/[\s.,;:/(\-]+$/ 剥不掉 |
Tel 0711 486860 70173 Stuttgart 邮编焊接 |
未测到 | ✅ 修(最窄判据截尾) |
tel:+49%20711%20486860(WordPress esc_url) |
未测到 | ✅ 修(%XX 单元化 + decode) |
<script type="application/ld+json"> 的 telephone |
未测到 | ✅ 新增结构化通道 |
⚠️ 本文表里那条 电话:+86 138 0013 8000 抓重(Tier2 整条 + Tier3 子串两条同号)
在 v0.10.141 仍然存在 —— 对抗批没报它,本次不扩范围,维持「都可拨、非残缺」的原判。
✅ 批三已修复:相邻 <td> 拼接(v0.16.64)¶
luna P2 对抗整改¶
原实现只要看到两个相邻数字型 <td> 就拼成 第一段/第二段,没有电话语境门槛;因此价格、面积、年份和业务编号等数字对可能经过 8–15 位守卫后进入电话列表。
本轮在 src/utils/scraper.ts 收窄为三道条件:
- 单元格形状:前段 2–5 位、后段 5–9 位;小数点、千分位/空白分隔异常和货币符号直接拒绝。
- 语境门槛:非
0/+开头的候选必须在同一<tr>或<table>的<th>表头中出现电话关键词(Phone/Tel/Telefon/Fon/电话等)。 - 货币邻接保护:即使表头含
Phone,相邻货币单元格的数字对仍拒绝。
无电话表头的 0711 + 486860 保持兼容,继续恢复为 0711/486860;恢复后的候选仍统一进入 addPhone,继续接受既有的位数、日期、小数区间、坐标、黑名单和去重/仲裁守卫。
新增 tests/phone-ctx-cross-tag.test.ts 的“luna P2 对抗”样本覆盖:
2024+123456业务单号类数字对;1299.00+1200.00价格小数对;120.50+80.00面积小数对;Phone表头下紧邻货币列的1299+00000。
验证:修复前运行 pnpm exec vitest run tests/phone-ctx-cross-tag.test.ts 为 24 tests | 1 failed,并明确报出 expected []、实际收到 ['2024/123456'];修复后同命令为 1 passed (24 tests)。
剩余类状态(按 luna 建议逐类列明)¶
| 类别 | 状态 | 依据/边界 |
|---|---|---|
斜杠电话(0711/486860、列表拆分) |
✅ 已实现 | 批一;见 tests/scraper-slash-phone.test.ts,含斜杠日期/列表噪音守卫。 |
| 全角数字/标点/横杠 | ✅ 已实现 | 批二;入口解码与电话专用横杠归一,见 tests/scraper-fullwidth-phone.test.ts。 |
| 关键词补充(Fon、Telefon、Tél 等) | ✅ 已实现 | Tier2 关键词表已补,保留词边界。 |
| 尾部孤立标点、未闭合注记 | ✅ 已实现 | addPhone 清洗与后续形态守卫已覆盖。 |
| HTML 关键词跨元素桥 | ✅ 已实现 | PHONE_CTX_REGEX 的标签数、桥长、形状、void/self-closing 闸已覆盖本文件测试。 |
相邻 <td> 电话片段拼接 |
✅ v0.16.64 修复 | 本轮加入电话语境、形状和货币邻接门槛;正例 0711/486860 保留。 |
JSON-LD telephone |
✅ 已实现 | Tier0 结构化通道;<script type="application/ld+json"> 保留。 |
| 不可见/惰性内容中的数字 | ✅ 已实现 | 电话视野剥离普通 script/style/template/noscript/svg,JSON-LD 例外保留。 |
| WhatsApp 号码与电话管线的完全统一 | ⚠️ 部分实现 | 已共享形态清洗和关键守卫,但仍是独立抽取通道;不属于本轮 <td> 拼接范围。 |
本轮只更新 <td> 拼接实现与测试,并记录其余类别当前状态;issue frontmatter 的 status 保持 in-progress,由主控决定是否改为已关闭或继续跟踪。
✅ 残余刀已修:跨位置同号抓重(v0.16.66)¶
R4 入库仲裁:带冠码与裸国内写法跨位置同号只留一条(带冠码);NANP 与 merge 层同口径
折叠;未识别前缀 + 候选不参与比较(防误并)。考古修正:本文「v0.10.141 仍存在」
记载的同位置 Tier2+Tier3 形态在后续仲裁重构中已被吸收(跨位置形态才是真残余)。
测试 tests/phone-dedup.test.ts 8 用例。WhatsApp 管线完全统一仍为部分实现,本档
维持 in-progress 由该残余继续跟踪。
✅ 终刀:WhatsApp 管线完全统一(v0.16.72,全档收官)¶
契约:入口独立(wa.me/whatsapp: 协议关键词语义保留)+ 共享层单一源(清洗/ 8-15 位守卫/黑名单/NANP 折叠/R4 比较规则——comparePhoneR4 与 passesPhoneCandidateGuards 被两管线共同调用)+ WhatsApp 仍单值字段不套位置 仲裁;右边界电话侧同型防格式符截断造伪号(terra P1 整改);官网 ?phone= URL 直写改走同一抽取器。批一/二/三 + 跨位置去重 + 统一全部落地,翻 fixed。