跳转至

电话三阶段管线

Tony 2026-09-01 提出:「先识别,然后格式清洗规范,最后要识别是固话还是移动手机」。 本文是三路对抗(引库 / 自研 / 产品视角)+ 主控独立复核后的结论。

业务动机

用户是做外贸的中国卖家,营销触达按号码类型分叉: - 手机才能发 WhatsApp / SMS(外贸获客主渠道) - 固话只能打电话,且往往是前台/总机

⇒ 分类错了营销动作就发错渠道。这不是锦上添花。

结论:引 libphonenumber-js/max,但只能挂在现有管线后面

🔴 决定性证据:它分不开同形串

📌 2026-09-01 订正:本节初稿写的是「还会把坐标洗白」, Tony 指出「坐标很明显,可以直接从电话里过滤掉」—— 他是对的,主控把顺序讲反了。

实测:现有判据对完整坐标 6/6 全部拦住 (48.7758 9.1829、40.7128, -74.0060、11.5916 59.989、0.5 15.0234、 36.0901 180.315、48.8566,2.3522,17z)。 坐标根本走不到库那一步,"洗白"是个不会发生的场景,那条担忧多余。

但下面这条仍然成立且更要紧 —— 漏网的不是坐标,是坐标残片:

主控实测(countryHint='DE'):

输入 libphonenumber 判定
0711 486860(真斯图加特固话) valid ✅ FIXED_LINE → +49711486860
07157 56840(坐标残片,ISSUE-0098 认定) valid ✅ FIXED_LINE → +49715756840
48.7758 9.1829(经纬度对) ~~valid~~ —— 现有判据已拦住,进不到库

真正的问题是残片(现有判据漏网的那 3 条,实测全被库判为合法德国号):

残片 libphonenumber 判定
07157 56840 valid ✅ FIXED_LINE → +49715756840
0 71 6490 97 91 valid ✅ FIXED_LINE → +497164909791
71 6490 97 valid ✅ FIXED_LINE → +4971649097

残片已经不像坐标了 —— 纯整数、无小数点、不成对, 和真电话 0711 486860 在任何维度上都同形。⇒ 库也救不了这一类。

07157 恰好是真实分配的德国区号,所以库认为它完全合法。 经纬度对去掉标点后也凑成了合法号码 —— 被"洗白"成规范化的 E.164。

⇒ 绝不能用 libphonenumber 替代现有的噪音过滤。 它必须挂在 tier1-3 抽取 → isLikelyCoordinateNoise/isLikelySlashDateNoise 过滤 之后, 只做规范化与分类,不做「是不是电话」的判断。

这也再次印证 ISSUE-0098 的结论:同形串在纯号码语义层无解。

选型对比(对抗方实测,主控复核体积)

包 gzip 能否分类 结论
libphonenumber-js(默认 min) 29KB ❌ getType() 恒 undefined 出局
libphonenumber-js/mobile 34KB ❌ 把固话判 invalid,把 NANP 模糊号错判成 MOBILE 更糟,出局
libphonenumber-js/max 49KB ✅ 选定
awesome-phonenumber 75KB ✅ 同源数据 体积 1.5 倍无优势
google-libphonenumber 116KB ✅ 含 3 处字面 eval(),MV3 CSP 风险

体积:主控订正了对抗方的框定

对抗方说「相对 background.js 增 76%」,数字对但框定误导:

libphonenumber-js/max   gzip  48KB
当前 background.js      gzip  65KB   → 增 76%(听着吓人)
整包 dist-v2           总计 4.2MB   → 增量占比 1.12%(真实感受)

⇒ 对一个已经 4.2MB 的扩展,48KB 是可接受成本。

分类能力的真实边界

对抗方逐一 parse 245 个国家/地区的官方手机示例号:

返回 MOBILE(可判)          234 / 245
返回 FIXED_LINE_OR_MOBILE     11 / 245   = 4.5%
  US, CA, MX, CL, DO, PR, VI, GU, MP, FM, TA

美国实测命中(主控复核:+1 212 555 0100 → FIXED_LINE_OR_MOBILE)。 NANP 体系本身不区分固话手机 —— 这是电话号码体系的事实,不是库的缺陷, 任何方案都绕不过(除非接运营商查询 API,成本量级完全不同)。

⇒ 对美国/加拿大/墨西哥客户,阶段③ 给不出确定答案。 库能做到的上限是「诚实报告不确定」。

🔴 最大的施工量不是引库,是 country hint

libphonenumber 解析无 + 前缀的本地号码必须有国家提示,否则彻底失败:

无 hint + "0711 486860"   → undefined(不是降级,是拿不到任何结果)
hint 传 "de"(小写)        → 解析失败
hint 传 "DE"(大写 ISO2)   → 成功

而本仓抓取管线全程不传国家: processWebsiteScrape(id, websiteUrl) → runWebsiteScrapePipeline(url) → extractDataFromHtml(html, opts) 三层签名都不接收 country。

MapTaskData.countryCode 字段存在,但: - 来源是 Google Maps 内部返回数组的解构,没有经过任何映射层 - 默认值是空串而非 null - 未验证它是否是大写 ISO2 —— 如果是国家全名或 3 位码,会静默全部解析失败

⇒ 上线前必须先打日志观察一批真实 countryCode 原始值。 本仓 assets/data/countries.ts 有现成 iso2 字段可做兜底映射。

建议落地顺序

🔴 进度(2026-09-02, v0.10.142):阶段 1 与阶段 2 已落地(ISSUE-0116)—— 起因是 Tony 看手机列表截图问「格式不清洗吗」。阶段 3(固话/手机分类)仍未做。 实施中在真实语料上复现了本文第 55-70 行预言的洗白风险(经纬度残片被规范化成 漂亮的德国号),已加「小数点后 4 位以上不美化」的守卫 —— 详见 0116-phone-format-normalization。

阶段 内容 前置
0 打日志观察真实 countryCode 取值分布 无,先做这个
~~1~~ ✅ country hint 逐层传递改造(v0.10.142 · ISSUE-0116) 阶段 0 确认格式
~~2~~ ✅ 引库 + 规范化(E.164 + 可读国际格式)(v0.10.142) 阶段 1
~~3~~ ✅ 分类(含 FIXED_LINE_OR_MOBILE / UNPARSED 的诚实呈现)(v0.10.146 · ISSUE-0119) 阶段 2

✅ Tony 已拍板(2026-09-01)

# 决定 说明
1 原始串保留,与规范化并存 用户要能对比「网站上原本怎么写的」
2 ⚠️ 已被实现取代(2026-09-10 Tony 复核,见下节) · 原文:判不出类型的当 MOBILE FIXED_LINE_OR_MOBILE → 按手机处理。不执行 —— 实现保留 either 为独立第三态
3 ⚠️ 同 #2 已被实现取代 · 原文:分类偏好:偏向手机 与 #2 同向。理由见下方代价分析;复核理由同下节
4 无国家码的用同行地图号码套 Tony 的洞察,主控实测成立且比预想更简单,见下

关于 #2/#3 的代价分析(主控补充,供复核这个偏好对不对)

错的方向 后果 可见性
把固话当手机(偏好选的方向) WhatsApp/SMS 发不出去 可见 —— 发送失败有回执
把手机当固话 少发一批,永远不知道漏了谁 不可见

⇒ 偏向手机是对的:错了看得见,能补救。

🔴 2026-09-10 Tony 复核:#2/#3 不执行,维持三态实现

拍板维持现状:src/utils/phone-format.ts 把 FIXED_LINE_OR_MOBILE 保留为独立的 either 第三态(判据与理由见该文件 PhoneKind 定义上方的注释 —— 「🔴 either 与 unknown 必须分开」)。上表的 #2「当 MOBILE」与 #3「偏向手机」 不再执行。三条理由:

  1. 旧拍板的论证对象是二态分类器(不是 mobile 就是 fixed)。在那个前提下上面的 代价分析推理正确。但 either 是第三态,两者都不是 —— 拍板要防的「静默漏发」 当前实现没有触发:either 没有被当 fixed 排除,它就在列表里,一类不少。
  2. either → mobile 会把「查不出」盖成「已查过」:分类一旦落库,就随 CSV 导出 流进 CRM,从此无人知道它是猜的。三态呈现把不确定性留在明面上,猜测盖章 则把它变成不可追溯的"事实"。
  3. 拍板担心的漏发风险,改由筛选器解决:「类型」列有零输入算子 「可能是手机(含不区分的)」(maybeMobile,命中 mobile + either,判据在 src/utils/phone-kind-view.ts)—— 想 WhatsApp 群发的人用它一次选对两类, 用筛选器兜住漏发,不靠篡改分类。

原拍板与代价分析原文保留(不删):它防的错误(把手机当固话静默漏发)是真实的, 换个前提(真二态体系)它仍是对的。留着它 + 标注为何此处不适用,比抹掉它更有价值。

🔴 Tony 的洞察:无国家码时用同行地图号码 —— 主控实测成立,且更简单

Tony 提出「没有国家代码的可以看地图上号码,然后去套用」。 主控查证,这个思路成立,而且实际比设想的简单两层:

① 官网号码根本不用「去套」—— 它本来就和国家码在同一行

scraper-executor.ts:305  const existingPhone = existing?.[0]?.phone || '';   ← 同一行的地图号码
scraper-executor.ts:306  mergePhonesWithMapsLabel(existingPhone, extractedPhones)
types/data.ts:43         countryCode: string | null;                          ← 同一行、同一张表

官网抓到的号码与地图抓到的号码合并进同一条 MapTaskData 记录, 而 countryCode 就是这条记录的字段。⇒ 不需要跨行查找,取本行即可。

② 地图号码自带 +49,连 hint 都不需要

主控实测(用户截图里的真实数据):

+49 7164 909790  → 无 hint 直接解析出 DE / FIXED_LINE
+49 711 486860   → 无 hint 直接解析出 DE / FIXED_LINE

而官网抓的本地号码必须有 hint:

0711 486860   无 hint → ❌ 彻底失败
              hint=DE → ✅ FIXED_LINE

⇒ 国家推断的三级降级(按可靠性排序)

① 号码自带 + 前缀        → 直接解析,最可靠(地图号码通常属于这类)
② 同行 countryCode 字段  → 作 hint(需先验证格式是大写 ISO2)
③ 同行地图号码的国家     → 从 ① 解析出的 country 反哺给本行其它号码
④ 都没有                → 保留 raw,标 UNPARSED(Tony:后续可上 AI 辅助)

第 ③ 级正是 Tony 说的「看地图上号码然后套用」—— 它比 ② 更可靠,因为 +49 是号码自身携带的事实, 而 countryCode 字段来源未经映射层验证(见上文风险)。

⇒ 建议实施顺序调整:原计划「阶段 0 先打日志观察 countryCode」, 现在可以并行做 ③ —— 它不依赖 countryCode 的格式是否规范。

❓ 关于「带点直接过滤」—— 这条不能做,数据在此

Tony 问「带点直接过滤不好吗」。主控实测:会删掉仓库里全部 15 条带点的真电话。

法国      01.42.68.53.00 · 04.91.55.23.10 · 06.12.34.56.78      5 条
比利时/瑞士 02.345.67.89 · 044.123.45.67 · +41.44.123.45.67      3 条
美国      212.555.0100 · 1.800.555.0199 · +1.212.555.0199       6 条

法国全国的电话就是这个写法。 这正是 ISSUE-0089 的病因 —— v0.10.118 的判据「≥2 个点 ⇒ 噪音」把它们全删了,且不可逆。

⇒ 带点的不能一刀切。现在的基元 C 是按「段数 + 总位数」分: 真电话至少 9-10 位有效数字且分段多(法 2-2-2-2-2 共 10 位), 而日期 07.09.2026(2-2-4 共 8 位)、千分位 10.000.000(2-3-3 共 8 位)位数不够。 20 条样本实测零错判。

但 Tony 的直觉里有对的部分:引入 libphonenumber 后, 带点的判断可以交给库(它认识法国 01.42.68.53.00 是合法号码), 届时基元 C 可以简化甚至退役 —— 前提是库挂在过滤之后, 而不是替代过滤(见上文「会把坐标洗白」的实测)。

原「待拍板」中仍未决的

实施记录

2026-09-01 第一刀:国家推断三级降级(仅推断 + 诊断日志,不落库)

改动:新建 src/utils/phone-country.ts(纯函数、无 IO), 在 scraper-executor.ts 两个合并点(tab 路径 / 多阶段 pipeline 路径)接线, 只 console.info('[SPEC-012 country-infer]', …) 诊断日志,不改任何写库内容。

countryCode 格式结论(阶段 0):代码链路全程无格式约定 — — parse-data.ts 从 Google Maps 地址数组直接解构,唯一「约定」是消费端 都按 ISO2 假设(common-cells.tsx 的 renderCountryCode 直接 === iso2 比较、 countryCodeToFlag 假定 2 字母)。若真实值不是 ISO2,国旗/国家列早就坏了, 这是「大概率是 ISO2」的间接证据,但未实测 ⇒ 诊断日志逐行打 rawCountryCode, 观察方式:background SW 控制台过滤 [SPEC-012 country-infer]。

设计拍板(本刀补充): - 🔴 v0.10.145 推翻了这条(见 0118-per-number-cc-regressions):改为 同批次唯一 + 共识 优先于 countryCode。理由是本段末尾说的那次复核有结果了 —— 映射层只解决格式脏,解决不了值与号码国家冲突:意大利地图号 + 脏 countryCode='DE' 时裸号被按德国剥 0,不再合并且被伪装成德国号,批量扫出 45 组同类。 + 是号码自身携带的事实,countryCode 只是可能脏的字段。 且共识必须是唯一性判据(取第一个会让结果依赖候选顺序)、判在折叠后的拨号前缀 维度(NANP 的 +1 868/+1 876 同属一个编号计划)。以下为原拍板,保留备查: - ~~② 级(countryCode)先于 ③ 级(地图号码反哺)尝试。~~上文说「③ 比 ② 更可靠」, 理由是 countryCode 未经映射层;本刀为 ② 补了映射层 (normalizeCountryCode 容错接受 iso2 大小写 / iso3 / 英文全名, 映射不出唯一国家的一律判无效落到 ③)。校验后的 countryCode 语义是 「商家所在国」,对官网本地号码比「地图登记电话的国家」更贴切。 两级分歧率由诊断日志在真实数据上观察后再复核。 - 国家码变长歧义(+1 美/加、+7 俄/哈等 10 组共享前缀):返回策展代表国 (+1→US、+7→RU …)而非 null —— 下游 libphonenumber hint 对同一编号计划 内任一国家都能解析出可用 E.164,区内细分(US vs CA)留给引库后的区号数据。 另有最长前缀匹配消化部分歧义(+1 684 → AS,+358 18 → AX)。

测试:tests/phone-country.test.ts 29 条(三级命中、变长 1/2/3 位、 最长匹配、歧义代表国、countryCode 各格式容错、合并串 (地图) 标记、落级链)。 基线 267 → 296 全绿。

踩坑(本刀新增):scraper-executor.ts 的 mergePhonesWithMapsLabel(existingPhone, extractedPhones) 与写库的 phone: mergedPhone 之间被 ISSUE-0067 的 audit_grep 契约 ([\s\S]{0,500} 窗口)守着 —— 在两者之间插任何代码/注释都会撑爆 500 字符窗口, scan:issue-coverage --strict 报「present 违规」。诊断日志调用须放在 finalizeScrapedRow 之后。后续刀在这条路径加代码时注意。

未做(留给后续刀):不落库、不改 schema、不引 libphonenumber; ③ 级实际覆盖率待诊断日志在真实数据上统计后回填本文。

仍待拍板

  1. 规范化后原始串留不留?用户可能要核对「网站上原本怎么写的」。 替换 / 并存?并存则 UI 怎么展示?(本仓硬约束「不改 schema」,并存要想清楚落在哪)
  2. 判不出类型的怎么呈现?美加墨占比若高,会有可观比例的 FIXED_LINE_OR_MOBILE。 单独一列?图标?还是只在导出时分组?
  3. countryCode 为空的商户(地理定位失败/新市场)如何降级? 原样保留 raw 且不写结构化字段?
  4. 分类错的方向偏好:把手机当固话(少发一批,损失不可见) vs 把固话当手机(发不出去,浪费但可见)。分类器该偏哪边?

管线形态 v2(Tony 2026-09-01 提出,主控实测后补全)

Tony 提出三条补充,把三阶段扩成完整管线:

「识别前是不是可以清洗坐标?官网上一般不放坐标。 识别后先清理一波,再清洗格式。用户可以选择 AI 识别(包括前后一些原始的信息)。」

🔴 主控实测:抓取前【完全没有任何 HTML 清洗】

extractDataFromHtml(html, opts) 拿到的是原始 HTML,直接喂给三层正则 —— 没有剔除 <script>、<style>、地图 iframe,也没有任何区域白名单。

⇒ Tony 的「识别前清洗」这条正中要害:这一层根本不存在。

但清洗的目标不是坐标 —— 实测反转了这个判断

主控构造四种官网坐标的典型藏身处,实测全部抓不进来:

位置 抓取结果
<script>var map={lat:48.7758,lng:9.1829}</script> []
<div data-lat="48.7758" data-lng="9.1829"> []
<script type="application/ld+json">{"geo":{...}}</script> []
<iframe src="maps.google.com/?q=48.7758,9.1829"> []

⇒ 官网上的坐标本来就进不来(它们的格式不匹配电话正则)。 Tony 的直觉「官网一般不放坐标」是对的,但结论要修正:不是不放,是放了也抓不到。

那 id=8101 那 30 条到底是什么?主控反推出来了

<p>Umsatz: 5.944.689.955 EUR</p>              → 抓成电话 ✅ 复现
<td>Bilanzsumme</td><td>1.677.823.281</td>   → 抓成电话 ✅ 复现

是财务数字(Umsatz = 营业额、Bilanzsumme = 资产负债表总额),不是坐标。 那个页面大概率是企业信息站/财报页,满页千分位金额。

⇒ 清洗的目标应该是「财务/统计数字区块」,不是坐标。

修正后的完整管线

① 前置清洗(新增,Tony 提出)
   剔除不可能有电话的区块:<script> / <style> / <table> 财报区 / 地图 iframe
   ⇒ 从源头减少候选,而不是事后猜
        ↓
② 识别(现有三层正则 + 批一批二的斜杠/全角/关键词/尾部清洗)
        ↓
③ 清理一波(Tony 提出:识别后先清理)
   现有 isLikelyCoordinateNoise + 页面级统计(一页 30+ 候选 ⇒ 整页低可信)
        ↓
④ 格式规范化(原阶段②)
   E.164 + 可读国际格式,原始串并存
        ↓
⑤ 分类(原阶段③)
   固话/手机,判不出当 MOBILE
        ↓
⑥ AI 识别(可选,Tony 提出)
   用户开关;把号码【前后的原始上下文】一起喂给 AI

🔴 第 ⑥ 步是唯一能解决同形串的方案

前六轮翻车的根因是:判断信息不在字符串里。而 AI 识别恰好补上这一点 ——

Tel: 0711.486.860        上下文有 "Tel:"    → 电话
Umsatz: 5.944.689.955    上下文有 "Umsatz:" → 金额

同样是「4 段 10 位」,上下文一看就分开了。

这也是主控此前说的「补充信息源」路线,Tony 的表述更具体: 把前后原始信息一起给 AI。

关键设计点(待细化)

项 说明
上下文窗口 号码前后多少字符?太短没信息,太长费 token
触发时机 全量跑(贵)还是只跑「可疑」的(需先有可疑判据)
用户开关 Tony 明确要「可选」—— 默认关还是开?
成本 每条号码一次 AI 调用?还是整页一次批量判?
降级 AI 不可用/超时怎么办

⇒ 建议:只对「现有判据判不了的」跑 AI(即 KNOWN_MISS 那 20 条形态), 而不是全量。这样成本可控,且正好补在能力边界上。

落地顺序建议(修正版)

刀 内容 理由
1 前置清洗(剔 script/style/财报表格区) 成本最低、从源头减噪、零误杀风险
2 页面级统计(一页候选数异常 ⇒ 标低可信) 不需新判据,只需计数阈值;id=8101 是现成证据
3 格式规范化 + 分类(引 libphonenumber) 已选型完成,等国家推断验证
4 AI 识别(可选开关) 最贵但唯一能根治同形串;建议只跑判不了的

刀 1 与刀 2 都不碰 isLikelyCoordinateNoise —— 那个函数已翻车六轮, 新增能力放在它前后,不再动它本身。


前置清洗到底该清什么 —— 主控实测 11 类(Tony 追问)

Tony 问「不仅仅是清洗坐标?还可以清洗哪些?」 主控构造德国商家官网的典型内容逐类实测,结论比预想干净:

🔴 会被误抓成电话的,只有两类

类别 样例 抓成
财务千分位 Umsatz: 5.944.689.955 EUR 5.944.689.955
企业税号/注册号 USt-IdNr: DE 811 569 869 811 569 869

税号这一类跨国普遍,实测 4 国全中:

德 VAT      USt-IdNr: DE 811 569 869      → 811 569 869
英 VAT      VAT No. GB 123 4567 89        → 123 4567 89
德 税号      Steuernummer 12 345 678 901   → 12 345 678 901
法 企业号     SIRET 552 100 554 00021       → 552 100 554 00021
意 增值税号   P.IVA 00159560366             → [] (连写无空格,逃过了)

✅ 本来就不会被抓的(不用清洗)

价格 1.299,00 EUR、工商注册号 HRB 123456、银行账号 IBAN DE89 3704...、 商品货号、邮编 PLZ 70173、营业时间 08.00 - 18.00、日期 01.09.2026、 <script> 内的数组 —— 实测全部返回 []。

⇒ 前置清洗的范围比想象的小得多,只要处理「财务数字」与「税号」两类。

为什么税号这类特别值得清洗

它们有强关键词前缀(USt-IdNr / VAT / Steuernummer / SIRET / TIN / 税号), 判据不需要看数字本身 —— 看它前面挂着什么词就够了。 这正是「信息在上下文里而不在字符串里」的又一例证, 与 AI 识别路线(第 ⑥ 步)同源,但成本低得多:一个关键词黑名单即可。

🔴 2026-09-01 对抗审:这里原写「建议抓取前把税号关键词+其后数字整体剔除, 零误杀风险」—— 被证伪,已撤销。详见下方「对抗审结论」。


设置入口(Tony 提出)

「清洗 是不是在设置里加上一个设置的入口」

该加,且已有现成位置。 src/sections/settings/view/settings-view.tsx 的结构是:

① 一键预设   ② 基本设置(语言/国家)   ③ 数据过滤   ← 挂这里

「数据过滤」分组(约 :969)已有 advParms 数组机制承载各类开关 (deleteNoEmail、deleteNoUrl 等),新开关沿用同一机制,不需要新 schema。

建议的开关设计

开关 默认 说明
过滤财务/税号数字 开 零误杀风险,默认开安全
页面异常时降低可信度 开 一页 30+ 候选 ⇒ 标低可信(刀 2)
AI 智能识别 关 Tony 明确要「可选」;有成本,默认关

🔴 文案要说清代价,不能只写开关名 —— 参照本仓用户面文档标准(通俗易懂、说清「那我现在该怎么做」):

过滤财务/税号数字        跳过「营业额」「税号」这类明显不是电话的数字
                        建议开启,几乎不会误删真号码

AI 智能识别(消耗额度)   分不清是电话还是普通数字时,让 AI 看一眼上下文再决定
                        更准,但每次采集会消耗 AI 额度

⚠️ 一个必须避开的坑

本仓规则 docs/rules/settings-change-pre-check.md + docs/wiki/settings-field-semantics.md 明文警告:望文生义命名设置项 = 死路一条 (maxConcurrentTasks 不是任务数是 Tab 数、deepScrapeConcurrency 不是网站数是 worker 数)。

⇒ 新开关的字段名与 UI 文案必须一致,且要在 docs/wiki/settings-field-semantics.md 同步登记语义,否则下一个人又会误读。


🔴 前置清洗设计 —— 对抗审结论(2026-09-01)

三路审查 + 三路复核,主控的「零误杀风险」被证伪,方案形态需改。

① 「零误杀」错在哪:只论证了分类,没论证影响半径

原论证是「真电话不会挂在 USt-IdNr: 后面」—— 这只证明了分类正确(这串数字不是电话), 没证明删除动作的影响半径(剔掉这个片段会波及多远)。

而且 SPEC 全文从未定义「片段」的边界。 审查方 grep 确认「粒度」零命中。 不同实现者会写出完全不同的东西,其中两种直接删真号码:

粒度实现 结果
命中关键词删整行 🔴 删真电话
关键词后固定挖 N 字符 🔴 删真电话(挖的正是 SPEC 自己举的例子)
关键词+紧邻数字(字符类不含字母) ⚠️ 完全不起作用 —— 欧盟 VAT 几乎全带字母国家码(DE 811...),字母挡住捕获
关键词+有界字符类(遇非成员字符即停) ✅ 实测场景内幸存,但安全性建立在巧合上

主控亲手复现的两条

德国 Impressum 单行(法律强制页,税号与电话紧挨)
  Impressum | Tel: 0711 486860 | Fax: 0711 486861 | USt-IdNr: DE 811 569 869
  清洗前   ["0711 486860","0711 486861","811 569 869"]
  整行删除  []                              ← 两个真电话陪葬

SPEC 自己举的例子
  USt-IdNr: DE 811 569 869 · Tel: 0711 486860
  清洗前     ["0711 486860","811 569 869"]
  40字符窗口  []                             ← 真电话被吞

⚠️ 德国 Impressum 是法律强制的企业信息页,税号与电话必然同页且常同行。 这是这个方案最危险、也最普遍的战场。

为什么「看着安全」的那个实现也不能信

唯一幸存的实现,靠的是「德语/法语电话标签词恰好以字母开头、 常见分隔符恰好不在允许字符集里」这些巧合,不是设计出来的边界。 ⇒ 这正是前六轮翻车的同一模式:样本内干净,真实数据打脸。

② 复核方挖出一条更根本的:不存在跨格式安全的固定窗口

单个场景各有安全窗口(<br> 分隔 ≤22 字符、逗号分隔 ≤16 字符), 但两者不重合。⇒ 任何固定窗口都会在某类真实页面上误杀。

③ 一个既有架构给的安全边界(主控此前没注意到)

src/utils/scraper.ts:585   const emails = html.match(emailRe)          ← 邮箱读原始 html
src/utils/scraper.ts:684   const phoneHtml = normalizeFullWidthForPhone(html)  ← 电话读独立拷贝

电话已经有独立的 HTML 拷贝(全角归一化时建的)。 ⇒ 前置清洗可以只作用于 phoneHtml,天然不影响邮箱抓取。 这是既有架构送的隔离,方案应该建在它上面。

④ 设置入口部分:审查方否掉了「沿用邮箱范式」的类比

主控原话是「沿用邮箱侧的成熟范式」。审查方指出这个类比不成立:

邮箱黑名单 / 电话黑名单   作用于【已抽取的候选字符串】,精确或子串匹配
新提的关键词过滤          作用于【抓取前的原始 HTML】,是区间删除

本仓从无「前置区间删除」的先例。 名字像但机制完全不同, 沿用同一交互会误导用户以为它们行为一致。

还有一条默认值的坑(实锤源码)

审查方查到 @wxt-dev/storage 的 getValueOrFallback 是整键级 fallback: defaultValue 只在整个 key 从未写过时生效。 ⇒ 已保存过设置的老用户,升级后拿到的是当年存的旧对象,不会补上新增字段。

这意味着「默认开」对存量用户不生效,对新用户生效 —— 行为分裂。

✅ 修正后的方案形态

项 原方案 改为
措辞 「零误杀风险」 撤销。只能说「实测场景内未见误杀」
粒度 未定义 必须钉死在 SPEC 里:有界字符类,遇字母/标签/换行/逗号/中点/竖线等任一非成员字符立即截断;明令禁止整行、整段、固定窗口
作用范围 未说 只作用于 phoneHtml,不碰 html(邮箱不受影响)
默认值 默认开 默认关,测试集稳定后再议;且要处理存量用户 fallback 不生效的问题
交互文案 「沿用邮箱范式」 不能沿用。机制不同(区间删除 vs 候选过滤),文案要说清差异
验收 无 必须覆盖:同行税号+电话、<br> 紧凑三字段块、税号在前电话在后、法语 Numéro 双关、德国 Impressum 真实结构

我对这条的最终判断

方案不能按原样实施,但方向仍成立 —— 改成「有界字符类 + 只作用于 phoneHtml + 默认关」之后, 它仍是成本最低的一刀(不用 AI、不动那个翻车六轮的判据)。

但必须先把粒度写死、测试集补齐,再谈上线。


🔴 置信度分层对抗(2026-09-01)—— 推翻了主控的一个长期误判

Tony 提出:「有的没清洗就知道是手机,有的带点这种不能确认, 用户可以选择 AI 识别还是按流程清理」。三路设计 + 三路攻击的结论如下。

① 分层解开了一个死结(Tony 的思路成立)

此前主控建议「只对判不了的跑 AI」,卡在:isLikelyCoordinateNoise 返回 boolean, 没有「不确定」状态;要三态就得改那个已翻车六轮的函数。

Tony 的分层给出出路:不改它,在外面加一层。 它继续管高置信噪音,分层逻辑独立实现。

⇒ 架构成立,且这是本轮最重要的正面结论。

② 🔴 主控对现有判据的判断,被数据推翻了

主控此前一直认为判据「千疮百孔、翻车六轮」。实测(主控亲跑):

分组 结果
MUST_DROP_real_noise(22) 22/22 全拦
MUST_DROP_issue0080(5) 5/5 全拦
MUST_DROP_baseline(5) 5/5 全拦
MUST_DROP_real_dash(24) 24/24 全拦
MUST_KEEP_issue0089(19) 0 误杀
MUST_KEEP_real_phones(9) 0 误杀
MUST_KEEP_rare_intl(10) 0 误杀

56 条真噪音零漏判,38 条真电话零误杀。

⇒ 判据不弱。主控被 KNOWN_MISS_ambiguous 那 20 条误导, 把「有 20 条它没意见」错读成「它到处出错」。

这个误判影响了此前多轮的方案设计 —— 一直在想「怎么修判据」, 而实际上判据该管的都管住了,KNOWN_MISS 是它明确表示「无意见」的部分。

③ 一个从未被记录的新发现:段数规则不能用来扩覆盖率

最省事的扩大覆盖率方案是复用判据内部的 dottedLooksLikePhone (段数 ≥4,或段数 3 且位数 ≥10)当「高置信电话」信号。

主控实测:这会把 SPEC-012 自己已复现确认身份的财务数字标成高置信电话。

5.944.689.955   段数结构判为电话 = 🔴 是    ← Umsatz(营业额),本文档 :316 已复现
1.677.823.281   段数结构判为电话 = 🔴 是    ← Bilanzsumme(资产负债表),:317 已复现

KNOWN_MISS 20 条里,会被误标成「高置信电话」的:14 条(70%)

⇒ dottedLooksLikePhone 当初「20 条样本零错判」的验证集里没有财务数字, 它的安全边界被高估了。它用于保护法/比电话不被误杀是安全的(那是它的设计目的), 但反过来当作「这是电话」的正面证据就不成立。

这是六轮翻车史里从未被记录过的一条。

④ 覆盖率的两种口径(此前混淆了)

口径 分母 高置信电话覆盖
全量候选(含已被判据拦掉的噪音) 109 用于评估判据强度
真实到达 UI 的候选池 58(38 真电话 + 20 未决) 31%

后者才是「剩多少交给用户」的真实答案:69% 不确定。

⚠️ 但注意:这 58 条里 38 条本就是真电话,用户即使全部保留也无损失。 真正需要决策的是那 20 条 KNOWN_MISS。

⑤ 上下文信号:机制安全,但没有语料能测

主控此前提的「记住号码前后原文」,攻击方验证了机制上的关键优势:

前置清洗(已证伪):抓取前删 HTML 区间 → 删错 = 不可逆的邻居误杀
上下文信号(本方案):只回看候选号码旁边的文字 → 最坏情况是「停留在不确定」

⇒ 最坏失败模式从「静默丢失」变成「保持不确定」,这是分层架构相对删除规则的核心优势。

4 条构造样本实测 3 条正确分开,第 4 条失败: <td>Bilanzsumme</td><td>1.677.823.281</td> —— 标签与数值分属两个单元格, 窗口内夹了 HTML 标签导致未匹配。⇒ 要落地需先剥标签,该改进未验证。

🔴 但没有真实 HTML 语料能跑覆盖率 —— fixture 只存已抽取的号码字符串, extractDataFromHtml 的返回值也不携带上下文或来源 tier。 攻击方拒绝编造百分比,这个态度对。

修正后的落地建议

刀 内容 状态
0 先采集一批真实 HTML 语料 🔴 前置:没有语料,上下文路线的覆盖率无法验证
1 分层骨架:噪音侧原样调用现有三个判据,电话侧只用 +/00 国际前缀 零新增风险(噪音侧就是今天在跑的代码)
2 上下文信号(需先剥 HTML 标签) 依赖刀 0 的语料
3 UI 呈现「不确定」+ 用户选择 依赖刀 1/2 确定实际比例

🔴 明确不做:复用 dottedLooksLikePhone 当高置信电话信号(见 ③)。


Tony 追问三条的实测答复(2026-09-01)

① 上下文能到 80% 就按那条做?—— 同意,但先定验收口径

同意这个决策规则,但必须先说清「80%」是什么的 80%,否则会重蹈本轮「覆盖率口径混淆」的覆辙:

口径 分母 说明
❌ 全量候选 109 含已被判据拦掉的噪音,虚高
✅ 真实到达 UI 的候选池 58 38 真电话 + 20 未决
✅✅ 真正需要决策的 20 只有 KNOWN_MISS,前 38 条本就是真电话

⇒ 建议以第三个口径为准:上下文信号能把那 20 条 KNOWN_MISS 判掉多少。 判掉 16 条即 80%,剩 4 条交 AI 或保留。

🔴 前置条件不变:这个数字必须用真实 HTML 语料测,不能用构造样本。 上一轮攻击方拒绝编百分比是对的。

② 网站/地图上不会出现多个点吧?—— 会,而且很多

主控实测,这条直觉不成立:

真电话的点数分布   {0点:16, 2点:5, 3点:13, 4点:4}
噪音的点数分布     {0点:6, 1点:13, 2点:28, 3点:13, 4点:6}

17 条真电话有 3 个以上的点:

01.42.68.53.00     法国(4 个点)      044.123.45.67      瑞士
04.91.55.23.10     法国               +41.44.123.45.67   瑞士
06.12.34.56.78     法国手机            1.800.555.0199     美国免付费
02.345.67.89       比利时              +34.912.345.678    西班牙
0470.12.34.56      比利时手机          +44.20.7946.0958   英国

⚠️ 3 点的真电话有 13 条,3 点的噪音也有 13 条 —— 完全重合。

⇒ 点数这个维度分不开两类。这正是 ISSUE-0089 的病因: v0.10.118 用「≥2 个点即噪音」,删掉了法国全国的号码。

③ 存原始 HTML 还是转 Markdown?—— 🔴 结论已被真实页面推翻,见文末订正

Tony 的直觉正确,而且恰好解决上一轮那条失败样本。

上一轮攻击方报告:<td>Bilanzsumme</td><td>1.677.823.281</td> 上下文匹配失败。 主控深挖发现根因不是标签本身,是 HTML 属性会随机吃掉上下文窗口:

窗口 30 字符时
  <td>Bilanzsumme</td><td>1.677.823.281</td>                    ✅ 命中
  <td class="label">Bilanzsumme</td><td class="value num">...   🔴 未命中(class 吃掉窗口)
  <td class="c1" style="...">Bilanzsumme</td><td style="...">   ✅ 命中(凑巧)
  | Bilanzsumme | 1.677.823.281 |                              ✅ 命中

⚠️ 注意 带 class 失败而更长的 带 style 却成功 —— 说明 HTML 下的命中率不稳定、依赖属性的具体长度,这是不可控的。

Markdown 的三个实质优势

优势 说明
窗口不被属性污染 class/style/data-* 全部消失,30 字符窗口里装的都是真内容
表格语义保留 <td>A</td><td>B</td> → \| A \| B \|,标签与数值的邻接关系还在
体积小得多 存原始 HTML 做语料库,量级差一个数量级

但有两个代价要认

  1. 需要 HTML→Markdown 转换器 —— 是否引依赖?还是自己写简化版? (本仓当前无此依赖,需评估体积;参考:turndown 约 20KB gzip)
  2. 转换本身会丢信息 —— 比如 tel: 链接的 href 属性。 ⚠️ 而 Tier1 正是靠 tel: 链接抓取的,转 Markdown 可能破坏它。 ⇒ 建议:Markdown 只用于上下文判断,抓取仍走原始 HTML,两者并存。

修正后的刀 0

原计划「采集一批真实 HTML 语料」,按 Tony 的建议改为:

采集真实页面 → 转 Markdown → 存为语料库

用于验证上下文信号在那 20 条 KNOWN_MISS 上的实际命中率。 达到 80%(即判掉 16 条)就按上下文路线做,否则考虑 AI 兜底。


🔴 刀 0 实测报告(2026-09-01)—— 含对上文 ③ 的订正

订正:Markdown 不是省存储的答案

上文 ③ 写「Markdown 更好,主控实测支持」。那次实测用的是手写小片段,不是真实页面,结论错了。

拿 14 个真实抓取页面重测(tests/corpus/):

形态 原始 gzip 后 占 HTML 粗估 token
HTML 5235 KB 871 KB 100% 1340k
Markdown 2549 KB 381 KB 49% 653k
纯文本(剥标签+压空白) 605 KB 216 KB 12% 155k

Markdown 是纯文本的 4.21 倍。 小片段上看 Markdown 省(48% vs 28%), 真实页面上完全相反 —— 因为真实页面的体积大头是 script/style/内联属性, 纯文本和 Markdown 都会剥掉;但 Markdown 额外保留了导航菜单、链接 URL、图片引用, 而这些正是企业站里占比最大的东西。

运行环境还有一道硬闸

库 gzip MV3 Service Worker 能跑吗
turndown 4 KB 🔴 不能 —— browser 字段把 domino 置为 false,改用宿主 DOMParser;SW 无 DOM。实测直接抛 document is not defined
node-html-markdown 89 KB ✅ 能(自带解析器)

当前 background.js gzip 仅 116 KB,加 node-html-markdown 是 +77%。

⇒ 为了一个比纯文本大 4 倍的中间格式,付 89 KB 依赖 + 77% 包体膨胀,不划算。

决定

存纯文本,不引 markdown 库。 三条理由,按权重排:

  1. 省得多:12% vs 49%,传云端的 token 也少 4 倍
  2. 零依赖:一段 5 行正则,无包体成本、无 SW 兼容问题
  3. 够用:本报告全部 153 条判决就是在纯文本上跑出来的,92% 表态率、零假货 —— Markdown 的结构优势在这个任务上没有兑现

保留一条:tel: 链接的 href 抓取仍走原始 HTML(Tier1 不动),纯文本只用于上下文判断。这一点与上文 ③ 的建议一致。

刀 0 主结论:上下文信号路线 通过 80% 门槛

Tony 的验收口径是「上下文能到 80% 就按那条做」。实测:

批次 站点 表态率 KEEP DROP UNKNOWN KEEP 假货
批一 训练集 11 页 · 德 29/29 = 100% 17 12 0 0
批二 留出集 24 页 · 9 国 55/55 = 100% 51 4 0 0
批三 干净验证 27 页 · 15 国 57/69 = 83% 56 1 12 0
合计 62 页 153 条 · 92% 124 17 12 0

🔴 只有批三的 83% 是可信数字 —— 批一批二都被用来调过参。 批三在判据冻结(SHA e1bdf345)之后才采集,判据从未见过它。

覆盖语种:德/波/捷/瑞典/丹麦/芬兰/西/意/法/英/美/中/日/韩/马来/巴西/UAE。

判据形态(三步,顺序不可换)

① 形态剔除   日期 / 年代区间 / 跨行地址 / 产品型号 —— 字符串层就能定死
② 反向词     法定编号(USt-IdNr / SIREN / HRB / KvK / NIP…)⇒ DROP
③ 电话词     Tel / Telefon / Phone / 电话 / 热线… ⇒ KEEP;否则看 + 前缀;再否则 UNKNOWN

✅ 落地状态(2026-09-02):② 见 0120-legal-id-reverse-word(v0.10.148, 在 spec 形态上加了「紧邻」收窄,否则会误删真电话); ③ 见 0121-phone-confidence-tier(v0.10.149)—— 🔴 实现时发现现有三层抽取本身就是判据③:tier 1(tel:/JSON-LD)与 tier 2(PHONE_CTX_REGEX)就是「电话词 ⇒ KEEP」,tier 3 就是「否则看 +」。 不需要新写词表,只需把 phoneCandidates[].tier 透传出来并用于排序。 UNKNOWN 落地为 confidence: 'low'(不丢条,只排到后面)。

两个词表都跨行看 before(标签常在上一行),且结尾不用 (见 0101-word-boundary-blocks-inflected-and-compound-terms)。

一个被真实数据推翻的做法:评估口径必须对齐产品口径

中途我用维基百科条目补千分位样本,得到表态率 20%,一度以为路线不成立。

实际是口径错了两层:

  1. 采集正则比产品正则宽松 —— 我的采集式抓到 1626 条,产品 PHONE_TEXT_REGEX 只会抓 78 条。 目录编号 1.1/3.2、引用编号列这些,产品根本不会看见。
  2. 维基不代表产品输入分布 —— 产品抓的是企业官网。同一判据同一时刻: business-site 表态率 89%,wikipedia 20%。

⇒ 评估集必须代表产品的真实输入分布,评估口径必须用产品的真正则。 否则测的是一个不存在的问题。(维基语料完成取样使命后已从仓库移除。)

遗留:批三那 12 条 UNKNOWN

类别 样本 能不能修
无标签的号码 800 222 0118(前面只有美国地址) 需要国家号段表,不是上下文问题
被正则切碎 121 683 5620(原文 +44 (0) 121 683 5620) 🔴 产品正则的真问题 —— (0) 打断了匹配
日式地址 3-4-25(Hakata Ekimae 3F) 形态剔除可补

第二类是产品缺陷,不是判据缺陷 —— +44 (0) 121 … 这种英式写法会被 PHONE_TEXT_REGEX 从括号处切断。登记为下一刀。

✅ 已修(v0.10.150,0122-bracket-adjacent-intl-phone):本条点名的 +44 (0) 121 683 5620 早先已被 T3 左延展修好;实测发现同族还有三个没修 (+44(0)121… 连写、+49 (0)89… 括号紧贴、+81 (0)3-… 日式), 根因是 T3 左边界字符类不含 ) ⇒ 连一个命中都产生不了、左延展无从触发。 加上 ) 即解,六场景对照零误伤。 ⚠️ 同族里「国际前缀 + 两段分组」(+49 (0) 711 486860)仍抓不到,根因不同。

复现

python3 scripts/collect-phone-corpus.py --discover homes.txt   # 首页 → 自动发现联系页
python3 scripts/collect-phone-corpus.py urls.txt.discovered    # 抓取 + 抽候选
python3 scripts/eval-phone-context.py                          # 判据评估

语料留在 tests/corpus{,-holdout,-v3}/txt/(1.2 MB,原始 HTML 29 MB 未入库)。