电话三阶段管线¶
Tony 2026-09-01 提出:「先识别,然后格式清洗规范,最后要识别是固话还是移动手机」。 本文是三路对抗(引库 / 自研 / 产品视角)+ 主控独立复核后的结论。
业务动机¶
用户是做外贸的中国卖家,营销触达按号码类型分叉: - 手机才能发 WhatsApp / SMS(外贸获客主渠道) - 固话只能打电话,且往往是前台/总机
⇒ 分类错了营销动作就发错渠道。这不是锦上添花。
结论:引 libphonenumber-js/max,但只能挂在现有管线后面¶
🔴 决定性证据:它分不开同形串¶
📌 2026-09-01 订正:本节初稿写的是「还会把坐标洗白」, Tony 指出「坐标很明显,可以直接从电话里过滤掉」—— 他是对的,主控把顺序讲反了。
实测:现有判据对完整坐标 6/6 全部拦住 (
48.7758 9.1829、40.7128, -74.0060、11.5916 59.989、0.5 15.0234、36.0901 180.315、48.8566,2.3522,17z)。 坐标根本走不到库那一步,"洗白"是个不会发生的场景,那条担忧多余。但下面这条仍然成立且更要紧 —— 漏网的不是坐标,是坐标残片:
主控实测(countryHint='DE'):
| 输入 | libphonenumber 判定 |
|---|---|
0711 486860(真斯图加特固话) |
valid ✅ FIXED_LINE → +49711486860 |
07157 56840(坐标残片,ISSUE-0098 认定) |
valid ✅ FIXED_LINE → +49715756840 |
48.7758 9.1829(经纬度对) |
~~valid~~ —— 现有判据已拦住,进不到库 |
真正的问题是残片(现有判据漏网的那 3 条,实测全被库判为合法德国号):
| 残片 | libphonenumber 判定 |
|---|---|
07157 56840 |
valid ✅ FIXED_LINE → +49715756840 |
0 71 6490 97 91 |
valid ✅ FIXED_LINE → +497164909791 |
71 6490 97 |
valid ✅ FIXED_LINE → +4971649097 |
残片已经不像坐标了 —— 纯整数、无小数点、不成对,
和真电话 0711 486860 在任何维度上都同形。⇒ 库也救不了这一类。
07157 恰好是真实分配的德国区号,所以库认为它完全合法。
经纬度对去掉标点后也凑成了合法号码 —— 被"洗白"成规范化的 E.164。
⇒ 绝不能用 libphonenumber 替代现有的噪音过滤。
它必须挂在 tier1-3 抽取 → isLikelyCoordinateNoise/isLikelySlashDateNoise 过滤 之后,
只做规范化与分类,不做「是不是电话」的判断。
这也再次印证 ISSUE-0098 的结论:同形串在纯号码语义层无解。
选型对比(对抗方实测,主控复核体积)¶
| 包 | gzip | 能否分类 | 结论 |
|---|---|---|---|
libphonenumber-js(默认 min) |
29KB | ❌ getType() 恒 undefined |
出局 |
libphonenumber-js/mobile |
34KB | ❌ 把固话判 invalid,把 NANP 模糊号错判成 MOBILE | 更糟,出局 |
libphonenumber-js/max |
49KB | ✅ | 选定 |
awesome-phonenumber |
75KB | ✅ 同源数据 | 体积 1.5 倍无优势 |
google-libphonenumber |
116KB | ✅ | 含 3 处字面 eval(),MV3 CSP 风险 |
体积:主控订正了对抗方的框定¶
对抗方说「相对 background.js 增 76%」,数字对但框定误导:
libphonenumber-js/max gzip 48KB
当前 background.js gzip 65KB → 增 76%(听着吓人)
整包 dist-v2 总计 4.2MB → 增量占比 1.12%(真实感受)
⇒ 对一个已经 4.2MB 的扩展,48KB 是可接受成本。
分类能力的真实边界¶
对抗方逐一 parse 245 个国家/地区的官方手机示例号:
返回 MOBILE(可判) 234 / 245
返回 FIXED_LINE_OR_MOBILE 11 / 245 = 4.5%
US, CA, MX, CL, DO, PR, VI, GU, MP, FM, TA
美国实测命中(主控复核:+1 212 555 0100 → FIXED_LINE_OR_MOBILE)。
NANP 体系本身不区分固话手机 —— 这是电话号码体系的事实,不是库的缺陷,
任何方案都绕不过(除非接运营商查询 API,成本量级完全不同)。
⇒ 对美国/加拿大/墨西哥客户,阶段③ 给不出确定答案。 库能做到的上限是「诚实报告不确定」。
🔴 最大的施工量不是引库,是 country hint¶
libphonenumber 解析无 + 前缀的本地号码必须有国家提示,否则彻底失败:
而本仓抓取管线全程不传国家:
processWebsiteScrape(id, websiteUrl) → runWebsiteScrapePipeline(url) →
extractDataFromHtml(html, opts) 三层签名都不接收 country。
MapTaskData.countryCode 字段存在,但:
- 来源是 Google Maps 内部返回数组的解构,没有经过任何映射层
- 默认值是空串而非 null
- 未验证它是否是大写 ISO2 —— 如果是国家全名或 3 位码,会静默全部解析失败
⇒ 上线前必须先打日志观察一批真实 countryCode 原始值。
本仓 assets/data/countries.ts 有现成 iso2 字段可做兜底映射。
建议落地顺序¶
🔴 进度(2026-09-02, v0.10.142):阶段 1 与阶段 2 已落地(ISSUE-0116)—— 起因是 Tony 看手机列表截图问「格式不清洗吗」。阶段 3(固话/手机分类)仍未做。 实施中在真实语料上复现了本文第 55-70 行预言的洗白风险(经纬度残片被规范化成 漂亮的德国号),已加「小数点后 4 位以上不美化」的守卫 —— 详见 0116-phone-format-normalization。
| 阶段 | 内容 | 前置 |
|---|---|---|
| 0 | 打日志观察真实 countryCode 取值分布 |
无,先做这个 |
| ~~1~~ ✅ | country hint 逐层传递改造(v0.10.142 · ISSUE-0116) | 阶段 0 确认格式 |
| ~~2~~ ✅ | 引库 + 规范化(E.164 + 可读国际格式)(v0.10.142) | 阶段 1 |
| ~~3~~ ✅ | 分类(含 FIXED_LINE_OR_MOBILE / UNPARSED 的诚实呈现)(v0.10.146 · ISSUE-0119) |
阶段 2 |
✅ Tony 已拍板(2026-09-01)¶
| # | 决定 | 说明 |
|---|---|---|
| 1 | 原始串保留,与规范化并存 | 用户要能对比「网站上原本怎么写的」 |
| 2 | ⚠️ 已被实现取代(2026-09-10 Tony 复核,见下节) · 原文:判不出类型的当 MOBILE | FIXED_LINE_OR_MOBILE → 按手机处理。不执行 —— 实现保留 either 为独立第三态 |
| 3 | ⚠️ 同 #2 已被实现取代 · 原文:分类偏好:偏向手机 | 与 #2 同向。理由见下方代价分析;复核理由同下节 |
| 4 | 无国家码的用同行地图号码套 | Tony 的洞察,主控实测成立且比预想更简单,见下 |
关于 #2/#3 的代价分析(主控补充,供复核这个偏好对不对)¶
| 错的方向 | 后果 | 可见性 |
|---|---|---|
| 把固话当手机(偏好选的方向) | WhatsApp/SMS 发不出去 | 可见 —— 发送失败有回执 |
| 把手机当固话 | 少发一批,永远不知道漏了谁 | 不可见 |
⇒ 偏向手机是对的:错了看得见,能补救。
🔴 2026-09-10 Tony 复核:#2/#3 不执行,维持三态实现¶
拍板维持现状:src/utils/phone-format.ts 把 FIXED_LINE_OR_MOBILE 保留为独立的
either 第三态(判据与理由见该文件 PhoneKind 定义上方的注释 ——
「🔴 either 与 unknown 必须分开」)。上表的 #2「当 MOBILE」与 #3「偏向手机」
不再执行。三条理由:
- 旧拍板的论证对象是二态分类器(不是 mobile 就是 fixed)。在那个前提下上面的
代价分析推理正确。但
either是第三态,两者都不是 —— 拍板要防的「静默漏发」 当前实现没有触发:either没有被当 fixed 排除,它就在列表里,一类不少。 either → mobile会把「查不出」盖成「已查过」:分类一旦落库,就随 CSV 导出 流进 CRM,从此无人知道它是猜的。三态呈现把不确定性留在明面上,猜测盖章 则把它变成不可追溯的"事实"。- 拍板担心的漏发风险,改由筛选器解决:「类型」列有零输入算子
「可能是手机(含不区分的)」(
maybeMobile,命中mobile+either,判据在src/utils/phone-kind-view.ts)—— 想 WhatsApp 群发的人用它一次选对两类, 用筛选器兜住漏发,不靠篡改分类。
原拍板与代价分析原文保留(不删):它防的错误(把手机当固话静默漏发)是真实的, 换个前提(真二态体系)它仍是对的。留着它 + 标注为何此处不适用,比抹掉它更有价值。
🔴 Tony 的洞察:无国家码时用同行地图号码 —— 主控实测成立,且更简单¶
Tony 提出「没有国家代码的可以看地图上号码,然后去套用」。 主控查证,这个思路成立,而且实际比设想的简单两层:
① 官网号码根本不用「去套」—— 它本来就和国家码在同一行¶
scraper-executor.ts:305 const existingPhone = existing?.[0]?.phone || ''; ← 同一行的地图号码
scraper-executor.ts:306 mergePhonesWithMapsLabel(existingPhone, extractedPhones)
types/data.ts:43 countryCode: string | null; ← 同一行、同一张表
官网抓到的号码与地图抓到的号码合并进同一条 MapTaskData 记录,
而 countryCode 就是这条记录的字段。⇒ 不需要跨行查找,取本行即可。
② 地图号码自带 +49,连 hint 都不需要¶
主控实测(用户截图里的真实数据):
而官网抓的本地号码必须有 hint:
⇒ 国家推断的三级降级(按可靠性排序)¶
① 号码自带 + 前缀 → 直接解析,最可靠(地图号码通常属于这类)
② 同行 countryCode 字段 → 作 hint(需先验证格式是大写 ISO2)
③ 同行地图号码的国家 → 从 ① 解析出的 country 反哺给本行其它号码
④ 都没有 → 保留 raw,标 UNPARSED(Tony:后续可上 AI 辅助)
第 ③ 级正是 Tony 说的「看地图上号码然后套用」——
它比 ② 更可靠,因为 +49 是号码自身携带的事实,
而 countryCode 字段来源未经映射层验证(见上文风险)。
⇒ 建议实施顺序调整:原计划「阶段 0 先打日志观察 countryCode」,
现在可以并行做 ③ —— 它不依赖 countryCode 的格式是否规范。
❓ 关于「带点直接过滤」—— 这条不能做,数据在此¶
Tony 问「带点直接过滤不好吗」。主控实测:会删掉仓库里全部 15 条带点的真电话。
法国 01.42.68.53.00 · 04.91.55.23.10 · 06.12.34.56.78 5 条
比利时/瑞士 02.345.67.89 · 044.123.45.67 · +41.44.123.45.67 3 条
美国 212.555.0100 · 1.800.555.0199 · +1.212.555.0199 6 条
法国全国的电话就是这个写法。 这正是 ISSUE-0089 的病因 —— v0.10.118 的判据「≥2 个点 ⇒ 噪音」把它们全删了,且不可逆。
⇒ 带点的不能一刀切。现在的基元 C 是按「段数 + 总位数」分:
真电话至少 9-10 位有效数字且分段多(法 2-2-2-2-2 共 10 位),
而日期 07.09.2026(2-2-4 共 8 位)、千分位 10.000.000(2-3-3 共 8 位)位数不够。
20 条样本实测零错判。
但 Tony 的直觉里有对的部分:引入 libphonenumber 后,
带点的判断可以交给库(它认识法国 01.42.68.53.00 是合法号码),
届时基元 C 可以简化甚至退役 —— 前提是库挂在过滤之后,
而不是替代过滤(见上文「会把坐标洗白」的实测)。
原「待拍板」中仍未决的¶
实施记录¶
2026-09-01 第一刀:国家推断三级降级(仅推断 + 诊断日志,不落库)¶
改动:新建 src/utils/phone-country.ts(纯函数、无 IO),
在 scraper-executor.ts 两个合并点(tab 路径 / 多阶段 pipeline 路径)接线,
只 console.info('[SPEC-012 country-infer]', …) 诊断日志,不改任何写库内容。
countryCode 格式结论(阶段 0):代码链路全程无格式约定 —
— parse-data.ts 从 Google Maps 地址数组直接解构,唯一「约定」是消费端
都按 ISO2 假设(common-cells.tsx 的 renderCountryCode 直接 === iso2 比较、
countryCodeToFlag 假定 2 字母)。若真实值不是 ISO2,国旗/国家列早就坏了,
这是「大概率是 ISO2」的间接证据,但未实测 ⇒ 诊断日志逐行打 rawCountryCode,
观察方式:background SW 控制台过滤 [SPEC-012 country-infer]。
设计拍板(本刀补充):
- 🔴 v0.10.145 推翻了这条(见 0118-per-number-cc-regressions):改为
同批次唯一 + 共识 优先于 countryCode。理由是本段末尾说的那次复核有结果了 ——
映射层只解决格式脏,解决不了值与号码国家冲突:意大利地图号 + 脏
countryCode='DE' 时裸号被按德国剥 0,不再合并且被伪装成德国号,批量扫出 45 组同类。
+ 是号码自身携带的事实,countryCode 只是可能脏的字段。
且共识必须是唯一性判据(取第一个会让结果依赖候选顺序)、判在折叠后的拨号前缀
维度(NANP 的 +1 868/+1 876 同属一个编号计划)。以下为原拍板,保留备查:
- ~~② 级(countryCode)先于 ③ 级(地图号码反哺)尝试。~~上文说「③ 比 ② 更可靠」,
理由是 countryCode 未经映射层;本刀为 ② 补了映射层
(normalizeCountryCode 容错接受 iso2 大小写 / iso3 / 英文全名,
映射不出唯一国家的一律判无效落到 ③)。校验后的 countryCode 语义是
「商家所在国」,对官网本地号码比「地图登记电话的国家」更贴切。
两级分歧率由诊断日志在真实数据上观察后再复核。
- 国家码变长歧义(+1 美/加、+7 俄/哈等 10 组共享前缀):返回策展代表国
(+1→US、+7→RU …)而非 null —— 下游 libphonenumber hint 对同一编号计划
内任一国家都能解析出可用 E.164,区内细分(US vs CA)留给引库后的区号数据。
另有最长前缀匹配消化部分歧义(+1 684 → AS,+358 18 → AX)。
测试:tests/phone-country.test.ts 29 条(三级命中、变长 1/2/3 位、
最长匹配、歧义代表国、countryCode 各格式容错、合并串 (地图) 标记、落级链)。
基线 267 → 296 全绿。
踩坑(本刀新增):scraper-executor.ts 的 mergePhonesWithMapsLabel(existingPhone, extractedPhones)
与写库的 phone: mergedPhone 之间被 ISSUE-0067 的 audit_grep 契约
([\s\S]{0,500} 窗口)守着 —— 在两者之间插任何代码/注释都会撑爆 500 字符窗口,
scan:issue-coverage --strict 报「present 违规」。诊断日志调用须放在
finalizeScrapedRow 之后。后续刀在这条路径加代码时注意。
未做(留给后续刀):不落库、不改 schema、不引 libphonenumber; ③ 级实际覆盖率待诊断日志在真实数据上统计后回填本文。
仍待拍板¶
- 规范化后原始串留不留?用户可能要核对「网站上原本怎么写的」。 替换 / 并存?并存则 UI 怎么展示?(本仓硬约束「不改 schema」,并存要想清楚落在哪)
- 判不出类型的怎么呈现?美加墨占比若高,会有可观比例的
FIXED_LINE_OR_MOBILE。 单独一列?图标?还是只在导出时分组? countryCode为空的商户(地理定位失败/新市场)如何降级? 原样保留 raw 且不写结构化字段?- 分类错的方向偏好:把手机当固话(少发一批,损失不可见) vs 把固话当手机(发不出去,浪费但可见)。分类器该偏哪边?
管线形态 v2(Tony 2026-09-01 提出,主控实测后补全)¶
Tony 提出三条补充,把三阶段扩成完整管线:
「识别前是不是可以清洗坐标?官网上一般不放坐标。 识别后先清理一波,再清洗格式。用户可以选择 AI 识别(包括前后一些原始的信息)。」
🔴 主控实测:抓取前【完全没有任何 HTML 清洗】¶
extractDataFromHtml(html, opts) 拿到的是原始 HTML,直接喂给三层正则 ——
没有剔除 <script>、<style>、地图 iframe,也没有任何区域白名单。
⇒ Tony 的「识别前清洗」这条正中要害:这一层根本不存在。
但清洗的目标不是坐标 —— 实测反转了这个判断¶
主控构造四种官网坐标的典型藏身处,实测全部抓不进来:
| 位置 | 抓取结果 |
|---|---|
<script>var map={lat:48.7758,lng:9.1829}</script> |
[] |
<div data-lat="48.7758" data-lng="9.1829"> |
[] |
<script type="application/ld+json">{"geo":{...}}</script> |
[] |
<iframe src="maps.google.com/?q=48.7758,9.1829"> |
[] |
⇒ 官网上的坐标本来就进不来(它们的格式不匹配电话正则)。 Tony 的直觉「官网一般不放坐标」是对的,但结论要修正:不是不放,是放了也抓不到。
那 id=8101 那 30 条到底是什么?主控反推出来了¶
是财务数字(Umsatz = 营业额、Bilanzsumme = 资产负债表总额),不是坐标。 那个页面大概率是企业信息站/财报页,满页千分位金额。
⇒ 清洗的目标应该是「财务/统计数字区块」,不是坐标。
修正后的完整管线¶
① 前置清洗(新增,Tony 提出)
剔除不可能有电话的区块:<script> / <style> / <table> 财报区 / 地图 iframe
⇒ 从源头减少候选,而不是事后猜
↓
② 识别(现有三层正则 + 批一批二的斜杠/全角/关键词/尾部清洗)
↓
③ 清理一波(Tony 提出:识别后先清理)
现有 isLikelyCoordinateNoise + 页面级统计(一页 30+ 候选 ⇒ 整页低可信)
↓
④ 格式规范化(原阶段②)
E.164 + 可读国际格式,原始串并存
↓
⑤ 分类(原阶段③)
固话/手机,判不出当 MOBILE
↓
⑥ AI 识别(可选,Tony 提出)
用户开关;把号码【前后的原始上下文】一起喂给 AI
🔴 第 ⑥ 步是唯一能解决同形串的方案¶
前六轮翻车的根因是:判断信息不在字符串里。而 AI 识别恰好补上这一点 ——
同样是「4 段 10 位」,上下文一看就分开了。
这也是主控此前说的「补充信息源」路线,Tony 的表述更具体: 把前后原始信息一起给 AI。
关键设计点(待细化)¶
| 项 | 说明 |
|---|---|
| 上下文窗口 | 号码前后多少字符?太短没信息,太长费 token |
| 触发时机 | 全量跑(贵)还是只跑「可疑」的(需先有可疑判据) |
| 用户开关 | Tony 明确要「可选」—— 默认关还是开? |
| 成本 | 每条号码一次 AI 调用?还是整页一次批量判? |
| 降级 | AI 不可用/超时怎么办 |
⇒ 建议:只对「现有判据判不了的」跑 AI(即 KNOWN_MISS 那 20 条形态), 而不是全量。这样成本可控,且正好补在能力边界上。
落地顺序建议(修正版)¶
| 刀 | 内容 | 理由 |
|---|---|---|
| 1 | 前置清洗(剔 script/style/财报表格区) | 成本最低、从源头减噪、零误杀风险 |
| 2 | 页面级统计(一页候选数异常 ⇒ 标低可信) | 不需新判据,只需计数阈值;id=8101 是现成证据 |
| 3 | 格式规范化 + 分类(引 libphonenumber) | 已选型完成,等国家推断验证 |
| 4 | AI 识别(可选开关) | 最贵但唯一能根治同形串;建议只跑判不了的 |
刀 1 与刀 2 都不碰 isLikelyCoordinateNoise —— 那个函数已翻车六轮,
新增能力放在它前后,不再动它本身。
前置清洗到底该清什么 —— 主控实测 11 类(Tony 追问)¶
Tony 问「不仅仅是清洗坐标?还可以清洗哪些?」 主控构造德国商家官网的典型内容逐类实测,结论比预想干净:
🔴 会被误抓成电话的,只有两类¶
| 类别 | 样例 | 抓成 |
|---|---|---|
| 财务千分位 | Umsatz: 5.944.689.955 EUR |
5.944.689.955 |
| 企业税号/注册号 | USt-IdNr: DE 811 569 869 |
811 569 869 |
税号这一类跨国普遍,实测 4 国全中:
德 VAT USt-IdNr: DE 811 569 869 → 811 569 869
英 VAT VAT No. GB 123 4567 89 → 123 4567 89
德 税号 Steuernummer 12 345 678 901 → 12 345 678 901
法 企业号 SIRET 552 100 554 00021 → 552 100 554 00021
意 增值税号 P.IVA 00159560366 → [] (连写无空格,逃过了)
✅ 本来就不会被抓的(不用清洗)¶
价格 1.299,00 EUR、工商注册号 HRB 123456、银行账号 IBAN DE89 3704...、
商品货号、邮编 PLZ 70173、营业时间 08.00 - 18.00、日期 01.09.2026、
<script> 内的数组 —— 实测全部返回 []。
⇒ 前置清洗的范围比想象的小得多,只要处理「财务数字」与「税号」两类。
为什么税号这类特别值得清洗¶
它们有强关键词前缀(USt-IdNr / VAT / Steuernummer / SIRET / TIN / 税号),
判据不需要看数字本身 —— 看它前面挂着什么词就够了。
这正是「信息在上下文里而不在字符串里」的又一例证,
与 AI 识别路线(第 ⑥ 步)同源,但成本低得多:一个关键词黑名单即可。
🔴 2026-09-01 对抗审:这里原写「建议抓取前把税号关键词+其后数字整体剔除, 零误杀风险」—— 被证伪,已撤销。详见下方「对抗审结论」。
设置入口(Tony 提出)¶
「清洗 是不是在设置里加上一个设置的入口」
该加,且已有现成位置。 src/sections/settings/view/settings-view.tsx 的结构是:
「数据过滤」分组(约 :969)已有 advParms 数组机制承载各类开关
(deleteNoEmail、deleteNoUrl 等),新开关沿用同一机制,不需要新 schema。
建议的开关设计¶
| 开关 | 默认 | 说明 |
|---|---|---|
| 过滤财务/税号数字 | 开 | 零误杀风险,默认开安全 |
| 页面异常时降低可信度 | 开 | 一页 30+ 候选 ⇒ 标低可信(刀 2) |
| AI 智能识别 | 关 | Tony 明确要「可选」;有成本,默认关 |
🔴 文案要说清代价,不能只写开关名 —— 参照本仓用户面文档标准(通俗易懂、说清「那我现在该怎么做」):
过滤财务/税号数字 跳过「营业额」「税号」这类明显不是电话的数字
建议开启,几乎不会误删真号码
AI 智能识别(消耗额度) 分不清是电话还是普通数字时,让 AI 看一眼上下文再决定
更准,但每次采集会消耗 AI 额度
⚠️ 一个必须避开的坑¶
本仓规则 docs/rules/settings-change-pre-check.md + docs/wiki/settings-field-semantics.md
明文警告:望文生义命名设置项 = 死路一条
(maxConcurrentTasks 不是任务数是 Tab 数、deepScrapeConcurrency 不是网站数是 worker 数)。
⇒ 新开关的字段名与 UI 文案必须一致,且要在
docs/wiki/settings-field-semantics.md 同步登记语义,否则下一个人又会误读。
🔴 前置清洗设计 —— 对抗审结论(2026-09-01)¶
三路审查 + 三路复核,主控的「零误杀风险」被证伪,方案形态需改。
① 「零误杀」错在哪:只论证了分类,没论证影响半径¶
原论证是「真电话不会挂在 USt-IdNr: 后面」——
这只证明了分类正确(这串数字不是电话),
没证明删除动作的影响半径(剔掉这个片段会波及多远)。
而且 SPEC 全文从未定义「片段」的边界。 审查方 grep 确认「粒度」零命中。 不同实现者会写出完全不同的东西,其中两种直接删真号码:
| 粒度实现 | 结果 |
|---|---|
| 命中关键词删整行 | 🔴 删真电话 |
| 关键词后固定挖 N 字符 | 🔴 删真电话(挖的正是 SPEC 自己举的例子) |
| 关键词+紧邻数字(字符类不含字母) | ⚠️ 完全不起作用 —— 欧盟 VAT 几乎全带字母国家码(DE 811...),字母挡住捕获 |
| 关键词+有界字符类(遇非成员字符即停) | ✅ 实测场景内幸存,但安全性建立在巧合上 |
主控亲手复现的两条¶
德国 Impressum 单行(法律强制页,税号与电话紧挨)
Impressum | Tel: 0711 486860 | Fax: 0711 486861 | USt-IdNr: DE 811 569 869
清洗前 ["0711 486860","0711 486861","811 569 869"]
整行删除 [] ← 两个真电话陪葬
SPEC 自己举的例子
USt-IdNr: DE 811 569 869 · Tel: 0711 486860
清洗前 ["0711 486860","811 569 869"]
40字符窗口 [] ← 真电话被吞
⚠️ 德国 Impressum 是法律强制的企业信息页,税号与电话必然同页且常同行。 这是这个方案最危险、也最普遍的战场。
为什么「看着安全」的那个实现也不能信¶
唯一幸存的实现,靠的是「德语/法语电话标签词恰好以字母开头、 常见分隔符恰好不在允许字符集里」这些巧合,不是设计出来的边界。 ⇒ 这正是前六轮翻车的同一模式:样本内干净,真实数据打脸。
② 复核方挖出一条更根本的:不存在跨格式安全的固定窗口¶
单个场景各有安全窗口(<br> 分隔 ≤22 字符、逗号分隔 ≤16 字符),
但两者不重合。⇒ 任何固定窗口都会在某类真实页面上误杀。
③ 一个既有架构给的安全边界(主控此前没注意到)¶
src/utils/scraper.ts:585 const emails = html.match(emailRe) ← 邮箱读原始 html
src/utils/scraper.ts:684 const phoneHtml = normalizeFullWidthForPhone(html) ← 电话读独立拷贝
电话已经有独立的 HTML 拷贝(全角归一化时建的)。
⇒ 前置清洗可以只作用于 phoneHtml,天然不影响邮箱抓取。
这是既有架构送的隔离,方案应该建在它上面。
④ 设置入口部分:审查方否掉了「沿用邮箱范式」的类比¶
主控原话是「沿用邮箱侧的成熟范式」。审查方指出这个类比不成立:
本仓从无「前置区间删除」的先例。 名字像但机制完全不同, 沿用同一交互会误导用户以为它们行为一致。
还有一条默认值的坑(实锤源码)¶
审查方查到 @wxt-dev/storage 的 getValueOrFallback 是整键级 fallback:
defaultValue 只在整个 key 从未写过时生效。
⇒ 已保存过设置的老用户,升级后拿到的是当年存的旧对象,不会补上新增字段。
这意味着「默认开」对存量用户不生效,对新用户生效 —— 行为分裂。
✅ 修正后的方案形态¶
| 项 | 原方案 | 改为 |
|---|---|---|
| 措辞 | 「零误杀风险」 | 撤销。只能说「实测场景内未见误杀」 |
| 粒度 | 未定义 | 必须钉死在 SPEC 里:有界字符类,遇字母/标签/换行/逗号/中点/竖线等任一非成员字符立即截断;明令禁止整行、整段、固定窗口 |
| 作用范围 | 未说 | 只作用于 phoneHtml,不碰 html(邮箱不受影响) |
| 默认值 | 默认开 | 默认关,测试集稳定后再议;且要处理存量用户 fallback 不生效的问题 |
| 交互文案 | 「沿用邮箱范式」 | 不能沿用。机制不同(区间删除 vs 候选过滤),文案要说清差异 |
| 验收 | 无 | 必须覆盖:同行税号+电话、<br> 紧凑三字段块、税号在前电话在后、法语 Numéro 双关、德国 Impressum 真实结构 |
我对这条的最终判断¶
方案不能按原样实施,但方向仍成立 —— 改成「有界字符类 + 只作用于 phoneHtml + 默认关」之后, 它仍是成本最低的一刀(不用 AI、不动那个翻车六轮的判据)。
但必须先把粒度写死、测试集补齐,再谈上线。
🔴 置信度分层对抗(2026-09-01)—— 推翻了主控的一个长期误判¶
Tony 提出:「有的没清洗就知道是手机,有的带点这种不能确认, 用户可以选择 AI 识别还是按流程清理」。三路设计 + 三路攻击的结论如下。
① 分层解开了一个死结(Tony 的思路成立)¶
此前主控建议「只对判不了的跑 AI」,卡在:isLikelyCoordinateNoise 返回 boolean,
没有「不确定」状态;要三态就得改那个已翻车六轮的函数。
Tony 的分层给出出路:不改它,在外面加一层。 它继续管高置信噪音,分层逻辑独立实现。
⇒ 架构成立,且这是本轮最重要的正面结论。
② 🔴 主控对现有判据的判断,被数据推翻了¶
主控此前一直认为判据「千疮百孔、翻车六轮」。实测(主控亲跑):
| 分组 | 结果 |
|---|---|
MUST_DROP_real_noise(22) |
22/22 全拦 |
MUST_DROP_issue0080(5) |
5/5 全拦 |
MUST_DROP_baseline(5) |
5/5 全拦 |
MUST_DROP_real_dash(24) |
24/24 全拦 |
MUST_KEEP_issue0089(19) |
0 误杀 |
MUST_KEEP_real_phones(9) |
0 误杀 |
MUST_KEEP_rare_intl(10) |
0 误杀 |
56 条真噪音零漏判,38 条真电话零误杀。
⇒ 判据不弱。主控被 KNOWN_MISS_ambiguous 那 20 条误导,
把「有 20 条它没意见」错读成「它到处出错」。
这个误判影响了此前多轮的方案设计 —— 一直在想「怎么修判据」,
而实际上判据该管的都管住了,KNOWN_MISS 是它明确表示「无意见」的部分。
③ 一个从未被记录的新发现:段数规则不能用来扩覆盖率¶
最省事的扩大覆盖率方案是复用判据内部的 dottedLooksLikePhone
(段数 ≥4,或段数 3 且位数 ≥10)当「高置信电话」信号。
主控实测:这会把 SPEC-012 自己已复现确认身份的财务数字标成高置信电话。
5.944.689.955 段数结构判为电话 = 🔴 是 ← Umsatz(营业额),本文档 :316 已复现
1.677.823.281 段数结构判为电话 = 🔴 是 ← Bilanzsumme(资产负债表),:317 已复现
KNOWN_MISS 20 条里,会被误标成「高置信电话」的:14 条(70%)
⇒ dottedLooksLikePhone 当初「20 条样本零错判」的验证集里没有财务数字,
它的安全边界被高估了。它用于保护法/比电话不被误杀是安全的(那是它的设计目的),
但反过来当作「这是电话」的正面证据就不成立。
这是六轮翻车史里从未被记录过的一条。
④ 覆盖率的两种口径(此前混淆了)¶
| 口径 | 分母 | 高置信电话覆盖 |
|---|---|---|
| 全量候选(含已被判据拦掉的噪音) | 109 | 用于评估判据强度 |
| 真实到达 UI 的候选池 | 58(38 真电话 + 20 未决) | 31% |
后者才是「剩多少交给用户」的真实答案:69% 不确定。
⚠️ 但注意:这 58 条里 38 条本就是真电话,用户即使全部保留也无损失。
真正需要决策的是那 20 条 KNOWN_MISS。
⑤ 上下文信号:机制安全,但没有语料能测¶
主控此前提的「记住号码前后原文」,攻击方验证了机制上的关键优势:
⇒ 最坏失败模式从「静默丢失」变成「保持不确定」,这是分层架构相对删除规则的核心优势。
4 条构造样本实测 3 条正确分开,第 4 条失败:
<td>Bilanzsumme</td><td>1.677.823.281</td> —— 标签与数值分属两个单元格,
窗口内夹了 HTML 标签导致未匹配。⇒ 要落地需先剥标签,该改进未验证。
🔴 但没有真实 HTML 语料能跑覆盖率 —— fixture 只存已抽取的号码字符串,
extractDataFromHtml 的返回值也不携带上下文或来源 tier。
攻击方拒绝编造百分比,这个态度对。
修正后的落地建议¶
| 刀 | 内容 | 状态 |
|---|---|---|
| 0 | 先采集一批真实 HTML 语料 | 🔴 前置:没有语料,上下文路线的覆盖率无法验证 |
| 1 | 分层骨架:噪音侧原样调用现有三个判据,电话侧只用 +/00 国际前缀 |
零新增风险(噪音侧就是今天在跑的代码) |
| 2 | 上下文信号(需先剥 HTML 标签) | 依赖刀 0 的语料 |
| 3 | UI 呈现「不确定」+ 用户选择 | 依赖刀 1/2 确定实际比例 |
🔴 明确不做:复用 dottedLooksLikePhone 当高置信电话信号(见 ③)。
Tony 追问三条的实测答复(2026-09-01)¶
① 上下文能到 80% 就按那条做?—— 同意,但先定验收口径¶
同意这个决策规则,但必须先说清「80%」是什么的 80%,否则会重蹈本轮「覆盖率口径混淆」的覆辙:
| 口径 | 分母 | 说明 |
|---|---|---|
| ❌ 全量候选 | 109 | 含已被判据拦掉的噪音,虚高 |
| ✅ 真实到达 UI 的候选池 | 58 | 38 真电话 + 20 未决 |
| ✅✅ 真正需要决策的 | 20 | 只有 KNOWN_MISS,前 38 条本就是真电话 |
⇒ 建议以第三个口径为准:上下文信号能把那 20 条 KNOWN_MISS 判掉多少。
判掉 16 条即 80%,剩 4 条交 AI 或保留。
🔴 前置条件不变:这个数字必须用真实 HTML 语料测,不能用构造样本。 上一轮攻击方拒绝编百分比是对的。
② 网站/地图上不会出现多个点吧?—— 会,而且很多¶
主控实测,这条直觉不成立:
17 条真电话有 3 个以上的点:
01.42.68.53.00 法国(4 个点) 044.123.45.67 瑞士
04.91.55.23.10 法国 +41.44.123.45.67 瑞士
06.12.34.56.78 法国手机 1.800.555.0199 美国免付费
02.345.67.89 比利时 +34.912.345.678 西班牙
0470.12.34.56 比利时手机 +44.20.7946.0958 英国
⚠️ 3 点的真电话有 13 条,3 点的噪音也有 13 条 —— 完全重合。
⇒ 点数这个维度分不开两类。这正是 ISSUE-0089 的病因: v0.10.118 用「≥2 个点即噪音」,删掉了法国全国的号码。
③ 存原始 HTML 还是转 Markdown?—— 🔴 结论已被真实页面推翻,见文末订正¶
Tony 的直觉正确,而且恰好解决上一轮那条失败样本。
上一轮攻击方报告:<td>Bilanzsumme</td><td>1.677.823.281</td> 上下文匹配失败。
主控深挖发现根因不是标签本身,是 HTML 属性会随机吃掉上下文窗口:
窗口 30 字符时
<td>Bilanzsumme</td><td>1.677.823.281</td> ✅ 命中
<td class="label">Bilanzsumme</td><td class="value num">... 🔴 未命中(class 吃掉窗口)
<td class="c1" style="...">Bilanzsumme</td><td style="..."> ✅ 命中(凑巧)
| Bilanzsumme | 1.677.823.281 | ✅ 命中
⚠️ 注意 带 class 失败而更长的 带 style 却成功 ——
说明 HTML 下的命中率不稳定、依赖属性的具体长度,这是不可控的。
Markdown 的三个实质优势¶
| 优势 | 说明 |
|---|---|
| 窗口不被属性污染 | class/style/data-* 全部消失,30 字符窗口里装的都是真内容 |
| 表格语义保留 | <td>A</td><td>B</td> → \| A \| B \|,标签与数值的邻接关系还在 |
| 体积小得多 | 存原始 HTML 做语料库,量级差一个数量级 |
但有两个代价要认¶
- 需要 HTML→Markdown 转换器 —— 是否引依赖?还是自己写简化版? (本仓当前无此依赖,需评估体积;参考:turndown 约 20KB gzip)
- 转换本身会丢信息 —— 比如
tel:链接的href属性。 ⚠️ 而 Tier1 正是靠tel:链接抓取的,转 Markdown 可能破坏它。 ⇒ 建议:Markdown 只用于上下文判断,抓取仍走原始 HTML,两者并存。
修正后的刀 0¶
原计划「采集一批真实 HTML 语料」,按 Tony 的建议改为:
采集真实页面 → 转 Markdown → 存为语料库
用于验证上下文信号在那 20 条 KNOWN_MISS 上的实际命中率。
达到 80%(即判掉 16 条)就按上下文路线做,否则考虑 AI 兜底。
🔴 刀 0 实测报告(2026-09-01)—— 含对上文 ③ 的订正¶
订正:Markdown 不是省存储的答案¶
上文 ③ 写「Markdown 更好,主控实测支持」。那次实测用的是手写小片段,不是真实页面,结论错了。
拿 14 个真实抓取页面重测(tests/corpus/):
| 形态 | 原始 | gzip 后 | 占 HTML | 粗估 token |
|---|---|---|---|---|
| HTML | 5235 KB | 871 KB | 100% | 1340k |
| Markdown | 2549 KB | 381 KB | 49% | 653k |
| 纯文本(剥标签+压空白) | 605 KB | 216 KB | 12% | 155k |
Markdown 是纯文本的 4.21 倍。 小片段上看 Markdown 省(48% vs 28%),
真实页面上完全相反 —— 因为真实页面的体积大头是 script/style/内联属性,
纯文本和 Markdown 都会剥掉;但 Markdown 额外保留了导航菜单、链接 URL、图片引用,
而这些正是企业站里占比最大的东西。
运行环境还有一道硬闸¶
| 库 | gzip | MV3 Service Worker 能跑吗 |
|---|---|---|
turndown |
4 KB | 🔴 不能 —— browser 字段把 domino 置为 false,改用宿主 DOMParser;SW 无 DOM。实测直接抛 document is not defined |
node-html-markdown |
89 KB | ✅ 能(自带解析器) |
当前 background.js gzip 仅 116 KB,加 node-html-markdown 是 +77%。
⇒ 为了一个比纯文本大 4 倍的中间格式,付 89 KB 依赖 + 77% 包体膨胀,不划算。
决定¶
存纯文本,不引 markdown 库。 三条理由,按权重排:
- 省得多:12% vs 49%,传云端的 token 也少 4 倍
- 零依赖:一段 5 行正则,无包体成本、无 SW 兼容问题
- 够用:本报告全部 153 条判决就是在纯文本上跑出来的,92% 表态率、零假货 —— Markdown 的结构优势在这个任务上没有兑现
保留一条:tel: 链接的 href 抓取仍走原始 HTML(Tier1 不动),纯文本只用于上下文判断。这一点与上文 ③ 的建议一致。
刀 0 主结论:上下文信号路线 通过 80% 门槛¶
Tony 的验收口径是「上下文能到 80% 就按那条做」。实测:
| 批次 | 站点 | 表态率 | KEEP | DROP | UNKNOWN | KEEP 假货 |
|---|---|---|---|---|---|---|
| 批一 训练集 | 11 页 · 德 | 29/29 = 100% | 17 | 12 | 0 | 0 |
| 批二 留出集 | 24 页 · 9 国 | 55/55 = 100% | 51 | 4 | 0 | 0 |
| 批三 干净验证 | 27 页 · 15 国 | 57/69 = 83% | 56 | 1 | 12 | 0 |
| 合计 | 62 页 | 153 条 · 92% | 124 | 17 | 12 | 0 |
🔴 只有批三的 83% 是可信数字 —— 批一批二都被用来调过参。
批三在判据冻结(SHA e1bdf345)之后才采集,判据从未见过它。
覆盖语种:德/波/捷/瑞典/丹麦/芬兰/西/意/法/英/美/中/日/韩/马来/巴西/UAE。
判据形态(三步,顺序不可换)¶
① 形态剔除 日期 / 年代区间 / 跨行地址 / 产品型号 —— 字符串层就能定死
② 反向词 法定编号(USt-IdNr / SIREN / HRB / KvK / NIP…)⇒ DROP
③ 电话词 Tel / Telefon / Phone / 电话 / 热线… ⇒ KEEP;否则看 + 前缀;再否则 UNKNOWN
✅ 落地状态(2026-09-02):② 见 0120-legal-id-reverse-word(v0.10.148, 在 spec 形态上加了「紧邻」收窄,否则会误删真电话); ③ 见 0121-phone-confidence-tier(v0.10.149)—— 🔴 实现时发现现有三层抽取本身就是判据③:tier 1(
tel:/JSON-LD)与 tier 2(PHONE_CTX_REGEX)就是「电话词 ⇒ KEEP」,tier 3 就是「否则看+」。 不需要新写词表,只需把phoneCandidates[].tier透传出来并用于排序。 UNKNOWN 落地为confidence: 'low'(不丢条,只排到后面)。
两个词表都跨行看 before(标签常在上一行),且结尾不用 (见 0101-word-boundary-blocks-inflected-and-compound-terms)。
一个被真实数据推翻的做法:评估口径必须对齐产品口径¶
中途我用维基百科条目补千分位样本,得到表态率 20%,一度以为路线不成立。
实际是口径错了两层:
- 采集正则比产品正则宽松 —— 我的采集式抓到 1626 条,产品
PHONE_TEXT_REGEX只会抓 78 条。 目录编号1.1/3.2、引用编号列这些,产品根本不会看见。 - 维基不代表产品输入分布 —— 产品抓的是企业官网。同一判据同一时刻:
business-site表态率 89%,wikipedia20%。
⇒ 评估集必须代表产品的真实输入分布,评估口径必须用产品的真正则。 否则测的是一个不存在的问题。(维基语料完成取样使命后已从仓库移除。)
遗留:批三那 12 条 UNKNOWN¶
| 类别 | 样本 | 能不能修 |
|---|---|---|
| 无标签的号码 | 800 222 0118(前面只有美国地址) |
需要国家号段表,不是上下文问题 |
| 被正则切碎 | 121 683 5620(原文 +44 (0) 121 683 5620) |
🔴 产品正则的真问题 —— (0) 打断了匹配 |
| 日式地址 | 3-4-25(Hakata Ekimae 3F) |
形态剔除可补 |
第二类是产品缺陷,不是判据缺陷 —— +44 (0) 121 … 这种英式写法会被 PHONE_TEXT_REGEX 从括号处切断。登记为下一刀。
✅ 已修(v0.10.150,0122-bracket-adjacent-intl-phone):本条点名的
+44 (0) 121 683 5620早先已被 T3 左延展修好;实测发现同族还有三个没修 (+44(0)121…连写、+49 (0)89…括号紧贴、+81 (0)3-…日式), 根因是 T3 左边界字符类不含)⇒ 连一个命中都产生不了、左延展无从触发。 加上)即解,六场景对照零误伤。 ⚠️ 同族里「国际前缀 + 两段分组」(+49 (0) 711 486860)仍抓不到,根因不同。
复现¶
python3 scripts/collect-phone-corpus.py --discover homes.txt # 首页 → 自动发现联系页
python3 scripts/collect-phone-corpus.py urls.txt.discovered # 抓取 + 抽候选
python3 scripts/eval-phone-context.py # 判据评估
语料留在 tests/corpus{,-holdout,-v3}/txt/(1.2 MB,原始 HTML 29 MB 未入库)。