ISSUE-0131 · 归一属于管线最前面¶
起因:Tony 的一句反问¶
「是分开处理的吗?为啥不是先处理格式,然后一起提取号码和邮箱?」
这句话一针见血。当时我正准备给邮箱单独加一套全角处理 —— 那又是一条平行实现,正是前几刀(0126/0129)刚刚在消灭的东西。
事实核实¶
normalizeFullWidthForPhone 的映射范围是:
它本来就能处理邮箱 —— info@example.de 经它归一就是
info@example.de。函数名里的 ForPhone 纯粹是历史命名。
🔴 v0.10.161 订正:这句话只对上面正则的【全角部分】成立,而本刀据它挪了整个函数。
同一个字符类里还有
‐-―−(dash 族 U+2010..2015、U+2212)。 全角@→@是解码(源字符只是目标字符的 CJK 编码,恒等逆运算); 而–→-是改写(en dash 在源书写系统里是另一个字符)。挪到入口前,邮箱读原始
html、只有phoneHtml过这个函数(v0.10.155scraper.ts:1273);挪进来之后 dash 归一开始作用于邮箱与社媒:⇒ 本刀引入了一个身份伪造缺陷,四个版本后由外部对抗审(dshf + terra-dsh 两路共同判 P0)发现。见 0138-normalize-decode-vs-rewrite。
方法论教训:我做「事实核实」时只挑了正则里支持我结论的那一段(全角)去验, 没问同一个字符类里其余部分对新增消费者意味着什么。 部分验证被当成了全部验证 —— 而这一节的标题恰恰叫「事实核实」。
问题从来不是它不够用,是它被摆错了位置:作为「电话专用」塞在电话块里, 于是邮箱 / 社媒 / mailto 各自读原始 html:
而 v0.10.155(ISSUE-0129)把它提到 wa 块之前,只是把「两条路」变成 「电话+wa 一条、邮箱社媒另一条」—— 没治本。
修法:提到函数入口,与实体解码并列¶
归一属于管线的最前面,不属于任何单个抽取器。
电话块里的 phoneHtml 退化成别名(保留是为了那几百行里
「候选区间 s/e 所指的那份文本」这个语义 —— 仲裁与左延展都依赖这个坐标系)。
纯半角页面走 fast-path 原样返回,零开销。
顺带补:繁体 / 日文关键词¶
统一归一后立刻暴露:電話:0711 486860 归一正确(電話:0711 486860)
但仍抓不到 —— 关键词表全是简体。
台港澳与日本是外贸的真实目标市场,补:
電話 / 手機 / 携帯 / 聯繫 / 聯絡 / 傳真 / 聯絡方式 / 熱線 / 電話番号。
证据¶
全量 957 全绿;三路变异全部咬住 (归一退回电话专用 → 红 1;CJK 关键词退回简体 → 红 2)。
证据边界¶
- 只归一了全角 ASCII。其它 Unicode 变体(数学字母数字符号、 带圈数字、罗马数字)未处理,也未评估其真实出现率。
- 关键词表补的是常见繁体/日文写法,非穷举;韩文(전화 / 팩스)未加 —— 没有语料支撑,加了也无从验证。