ISSUE-0138 · 解码 vs 改写:归一层的分层判据¶
起因¶
ISSUE-0136 的证据边界记着「带空格的 en/em dash 列表未拆(只认 -),属漏合并」。
派出去补 Unicode 归一(dash 族 / 空白族 / 非 ASCII 数字),
第一版把它们全加进了入口归一层。
缺陷:入口归一层是四条管线共用的,而它开始伪造身份串¶
两路对抗审共同判 P0,主控独立复现:
<p>الهاتف١٢٣info@example.de</p> → emails = ["123info@example.de"] 🔴 输入里不存在
<p>a–b@x.de</p> → "a-b@x.de" 🔴 一个不存在的收件人
<p>instagram.com/a–b</p> → "instagram.com/a-b" 🔴 一个不存在的主页
邮箱地址与社媒 handle 是「身份字符串」,不是「数字格式」 —— 对它们做任何字符替换都是伪造:换一个字符就是另一个人 / 另一个主页。
🔴 是 ISSUE-0131 引入的(不是这一刀新加的)¶
关键事实:归一函数的字符类 /[!-~ ‐-―−]/g 原本就含 dash 族。
⇒ a–b@x.de → a-b@x.de 这个伪造从 v0.10.156 就存在了,
本刀(补 Unicode 归一)只是让它更容易被看见。
我当时的论证错在哪¶
ISSUE-0131 把归一函数从「电话专用」挪到入口、让四条管线共用,理由写的是:
这个函数的映射范围是
!-~全角 ASCII 全区,本来就能处理邮箱
那句话对全角 ASCII 成立,被当成了对「所有归一」成立。
全角 @ → @ 是解码(兼容性分解恒等回 @);
而 – → -、١ → 1 是改写。0131 的洞见没错(归一属于管线最前面),
错在把「归一」当成不可分的一类。
修法:入口只做解码类,格式类下沉到消费它的管线¶
入口(四管线共用):normalizeScrapeInput(实体/转义解码)
+ 全角 ASCII 归一(@ ` ! 等的 CJK 编码还原)
电话管线(phoneHtml):dash 族 / 空白族 / 非 ASCII 数字 → 格式归一
邮箱 / 社媒管线:拿原文,不做任何字符替换
🔴 分层判据:替换是否保「指称」¶
执行方(k3)给的判据,逐字记档 —— 它比「列一张字符白名单」可复用得多:
解码(安全,可入四管线共用层):源字符存在的唯一用途是作为目标字符的 传输/排版编码,映射是恒等的逆运算。读者看到
info@example.de读出的就是info@example.de,还原不改变任何身份。改写(伪造,必须下沉或不做):源字符在源书写系统里是另一个字符, 只是在某个特定上下文里与目标字符同角色(数字里的数值、视觉相似的横杠)。
a–b@x.de里的 en dash 不是-的编码;١不是1的编码,是阿拉伯文数码。
关键的最后一步:
同一个字符在电话号码里是格式(
0711‐486860与0711-486860拨同一个号, 因为拨号语义只认数字序列),在身份串里是身份。 ⇒ 判据的最后一步必须问消费者:这条管线的产物是【数字型指称】还是【身份字符串】?
操作化(新映射族入层前问两句): ① 源字符是否只为编码目标字符而存在?(是 → 解码类) ② 消费这条管线的产物是数字型指称还是身份字符串?(后者 → 任何替换都是伪造)
顺带修:一处双标¶
第一版把 Arabic-Indic 数字(٠-٩)加进了归一,而在同一份 patch 里拒绝了天城文,
理由写的是「无证据」。实测 corpus-ent 36 页里 ٠-٩ / ۰-۹ 0 命中、
docs 0 条记录 —— 同一判据两个结论。已撤,列入 X_LEFT 待语料支撑。
效果¶
الهاتف١٢٣info@example.de → emails=["info@example.de"] ✅ 不再伪造
instagram.com/a–b → socials 无此项 ✅ 不再伪造
Tel: 0711 486860 – 0711 486861 → ["0711 486860","0711 486861"] ✅ 电话侧收益保住
证据¶
全量 1037 全绿、tsc rc=0、基准集误杀 0。
两路独立对抗审(dshf + terra-dsh)。
证据边界¶
- 🔴
a–b@x.de现在输出b@x.de—— 截取而非伪造(b@x.de在原文里逐字节存在), 但它是个不完整的邮箱。比伪造a-b@x.de好,仍是残余问题,未修。 - Arabic-Indic / 天城文等非 ASCII 数字都没做,等真实语料支撑。
- 韩文/日文电话关键词同样因无语料未加。
- 未在真实 Chrome 扩展里端到端跑过。