跳转至

ISSUE-0138 · 解码 vs 改写:归一层的分层判据

起因

ISSUE-0136 的证据边界记着「带空格的 en/em dash 列表未拆(只认 -),属漏合并」。 派出去补 Unicode 归一(dash 族 / 空白族 / 非 ASCII 数字), 第一版把它们全加进了入口归一层。

缺陷:入口归一层是四条管线共用的,而它开始伪造身份串

两路对抗审共同判 P0,主控独立复现:

<p>الهاتف١٢٣info@example.de</p>  → emails = ["123info@example.de"]   🔴 输入里不存在
<p>a–b@x.de</p>                  → "a-b@x.de"                        🔴 一个不存在的收件人
<p>instagram.com/a–b</p>         → "instagram.com/a-b"               🔴 一个不存在的主页

邮箱地址与社媒 handle 是「身份字符串」,不是「数字格式」 —— 对它们做任何字符替换都是伪造:换一个字符就是另一个人 / 另一个主页。

🔴 是 ISSUE-0131 引入的(不是这一刀新加的)

关键事实:归一函数的字符类 /[!-~ ‐-―−]/g 原本就含 dash 族。

v0.10.155(0131 之前):只有 phoneHtml 过它,邮箱读原始 html   ⇒ 不伪造
v0.10.156(0131 之后):挪到入口,四管线共用                    ⇒ 开始伪造

⇒ a–b@x.de → a-b@x.de 这个伪造从 v0.10.156 就存在了, 本刀(补 Unicode 归一)只是让它更容易被看见。

我当时的论证错在哪

ISSUE-0131 把归一函数从「电话专用」挪到入口、让四条管线共用,理由写的是:

这个函数的映射范围是 !-~ 全角 ASCII 全区,本来就能处理邮箱

那句话对全角 ASCII 成立,被当成了对「所有归一」成立。 全角 @ → @ 是解码(兼容性分解恒等回 @); 而 – → -、١ → 1 是改写。0131 的洞见没错(归一属于管线最前面), 错在把「归一」当成不可分的一类。

修法:入口只做解码类,格式类下沉到消费它的管线

入口(四管线共用):normalizeScrapeInput(实体/转义解码)
                    + 全角 ASCII 归一(@ ` ! 等的 CJK 编码还原)
电话管线(phoneHtml):dash 族 / 空白族 / 非 ASCII 数字 → 格式归一
邮箱 / 社媒管线:拿原文,不做任何字符替换

🔴 分层判据:替换是否保「指称」

执行方(k3)给的判据,逐字记档 —— 它比「列一张字符白名单」可复用得多:

解码(安全,可入四管线共用层):源字符存在的唯一用途是作为目标字符的 传输/排版编码,映射是恒等的逆运算。读者看到 info@example.de 读出的就是 info@example.de,还原不改变任何身份。

改写(伪造,必须下沉或不做):源字符在源书写系统里是另一个字符, 只是在某个特定上下文里与目标字符同角色(数字里的数值、视觉相似的横杠)。 a–b@x.de 里的 en dash 不是 - 的编码;١ 不是 1 的编码,是阿拉伯文数码。

关键的最后一步:

同一个字符在电话号码里是格式(0711‐486860 与 0711-486860 拨同一个号, 因为拨号语义只认数字序列),在身份串里是身份。 ⇒ 判据的最后一步必须问消费者:这条管线的产物是【数字型指称】还是【身份字符串】?

操作化(新映射族入层前问两句): ① 源字符是否只为编码目标字符而存在?(是 → 解码类) ② 消费这条管线的产物是数字型指称还是身份字符串?(后者 → 任何替换都是伪造)

顺带修:一处双标

第一版把 Arabic-Indic 数字(٠-٩)加进了归一,而在同一份 patch 里拒绝了天城文, 理由写的是「无证据」。实测 corpus-ent 36 页里 ٠-٩ / ۰-۹ 0 命中、 docs 0 条记录 —— 同一判据两个结论。已撤,列入 X_LEFT 待语料支撑。

效果

الهاتف١٢٣info@example.de  → emails=["info@example.de"]        ✅ 不再伪造
instagram.com/a–b         → socials 无此项                     ✅ 不再伪造
Tel: 0711 486860 – 0711 486861 → ["0711 486860","0711 486861"] ✅ 电话侧收益保住

证据

全量 1037 全绿、tsc rc=0、基准集误杀 0。 两路独立对抗审(dshf + terra-dsh)。

证据边界

  • 🔴 a–b@x.de 现在输出 b@x.de —— 截取而非伪造(b@x.de 在原文里逐字节存在), 但它是个不完整的邮箱。比伪造 a-b@x.de 好,仍是残余问题,未修。
  • Arabic-Indic / 天城文等非 ASCII 数字都没做,等真实语料支撑。
  • 韩文/日文电话关键词同样因无语料未加。
  • 未在真实 Chrome 扩展里端到端跑过。