跳转至

ISSUE-0106 · JSON 里的 > 残留污染邮箱

症状

Tony 2026-09-01 截图实拍,邮箱列表里出现:

u003epoststelle@datenschutz-bayern.de
u003einfo@meister1.de
u003einfo@viessmann.com

u003e 是 >(JSON 里的 >)的残留。

根因

页面把联系方式放在 <script> 里的 JSON(__NEXT_DATA__ / JSON-LD / 内联配置), 那里的字符是 JS 转义形式。而抽取正则会扫 script 段:

EMAIL_REGEX = /[a-zA-Z0-9._+\-]{1,64}@.../g

反斜杠不在字符集里 ⇒ 匹配从 u 开始 ⇒ >info@meister1.de 被抓成 u003einfo@meister1.de。

🔴 更糟的是干净版与脏版同时入库 —— 两者字符串不同,去重完全失效。 同一个 info@meister1.de 在列表里出现两次,一次干净一次带 u003e 前缀。

修复

新增 normalizeJsEscapes(),处理方式与 decodeNumericEntities(ISSUE-0105)对称, 共用同一个白名单 ENTITY_ALLOW = {0x2b, 0x40, 0xff0b}:

输入 处理 理由
@ \x40(@) 解码 把编码的邮箱救回来
+ +(+ +) 解码 同上
> < & " 切成空格 解码会凭空造出标签边界 / 开启二次解码 —— 与黑名单方案同一个坑
\n \t \r 等无参转义 切成空格 只需切断

调用点:extractDataFromHtml 入口,normalizeJsEscapes(decodeNumericEntities(html))。

为什么不直接解码 >

和 ISSUE-0105 的黑名单教训完全同构:解码 > 会造出真的 >, 制造新的标签边界;解码 & 会把 &#64; 变成 &#64;, 再被实体解码成 @ —— 一条走私路径。

测试里专门锁了这条:info&#64;firma.de 不得抽出 info@firma.de。

验证

  • tests/js-escape-normalize.test.ts 22 例:白名单内解码 / 白名单外 7 类只切断 / 截图里的三条真实脏数据 / 干净版与脏版不再同时入库 / 走私路径堵死 / 真的以 u003e 开头的邮箱(无反斜杠)不受影响 / Windows 路径不误伤 / 畸形不崩
  • 全量 npx vitest run 451 passed
  • 36 页语料:共抓到邮箱 83 个,含 u00XX 脏前缀 0 个

与 ISSUE-0105 的关系

同一类问题的两种编码形式,修法对称:

形式 出现位置 处理
ISSUE-0105 &#64; HTML 实体 HTML 正文(跳过 script) 白名单解码
ISSUE-0106 @ JS 转义 script 里的 JSON 白名单解码,其余切断

⇒ 反爬编码不止一种,抽取输入需要一层统一的归一。 下次遇到新形式(如 URL 编码 %40、Base64、CSS content 属性)应加进同一层, 而不是各写各的。