ISSUE-0106 · JSON 里的 > 残留污染邮箱¶
症状¶
Tony 2026-09-01 截图实拍,邮箱列表里出现:
u003e 是 >(JSON 里的 >)的残留。
根因¶
页面把联系方式放在 <script> 里的 JSON(__NEXT_DATA__ / JSON-LD / 内联配置),
那里的字符是 JS 转义形式。而抽取正则会扫 script 段:
反斜杠不在字符集里 ⇒ 匹配从 u 开始 ⇒ >info@meister1.de 被抓成
u003einfo@meister1.de。
🔴 更糟的是干净版与脏版同时入库 —— 两者字符串不同,去重完全失效。
同一个 info@meister1.de 在列表里出现两次,一次干净一次带 u003e 前缀。
修复¶
新增 normalizeJsEscapes(),处理方式与 decodeNumericEntities(ISSUE-0105)对称,
共用同一个白名单 ENTITY_ALLOW = {0x2b, 0x40, 0xff0b}:
| 输入 | 处理 | 理由 |
|---|---|---|
@ \x40(@) |
解码 | 把编码的邮箱救回来 |
+ +(+ +) |
解码 | 同上 |
> < & " |
切成空格 | 解码会凭空造出标签边界 / 开启二次解码 —— 与黑名单方案同一个坑 |
\n \t \r 等无参转义 |
切成空格 | 只需切断 |
调用点:extractDataFromHtml 入口,normalizeJsEscapes(decodeNumericEntities(html))。
为什么不直接解码 >¶
和 ISSUE-0105 的黑名单教训完全同构:解码 > 会造出真的 >,
制造新的标签边界;解码 & 会把 @ 变成 @,
再被实体解码成 @ —— 一条走私路径。
测试里专门锁了这条:info@firma.de 不得抽出 info@firma.de。
验证¶
tests/js-escape-normalize.test.ts22 例:白名单内解码 / 白名单外 7 类只切断 / 截图里的三条真实脏数据 / 干净版与脏版不再同时入库 / 走私路径堵死 / 真的以u003e开头的邮箱(无反斜杠)不受影响 / Windows 路径不误伤 / 畸形不崩- 全量
npx vitest run451 passed - 36 页语料:共抓到邮箱 83 个,含
u00XX脏前缀 0 个
与 ISSUE-0105 的关系¶
同一类问题的两种编码形式,修法对称:
| 形式 | 出现位置 | 处理 | |
|---|---|---|---|
| ISSUE-0105 | @ HTML 实体 |
HTML 正文(跳过 script) | 白名单解码 |
| ISSUE-0106 | @ JS 转义 |
script 里的 JSON | 白名单解码,其余切断 |
⇒ 反爬编码不止一种,抽取输入需要一层统一的归一。
下次遇到新形式(如 URL 编码 %40、Base64、CSS content 属性)应加进同一层,
而不是各写各的。