title: HTML 数字实体反爬未解码 —— 整站联系方式抓不到 description: + @ + 编码的电话邮箱全漏;白名单解码,36 页中 5 页受益 tags: [scraper, email, phone, anti-scrape, entity, i18n] created: 2026-09-01 updated: 2026-09-01 type: issue status: fixed severity: high fixed_version: 0.10.129 related: - "0102-dotted-abbrev-label-breaks-tier2" - "0101-word-boundary-blocks-inflected-and-compound-terms" - "SPEC-012-phone-pipeline"
ISSUE-0105 · HTML 数字实体反爬未解码¶
症状¶
站点用数字字符引用把联系方式藏起来,抽取全部落空:
+49 6071 204-0 + = + (stihl.de,十进制)
kundenservice@stihl.de @ = @
+46 70 721 10 08 + = + (sandvik.com,十六进制)
info@viessmann-climatesolutions.com
产品处理了 Cloudflare 的 data-cfemail 加密(scraper.ts:445 decodeCfEmail),
但没有处理 HTML 数字实体。
实测影响面(36 页真实企业联系页,tests/corpus-ent/pages/):
| 指标 | 数值 |
|---|---|
| 受影响页面 | 5 / 36 = 14% |
| 新增电话 | 11 |
| 新增邮箱 | 2 |
| 丢失 | 0 |
| stihl.de 现状 | phones=[] emails=[] —— 一个联系方式都抓不到 |
核心决策:白名单,不是黑名单¶
主控的初版方案是黑名单(排除会破坏 HTML 结构的 < > & " ' 五个码点),
并在基线简报里问「这个排除清单是否完备」。
🔴 对抗的回答是:这个问题本身问错了 —— 要的是准入清单,不是排除清单。
五种解码器在同一份 110 页语料上跑,收益数字完全相同(白名单的收益损失为 0)。 而 19 条构造攻击下:
| 方案 | 被攻破 |
|---|---|
| 黑名单(排除 5 个结构字符) | 16 条 |
| 定界符类 | 6 条 |
白名单 {0x2b, 0x40, 0xff0b} + 跳过 RAWTEXT |
0 条 |
黑名单被打穿的典型:
 (不断行空格)→ 把两个号焊成一条,digits > 15 ⇒ 真号归零.(点)→ 把真号推进坐标判据;或造出千分位假号;或把前缀词粘进邮箱本地部)(右括号)→ 造出+49 711 486860)脏尾t(字母 t)→ 伪造tel:链接–(en dash)→ 归一成横杠后造地址噪音>/<(全角尖括号)→ 全角归一后变成真的<>边界
二次解码由构造不可能:& 不在白名单,走私串 info&#35;64;x.com 原样保留,
不必依赖「约定只调一次」这种口头保证。
实现¶
const ENTITY_ALLOW = new Set([0x2b, 0x40, 0xff0b]); // + @ +
const ENTITY_RE = /&#(?:[xX]([0-9a-fA-F]{1,6})|([0-9]{1,7}));/g;
const RAWTEXT_RE =
/<script\b[^>]*>[\s\S]*?(?:<\/script\s*>|$)|<style\b[^>]*>[\s\S]*?(?:<\/style\s*>|$)|<!--[\s\S]*?(?:-->|$)/gi;
decodeNumericEntities 按 RAWTEXT 切段,只对非 script/style/注释段解码,再拼回。
调用点是 extractDataFromHtml 函数体第一行 —— 在 normalizeFullWidthForPhone 之前,
所以 +49 711 486860 会先解码成全角 +、再被全角归一成半角 +,两段式串起来。
RAWTEXT_RE 的两处细节(主控自查挖出,设计时未预见)¶
对抗还在跑时主控自查发现两个缺口,方向都是「该跳过的没跳过」:
| 输入 | 修前输出 | 问题 |
|---|---|---|
<script>ghost@g.com(未闭合) |
ghost@g.com |
🔴 被解码 |
<script data-x="</script>">body@g.com</script> |
body@g.com |
🔴 被解码 |
第一条不是假想:website-fetcher.ts:13 的 MAX_BODY_BYTES = 2MB 截断会制造
未闭合 script —— body 被从脚本中间切断,闭合标签没了,脚本体里的实体就被当正文解码,
造出幽灵邮箱/电话入库。
修法两处,都别"简化"回去:
- [^>]*> 先吃掉开始标签 —— 否则属性里的 </script> 会让匹配提前收尾
- (?:</script\s*>|$) 的 |$ —— 未闭合时一路跳到文件尾
验证¶
tests/entity-decode.test.ts37 例:白名单内解码 / 白名单外 10 类原样保留 / RAWTEXT 五种形态跳过 / 端到端真实形态 / 畸形输入不崩 / lastIndex 不串味 / 命名实体不解码- 全量
npx vitest run429 passed - 36 页语料:修 RAWTEXT 前后收益一致(11 电话 + 2 邮箱,丢失 0)
与其它刀的关系¶
- 本刀吃掉了 Markdown 存储的主要理由。此前给 Markdown 记的第一条收益就是 「转换器顺手解码了实体」—— 现在 27 行代码拿到全部收益。 Markdown 剩下的正当性只有「存整页原文供后续复用」,需按存储需求单独立项。
- 残片放大:解码让抓到的号码变多,36 页语料残片从 6 增到 12。
但实测入库槽(
slice(0,3))里的残片是 0 条 —— 残片全排在数组末尾取不到。 确实有 1 页真号被挤出库(sandvik 从 3 个残缺号变 4 个完整号,4 抢 3 个槽), 但挤掉它的是另一个真号,不是残片 ⇒ 这是槽位不足,残片去重那一刀解决不了。
证据边界¶
- 对已存量数据无效:
scrape_status全仓没有 2→0 路径,已采集的行不会再进队列重抓 (见 ContactPool 对抗结论)。收益只作用于新采集。 - 未验证:解码对社媒/WhatsApp 抽取线的影响只有构造用例,无真实语料统计。