跳转至

title: HTML 数字实体反爬未解码 —— 整站联系方式抓不到 description: + @ + 编码的电话邮箱全漏;白名单解码,36 页中 5 页受益 tags: [scraper, email, phone, anti-scrape, entity, i18n] created: 2026-09-01 updated: 2026-09-01 type: issue status: fixed severity: high fixed_version: 0.10.129 related: - "0102-dotted-abbrev-label-breaks-tier2" - "0101-word-boundary-blocks-inflected-and-compound-terms" - "SPEC-012-phone-pipeline"


ISSUE-0105 · HTML 数字实体反爬未解码

症状

站点用数字字符引用把联系方式藏起来,抽取全部落空:

+49 6071 204-0                      +  = +   (stihl.de,十进制)
kundenservice@stihl.de              @  = @
+46 70 721 10 08                   + = +   (sandvik.com,十六进制)
info@viessmann-climatesolutions.com

产品处理了 Cloudflare 的 data-cfemail 加密(scraper.ts:445 decodeCfEmail), 但没有处理 HTML 数字实体。

实测影响面(36 页真实企业联系页,tests/corpus-ent/pages/):

指标 数值
受影响页面 5 / 36 = 14%
新增电话 11
新增邮箱 2
丢失 0
stihl.de 现状 phones=[] emails=[] —— 一个联系方式都抓不到

核心决策:白名单,不是黑名单

主控的初版方案是黑名单(排除会破坏 HTML 结构的 < > & " ' 五个码点), 并在基线简报里问「这个排除清单是否完备」。

🔴 对抗的回答是:这个问题本身问错了 —— 要的是准入清单,不是排除清单。

五种解码器在同一份 110 页语料上跑,收益数字完全相同(白名单的收益损失为 0)。 而 19 条构造攻击下:

方案 被攻破
黑名单(排除 5 个结构字符) 16 条
定界符类 6 条
白名单 {0x2b, 0x40, 0xff0b} + 跳过 RAWTEXT 0 条

黑名单被打穿的典型:

  • &#160;(不断行空格)→ 把两个号焊成一条,digits > 15 ⇒ 真号归零
  • &#46;(点)→ 把真号推进坐标判据;或造出千分位假号;或把前缀词粘进邮箱本地部
  • &#41;(右括号)→ 造出 +49 711 486860) 脏尾
  • &#116;(字母 t)→ 伪造 tel: 链接
  • &#8211;(en dash)→ 归一成横杠后造地址噪音
  • &#65310; / &#65308;(全角尖括号)→ 全角归一后变成真的 < > 边界

二次解码由构造不可能:& 不在白名单,走私串 info&#38;#35;64;x.com 原样保留, 不必依赖「约定只调一次」这种口头保证。

实现

const ENTITY_ALLOW = new Set([0x2b, 0x40, 0xff0b]); // + @ +
const ENTITY_RE = /&#(?:[xX]([0-9a-fA-F]{1,6})|([0-9]{1,7}));/g;
const RAWTEXT_RE =
  /<script\b[^>]*>[\s\S]*?(?:<\/script\s*>|$)|<style\b[^>]*>[\s\S]*?(?:<\/style\s*>|$)|<!--[\s\S]*?(?:-->|$)/gi;

decodeNumericEntities 按 RAWTEXT 切段,只对非 script/style/注释段解码,再拼回。 调用点是 extractDataFromHtml 函数体第一行 —— 在 normalizeFullWidthForPhone 之前, 所以 &#xFF0B;49 711 486860 会先解码成全角 +、再被全角归一成半角 +,两段式串起来。

RAWTEXT_RE 的两处细节(主控自查挖出,设计时未预见)

对抗还在跑时主控自查发现两个缺口,方向都是「该跳过的没跳过」:

输入 修前输出 问题
<script>ghost&#64;g.com(未闭合) ghost@g.com 🔴 被解码
<script data-x="</script>">body&#64;g.com</script> body@g.com 🔴 被解码

第一条不是假想:website-fetcher.ts:13 的 MAX_BODY_BYTES = 2MB 截断会制造 未闭合 script —— body 被从脚本中间切断,闭合标签没了,脚本体里的实体就被当正文解码, 造出幽灵邮箱/电话入库。

修法两处,都别"简化"回去: - [^>]*> 先吃掉开始标签 —— 否则属性里的 </script> 会让匹配提前收尾 - (?:</script\s*>|$) 的 |$ —— 未闭合时一路跳到文件尾

验证

  • tests/entity-decode.test.ts 37 例:白名单内解码 / 白名单外 10 类原样保留 / RAWTEXT 五种形态跳过 / 端到端真实形态 / 畸形输入不崩 / lastIndex 不串味 / 命名实体不解码
  • 全量 npx vitest run 429 passed
  • 36 页语料:修 RAWTEXT 前后收益一致(11 电话 + 2 邮箱,丢失 0)

与其它刀的关系

  • 本刀吃掉了 Markdown 存储的主要理由。此前给 Markdown 记的第一条收益就是 「转换器顺手解码了实体」—— 现在 27 行代码拿到全部收益。 Markdown 剩下的正当性只有「存整页原文供后续复用」,需按存储需求单独立项。
  • 残片放大:解码让抓到的号码变多,36 页语料残片从 6 增到 12。 但实测入库槽(slice(0,3))里的残片是 0 条 —— 残片全排在数组末尾取不到。 确实有 1 页真号被挤出库(sandvik 从 3 个残缺号变 4 个完整号,4 抢 3 个槽), 但挤掉它的是另一个真号,不是残片 ⇒ 这是槽位不足,残片去重那一刀解决不了。

证据边界

  • 对已存量数据无效:scrape_status 全仓没有 2→0 路径,已采集的行不会再进队列重抓 (见 ContactPool 对抗结论)。收益只作用于新采集。
  • 未验证:解码对社媒/WhatsApp 抽取线的影响只有构造用例,无真实语料统计。