跳转至

解析层开关

类型:wiki(知识沉淀) 描述:scraper.ts 把"反爬解码 / 黑名单 / 噪音过滤 / 手机层级 / 社媒过滤"全部剥离为独立可控开关 最后更新:2026-05-26(v0.10.14) 相关源码:src/utils/scraper.ts、src/utils/scraper-executor.ts 相关 wiki:settings-field-semantics.md

是什么

extractDataFromHtml() 之前把 7 类规则写死打包在函数里: - Cloudflare 解码 / 邮箱黑名单 / 邮箱噪音 / 随机 ID 排除 - 手机 3 层级(tel: / 上下文 / 自由文本) - 手机黑名单 / 社媒黑名单

v0.10.13 起全部拆为独立 boolean + 内置数组 export 出来 + 用户可追加。

为什么这么设计

原症状

用户改不了: - 想关 Cloudflare 解码?没接口 - 内置 5 个示例邮箱屏蔽不够?只能改源码 - 手机 Tier 3 误抓订单号?没法只关 Tier 3 留 1/2

用户洞察(v0.10.13 启动原因)

"反爬解码 黑名单 噪音过滤等 是不是应该是单独的开启或者设置?同样手机和社媒的是不是也应该是剥离细化"

关键代码

scraper.ts 导出

export const BUILTIN_EMAIL_BLACKLIST = [...];   // 5 项示例邮箱
export const BUILTIN_EMAIL_NOISE = [...];       // 15 项噪音模式
export const BUILTIN_PHONE_BLACKLIST = [...];   // 7 项测试号
export const BUILTIN_SOCIAL_BLACKLIST = [...];  // 18 项 handle 名

export interface ExtractOpts {
  // 老字段
  emailRegex?: string;
  phoneRegex?: string;
  customSocials?: string;
  extractPhones?: boolean;

  // v0.10.13 新增 — 解析层独立开关
  cloudflareDecode?: boolean;     // 默认 true
  emailBlacklistOn?: boolean;     // 默认 true
  emailBlacklistCustom?: string;
  emailNoiseOn?: boolean;
  emailNoiseCustom?: string;
  randomIdFilter?: boolean;
  phoneTier1?: boolean;            // tel: 链接
  phoneTier2?: boolean;            // 上下文关键词
  phoneTier3?: boolean;            // 自由文本
  phoneBlacklistCustom?: string;
  socialBlacklistOn?: boolean;
  socialBlacklistCustom?: string;
}

合并机制

function mergeList(builtin: string[], custom?: string): string[] {
  if (!custom?.trim()) return builtin;
  const extra = custom.split(/[\n,,]/)...filter(Boolean);
  return Array.from(new Set([...builtin, ...extra]));
}

v0.10.14 邮箱黑名单 3 种写法

function isEmailBlacklisted(email: string, list: string[]): boolean {
  // 1. 完整邮箱 noreply@acme.com → 精确匹配
  // 2. @域名 @gmail.com → 整域名屏蔽(含子域)
  // 3. 纯域名 gmail.com → 同上
}

手机 3 层级(重点)

Tier 来源 置信度 易噪 例子
Tier 1 <a href="tel:..."> ⭐⭐⭐ 几乎无 网站老板主动声明
Tier 2 "Phone: / Call: / 电话:" 后跟数字 ⭐⭐ 低 联系页常见
Tier 3 自由文本带分隔符 ⭐ 高 "+1 234-567-8901" 也可能是订单号 / 年份

ISSUE-0099 起三层均支持 / 分隔符(德国名片写法 0711/486860、089 / 12 34 56): Tier1/2 捕获字符集含 /;Tier3 为独立结构分支(区号须 0/+ 冠码开头、恰好一个斜杠)。 斜杠日期(01/02/2026)、年份区间(2024/2025)由 isLikelySlashDateNoise 拦截; 「Tel: A / B」一关键词两号码的合并捕获由 addPhone 按结构规则拆回多条。

ISSUE-0099 批二起,phone 三层与自定义 phoneRegex 的输入先过 normalizeFullWidthForPhone(全角→半角:U+FF01–FF5E 减 0xFEE0、U+3000→空格、 U+2010–2015/U+2212→-;纯半角输入原样返回,email/社媒/WhatsApp 不受影响)。 Tier2 关键词表扩为:phone/tel/telephone/call/fax/mobile/cell/whatsapp + 德 telefone?o?/telefonnummer/\bfon\b/handy/mobil + 荷 telefoon + 西 teléfono + 法 tél + 北欧 tlf + 中文 电话/手机/联系/传真/微信/联系方式/热线。 addPhone 入库前剥边界孤立标点(前导 .、尾部 ( 等,不碰号码内部成对括号); 「整串恰好 小数-小数」的数值区间(营业时间 10.00-11.30)由 isLikelyFloatRangeNoise 拦截。

用户自定义 phoneRegex 时

⚠️ 完全覆盖3 层级 — Tier 1/2/3 开关全部失效。这是设计选择(避免双重提取冲突)。

UI helper 必须写明这点。

UI 暴露方式

每个开关在「高级·网站抓取 / 解析规则」子区下:

📧 邮箱
   正则 + [演示]
   [Switch] Cloudflare data-cfemail 解码
   [Switch] 邮箱黑名单 + [查看内置 5 项] + [追加文本框]
   [Switch] 噪音过滤 + [查看内置 15 项] + [追加文本框]
   [Switch] 屏蔽超长随机 ID

📞 手机
   正则 + [演示]
   [Switch] Tier 1: tel: 链接
   [Switch] Tier 2: 上下文关键词
   [Switch] Tier 3: 自由文本
   [查看内置测试号 7 项] + [追加文本框]

📱 社媒
   自定义社媒 textarea
   [Switch] 社媒 handle 黑名单 + [查看内置 18 项] + [追加]

易踩坑

⚠️ 坑 1:默认值要保持老行为

所有新 boolean 字段默认 true,custom 字符串默认 ""。这样老用户升级无感。

⚠️ 坑 2:custom 不替换 builtin,是 merge

填 emailBlacklistCustom = "@spam.com" 不会覆盖内置 5 项,是追加。要清空内置 → 改 BUILTIN 数组(需改源码)。

⚠️ 坑 3:mergeList 用 Set 去重 → 大小写归一化

mergeList 内部 toLowerCase(),传入大写自动归一。

修改这块时要 / 不要做什么

  • ✅ 加新内置项 → 直接改 BUILTIN_* 数组,UI「查看内置」自动同步
  • ✅ 加新开关 → ExtractOpts 加 optional 字段 + storage-data 加 + scraper-executor 透传 + UI 加 Switch
  • ❌ 不要删 BUILTIN_* 项(破坏老用户体验)
  • ❌ 不要把 custom 改成"完全替换 builtin"(破坏直觉)

版本里程碑

版本 事件
v0.10.11 手机 3 层级提取最初实现(全开,无独立开关)
v0.10.13 7 类规则全部剥离为独立开关 + custom
v0.10.14 邮箱黑名单支持域名级(3 种写法混用)