跳转至

ISSUE-0109 · 邮箱一锅端

症状(Tony 截图实拍)

商家 Junggunst GmbH & Co. KG(卫浴,来源 junggunst-bad.de)挂着 10 个邮箱:

info@viessmann.com            暖气品牌(商家卖的产品)
lukas.brinkmann@gc-gruppe.de  建材批发联盟
info@meister1.de              手工业者认证平台
legal@vimeo.com               页面嵌的视频服务
poststelle@datenschutz-bayern.de  巴伐利亚数据保护局(隐私政策引用)
info@agentur-id.de            做网站的广告公司
…

根因

src/utils/scraper.ts 的 filterEmail 只做四类过滤(脏邮箱 / 黑名单 / 噪音子串 / 超长 hex ID), 零域名关系判断。页面上任何邮箱格式串一律收进。

德语区中小商家网站的常见构成 —— 产品品牌角标、行业协会、认证机构、建站公司署名、 嵌入的第三方服务、隐私政策引用的监管机构 —— 每一类都会留下自己的邮箱。

🔴 更坏的消息:那一页里 Junggunst 自己的邮箱一条都没抽到。 任何归属判据在这个 case 上最好的输出是「10 个全不标」—— 它只能降低阅读成本,不解决召回。

核心裁定:朴素域名判据假阳性 85%

最直觉的判据「邮箱域名 ≠ 网站域名 ⇒ 不是自己的」, 在 36 页真实企业站语料上实测 27 条标记里 23 条是商家自己的:

来源 被误杀的自家邮箱
geberit.de sales.de@geberit.com 等 10 条
hilti.de de.kundenservice@ / de.datenschutz@hilti.com
dekra.de info@dekra.com
roca.com frank.halbach@roca.net 等 4 条
wuerth.de info@wuerth.com
skoda-auto.com infoline@skoda-auto.cz
orlen.pl centrala@orlenoil.pl
viessmann.de info@viessmann-climatesolutions.com
leica-camera.com repair@leicacamerausa.com

误判全部集中在集团关联实体:跨 TLD 的同一集团、子公司、第二品牌域。

六条已核实的误杀路径(对抗产出,主控复核成立)

  1. emails useMemo 的 seen Set 在循环外 ⇒ 同一邮箱只留第一行的 website, 归属随入库顺序翻转
  2. IDN:extractSourceDomain 走 new URL().hostname 返回 punycode (müller-bäckerei.de → xn--mller-bckerei-hfb76a.de),而 EMAIL_REGEX 是纯 ASCII ⇒ 两侧永不匹配
  3. 建站平台域:junggunst-bad.business.site / x.jimdosite.com / linktr.ee ⇒ 商家自有邮箱判外域;而 sites.google.com 的 eTLD+1 是 google.com, 会把 privacy@google.com 判本站 —— 双向都错
  4. tab 路径拿不到重定向后 URL(ScrapeResult 无 finalUrl)
  5. 免费邮箱清单不可能完备(区域 ISP netcologne.de/ewetel.de、亚洲 qq.com/163.com 都在标准清单之外)⇒ 漏一条删一条真邮箱
  6. 占位符删除基元的空集真值:Cloudflare 解码出的邮箱在归一化 HTML 里出现 0 次, [].every() === true ⇒ 删商家主邮箱

⇒ 所有删除提案否决;连「标记为第三方」也降级 —— 任何写着「非本站 / 站外」的红色标签都是软性删除(用户照结论行动), 而上述六条在真实分布下的假阳性率未知。

方案:正向徽章,只证明不否定

新建 src/utils/email-relevance.ts, judgeOwnEmail(email, sourceUrl): boolean 只回答「能不能证明是本站的」。

判 true 的三个充分条件(只往宽松放,救回集团关联实体):

条件 救回
末两段相同(含子域) zv.fraunhofer.de ↔ fraunhofer.de
跨 TLD 同 SLD geberit×10、hilti×2、dekra×2、roca×4、wuerth、skoda-auto.cz = 20 条
去连字符后 SLD 互为前缀(≥4 字符) leicacamerausa、orlenoil、viessmann-climatesolutions = 3 条

硬闸(一律 false = 判不出,不是判为第三方): 来源空 / 解析失败 / punycode / SLD 标签 < 4 字符 / 来源落在建站平台或目录站。

免费邮箱这个卡点:绕开,不解

语料 61 条唯一邮箱里免费邮箱 0 条,任何清单在这份数据上零验证。 单向判定下卡点自动消失:info@t-online.de 匹配不上就是无徽章, 与其它未标记邮箱同等待遇 —— 不被贬低、不被隐藏、不进导出过滤。

UI

邮箱列表加两列:「本站」(✓ 绿标 / 空白)与 「邮箱域名」(纯事实)。 列 tooltip 明写「留空不代表无效」。Phase 1 不提供任何预置筛选按钮 —— DataGrid 自带按列筛选,用户自己点,他知道自己筛了什么。

零删除治理

tests/email-relevance.test.ts 里一道从源码实读的闸: scraper.ts / scraper-executor.ts / contact-pool.ts / contact-extractor.ts / website-scrape-pipeline.ts / api/search.ts 不得 import 这个模块; 且模块本身只导出 judgeOwnEmail / buildOwnEmailSet,没有 filter/remove/drop 出口。

🔴 已做双向自测:故意在 scraper.ts 里加一行 import → 闸准确报红;还原 → 转绿。

验证

  • tests/email-relevance.test.ts 66 例:23 条救回项逐条断言 / 12 个免费邮箱域红线 / 12 条硬闸 / 7 条真第三方不得判本站 / 顺序无关性 / 零删除治理
  • 全量 npx vitest run 591 passed
  • 导出补 isOwn + emailDomain,data-view-selection.test.ts 的 5 条断言按预期更新

顺带修

youremail@email.com 进 BUILTIN_EMAIL_BLACKLIST(roca.com 的 placeholder="Example: youremail@email.com")。表里已有 your@email.com,是不同串。

证据边界

  • 语料 36 页(35 唯一,fielmann 有重复),17 个产出邮箱的来源域,100% 欧洲工业/消费大品牌; orlen.pl 贡献 19/61、geberit.de 贡献 11/61,两家占半
  • 语料内 免费邮箱 0 条、建站平台来源 0 条、Cloudflare data-cfemail 0 页、 德语区中小商家 0 家、跨来源域邮箱碰撞 0 次 —— 关于这五类的结论全是读码推演 + 合成用例,不是真实数据验证
  • Tony 那 10 个邮箱不在语料里,结论来自截图转述的域名归属,置信度中

Phase 2 前置(未做)

补 ≥30 页非欧洲 + 德语区中小商家语料(t-online/web.de/gmx 的、jimdo/wix 建站的、 website 填 linktr.ee/黄页的、中日韩 SPA),在新语料上 judgeOwnEmail 的假 true 必须为 0 (把别人的邮箱标成本站是这套设计唯一的危险方向)。跑完这一轮才谈是否提供筛选开关。