ISSUE-0109 · 邮箱一锅端¶
症状(Tony 截图实拍)¶
商家 Junggunst GmbH & Co. KG(卫浴,来源 junggunst-bad.de)挂着 10 个邮箱:
info@viessmann.com 暖气品牌(商家卖的产品)
lukas.brinkmann@gc-gruppe.de 建材批发联盟
info@meister1.de 手工业者认证平台
legal@vimeo.com 页面嵌的视频服务
poststelle@datenschutz-bayern.de 巴伐利亚数据保护局(隐私政策引用)
info@agentur-id.de 做网站的广告公司
…
根因¶
src/utils/scraper.ts 的 filterEmail 只做四类过滤(脏邮箱 / 黑名单 / 噪音子串 / 超长 hex ID),
零域名关系判断。页面上任何邮箱格式串一律收进。
德语区中小商家网站的常见构成 —— 产品品牌角标、行业协会、认证机构、建站公司署名、 嵌入的第三方服务、隐私政策引用的监管机构 —— 每一类都会留下自己的邮箱。
🔴 更坏的消息:那一页里 Junggunst 自己的邮箱一条都没抽到。 任何归属判据在这个 case 上最好的输出是「10 个全不标」—— 它只能降低阅读成本,不解决召回。
核心裁定:朴素域名判据假阳性 85%¶
最直觉的判据「邮箱域名 ≠ 网站域名 ⇒ 不是自己的」, 在 36 页真实企业站语料上实测 27 条标记里 23 条是商家自己的:
| 来源 | 被误杀的自家邮箱 |
|---|---|
geberit.de |
sales.de@geberit.com 等 10 条 |
hilti.de |
de.kundenservice@ / de.datenschutz@hilti.com |
dekra.de |
info@dekra.com |
roca.com |
frank.halbach@roca.net 等 4 条 |
wuerth.de |
info@wuerth.com |
skoda-auto.com |
infoline@skoda-auto.cz |
orlen.pl |
centrala@orlenoil.pl |
viessmann.de |
info@viessmann-climatesolutions.com |
leica-camera.com |
repair@leicacamerausa.com |
误判全部集中在集团关联实体:跨 TLD 的同一集团、子公司、第二品牌域。
六条已核实的误杀路径(对抗产出,主控复核成立)¶
emailsuseMemo 的seenSet 在循环外 ⇒ 同一邮箱只留第一行的 website, 归属随入库顺序翻转- IDN:
extractSourceDomain走new URL().hostname返回 punycode (müller-bäckerei.de→xn--mller-bckerei-hfb76a.de),而EMAIL_REGEX是纯 ASCII ⇒ 两侧永不匹配 - 建站平台域:
junggunst-bad.business.site/x.jimdosite.com/linktr.ee⇒ 商家自有邮箱判外域;而sites.google.com的 eTLD+1 是google.com, 会把privacy@google.com判本站 —— 双向都错 - tab 路径拿不到重定向后 URL(
ScrapeResult无finalUrl) - 免费邮箱清单不可能完备(区域 ISP
netcologne.de/ewetel.de、亚洲qq.com/163.com都在标准清单之外)⇒ 漏一条删一条真邮箱 - 占位符删除基元的空集真值:Cloudflare 解码出的邮箱在归一化 HTML 里出现 0 次,
[].every() === true⇒ 删商家主邮箱
⇒ 所有删除提案否决;连「标记为第三方」也降级 —— 任何写着「非本站 / 站外」的红色标签都是软性删除(用户照结论行动), 而上述六条在真实分布下的假阳性率未知。
方案:正向徽章,只证明不否定¶
新建 src/utils/email-relevance.ts,
judgeOwnEmail(email, sourceUrl): boolean 只回答「能不能证明是本站的」。
判 true 的三个充分条件(只往宽松放,救回集团关联实体):
| 条件 | 救回 |
|---|---|
| 末两段相同(含子域) | zv.fraunhofer.de ↔ fraunhofer.de |
| 跨 TLD 同 SLD | geberit×10、hilti×2、dekra×2、roca×4、wuerth、skoda-auto.cz = 20 条 |
| 去连字符后 SLD 互为前缀(≥4 字符) | leicacamerausa、orlenoil、viessmann-climatesolutions = 3 条 |
硬闸(一律 false = 判不出,不是判为第三方):
来源空 / 解析失败 / punycode / SLD 标签 < 4 字符 / 来源落在建站平台或目录站。
免费邮箱这个卡点:绕开,不解¶
语料 61 条唯一邮箱里免费邮箱 0 条,任何清单在这份数据上零验证。
单向判定下卡点自动消失:info@t-online.de 匹配不上就是无徽章,
与其它未标记邮箱同等待遇 —— 不被贬低、不被隐藏、不进导出过滤。
UI¶
邮箱列表加两列:「本站」(✓ 绿标 / 空白)与 「邮箱域名」(纯事实)。 列 tooltip 明写「留空不代表无效」。Phase 1 不提供任何预置筛选按钮 —— DataGrid 自带按列筛选,用户自己点,他知道自己筛了什么。
零删除治理¶
tests/email-relevance.test.ts 里一道从源码实读的闸:
scraper.ts / scraper-executor.ts / contact-pool.ts / contact-extractor.ts /
website-scrape-pipeline.ts / api/search.ts 不得 import 这个模块;
且模块本身只导出 judgeOwnEmail / buildOwnEmailSet,没有 filter/remove/drop 出口。
🔴 已做双向自测:故意在 scraper.ts 里加一行 import → 闸准确报红;还原 → 转绿。
验证¶
tests/email-relevance.test.ts66 例:23 条救回项逐条断言 / 12 个免费邮箱域红线 / 12 条硬闸 / 7 条真第三方不得判本站 / 顺序无关性 / 零删除治理- 全量
npx vitest run591 passed - 导出补
isOwn+emailDomain,data-view-selection.test.ts的 5 条断言按预期更新
顺带修¶
youremail@email.com 进 BUILTIN_EMAIL_BLACKLIST(roca.com 的
placeholder="Example: youremail@email.com")。表里已有 your@email.com,是不同串。
证据边界¶
- 语料 36 页(35 唯一,fielmann 有重复),17 个产出邮箱的来源域,100% 欧洲工业/消费大品牌; orlen.pl 贡献 19/61、geberit.de 贡献 11/61,两家占半
- 语料内 免费邮箱 0 条、建站平台来源 0 条、Cloudflare
data-cfemail0 页、 德语区中小商家 0 家、跨来源域邮箱碰撞 0 次 —— 关于这五类的结论全是读码推演 + 合成用例,不是真实数据验证 - Tony 那 10 个邮箱不在语料里,结论来自截图转述的域名归属,置信度中
Phase 2 前置(未做)¶
补 ≥30 页非欧洲 + 德语区中小商家语料(t-online/web.de/gmx 的、jimdo/wix 建站的、
website 填 linktr.ee/黄页的、中日韩 SPA),在新语料上 judgeOwnEmail 的假 true 必须为 0
(把别人的邮箱标成本站是这套设计唯一的危险方向)。跑完这一轮才谈是否提供筛选开关。