破折号分隔的坐标残片逃过新判据¶
🔴 Tony 2026-08-31 在 v0.10.125 实测发现(真实截图)。 ISSUE-0089 的新判据有分隔符盲区,坐标噪音重新进入 ContactPool。
症状¶
商家 Ferienhaus Jungholz 的电话字段:
第一个是真电话,后四个全是坐标残片。任务今日新增 174 条,即新版本采集所得。
根因:三种形态各自绕过判据¶
新判据(ISSUE-0089 值域基元):按 [,\s]+ 切 token,
恰好 2 个裸小数 token 且构成合法经纬度对才判噪音。
主控逐条实测(isLikelyCoordinateNoise 全部返回 false):
| 值 | token 数 | 为什么漏 |
|---|---|---|
1.5977–3.5703 |
1 | 分隔用的是 U+2013 破折号,不在 [,\s] 里 ⇒ 整串算一个 token |
3.5703–3.5703 |
1 | 同上 |
3.5703 0 1.9727 |
3 | 3 token 且第三个不匹配 zoom 格式 ⇒ 放行 |
0 3.5703–1.5977 |
2 | 第二个 token 3.5703–1.5977 不匹配裸小数正则 ⇒ 放行 |
四条 digits 长度均落在 addPhone 的 [8,15] 门槛内,畅通入库。
这个盲区被预警过¶
ISSUE-0089 实施时,dshf 在 X_OPEN 里诚实标注了这个边界:
【次高风险·分隔符不在
[,\s]内】全角逗号40.7128,74.0060、分号、冒号、管道、 全角空格 → 整串被当 1 token → false(中文站点全角标点常见)
它预警的是全角标点,实际撞上的是 en dash。主控当时读到了这条, 判断「真实数据里不会这样」——判断错了。
⇒ 教训:审查方诚实标注的边界,不要用「我觉得不会发生」去消解它。 预警的类别对了(分隔符集不全),只是具体字符猜错了。
澄清一个误判方向¶
截图里那一长串是 mergePhonesWithMapsLabel 把多个值用 , 拼接后的显示结果,
不是单次抓取的原始串。主控实测确认:破折号不在任何一条电话正则的字符集里
(Tier1 tel: 与 Tier2 上下文关键词都是 [\d\s\-().],Tier3 是 [\s.\-]),
整串抓不到。四个噪音值是各自独立入库的,判据也是逐个放行的。
⇒ 修复点在判据(isLikelyCoordinateNoise),不在正则或合并逻辑。
修复方向¶
- 扩分隔符集:把各类破折号(U+2013 en dash、U+2014 em dash、U+2212 minus)、
全角逗号/空格/分号/冒号纳入
SPLIT_RE。 - 放宽 token 数:现在只认「恰好 2 个」和「3 个且第三个是 zoom」。 坐标残片常见 1 个(破折号连写)、3 个、4 个(bounding box)形态。
- ⚠️ 但不能因此误杀电话:ISSUE-0089 的教训还在—— 法/比/瑞/美点分隔电话必须继续保留。任何放宽都要跑那批回归样本。
回归判据¶
必须同时满足:
第三条是硬约束:修这个洞不许把上一个洞修回来。
✅ 修复(2026-08-31,ai/fix-coord-noise worktree)¶
根因升级:不是分隔符盲区,是前提被证伪¶
值域基元假设「坐标噪音 = 一对合法经纬度」。58 条验收 fixture
(tests/fixtures-coord-noise.json,全部来自真实数据/历史 issue)实测:
30 条必拦样本里漏了 20 条——破折号连写只是其中 4 条,其余是超范围坐标
(36.0901 180.315)、营业时间(10.00–11.30)、3~4 token 残片、纯整数对
(07157 56840)。补分隔符集只能修掉一小部分,前提本身错了。
新判据:数值残片结构基元¶
不再判断「是不是合法坐标」,改判「是不是电话结构里不可能出现的数值残片」:
- 归一化:Unicode 破折号(U+2010–U+2015、U+2212、U+FE58/FE63、U+FF0D) 折叠为空格(抓取正则字符集只含 ASCII 横杠,破折号不可能属于电话); 切分符扩为半角/全角逗号 + 任意空白。
- 基元 A:整串全是纯数值 token(整数/小数)且 ≥1 个「恰好一个小数点」的
小数 token ⇒ 拦。依据:电话的点号永远是组分隔符(同 token 内 ≥2 个点,
如
01.42.68.53.00/212.555.0100),从不以孤立「整数.小数」token 出现; 坐标残片/时间区间/浮点碎片恰恰相反。无国家知识,不维护白名单。 - 基元 B:恰好 2 个 ≥4 位裸整数 token(无点无横杠无国家码)⇒ 拦
(真实样本
07157 56840;+49 7157 56840有 3 个 token,不受影响)。 - 其余一律放行——判据只收窄到「纯数值残片」,不扩大误杀面。
验证¶
tests/scraper-coordinate-noise-fixtures.test.ts:58 条 fixture 五分组逐条it.each断言,30 必拦 + 28 必留全过;失败时测试标题即出错样本。- 旧回归
tests/scraper-coordinate-noise-baseline.test.ts与tests/contact-pool-cleanup-dryrun.test.ts断言全部保持绿。
⚠️ 诚实边界(下一轮可能撞的)¶
- 基元 B 会拦「国家码缺失的德国本地两段式电话」(如
0711 34510114+7 位两段裸数字)。fixture 明确要求拦07157 56840,二者不可兼得, 本轮按 fixture 裁决。若真实数据出现误杀,回调基元 B 的位数下限。 - 多 token 且恰好一段是「单个点」分组的电话写法(如
030.123 4567这类 生僻格式)会被基元 A 误伤——fixture 中无此形态,属理论残留风险。 - 判据仍是二元规则判开放集合(见本文件修复时主控 X_OPEN 讨论): 真正的出路是打分+隔离区或抓取阶段前置拦截,见开发日志同日条目。
✅ 已修复(k3 交付,主控独立复核)¶
判据换了基元:值域 → 数值残片结构¶
旧判据(值域基元)假设「坐标噪音 = 一对合法经纬度」,被真实数据证伪
(36.0901 180.315 超经度范围反被当电话放行)。
新判据不再依赖这个前提:
- 归一化:各类 Unicode 破折号(U+2010–U+2015、U+2212、U+FE58/FE63、U+FF0D) 折叠为空格 —— 三层抓取正则的字符集只含 ASCII,这些字符只可能来自页面文本
- 切 token:分隔符集扩为
[,,\s]+(含全角逗号) - 判定:剥掉末尾 zoom 后,只要 含至少一个小数 token 且全部 token 都是纯数值 ⇒ 判为噪音;另加「2 个 ≥4 位纯整数」一条
⇒ 不再问「是不是合法坐标」,改问「是不是一串纯数值残片」。 真电话有国家码、括号、非数值分隔结构,不会全是裸数值 token。
验收:58 条硬样本,主控独立复跑¶
| 分组 | 结果 |
|---|---|
MUST_DROP_real_noise(Tony 两张截图的真实噪音) |
20/20 全拦 |
MUST_DROP_issue0080(真实污染日志) |
5/5 全拦 |
MUST_DROP_baseline(标准坐标/高精度/zoom) |
5/5 全拦 |
MUST_KEEP_issue0089(法比瑞美点分隔电话) |
19/19 全留 |
MUST_KEEP_real_phones(Tony 截图的真实德国号码) |
9/9 全留 |
58/58,121 个测试全绿,pnpm verify rc=0。
样本落盘在 tests/fixtures-coord-noise.json,测试用 it.each 逐条断言,
失败时测试标题即出错样本。
构建产物已验¶
dist-v2/chrome-mv3/ 于 2026-09-01 00:01 重新构建,
主控确认新判据字符集确实进了 background.js(不只信 build 成功)。
遗留¶
修复没有清理已入库的存量噪音。ISSUE-0080 的 dry-run 工具
(contact-pool-cleanup-dryrun)现在会用新判据判定,
可先跑一次看会清掉多少,再决定要不要开存量清洗。