跳转至

ISSUE-0089:点分隔电话被坐标过滤器误杀并不可逆删除存量

症状

法国 / 比利时 / 部分美国站点的电话采集不到;已入库的同类号码在扩展重启后消失。

根因

src/utils/scraper.ts:100-109:

export function isLikelyCoordinateNoise(rawPhone: string): boolean {
  const norm = String(rawPhone || '').replace(/\s+/g, ' ').trim();
  if (!norm) return false;
  const dotCount = (norm.match(/\./g) || []).length;
  if (dotCount >= 2) return true;          // 特征 1
  if (/^\d{1,2}\./.test(norm)) return true; // 特征 2
  return false;
}

该判据是 0080-phone-regex-captures-gps-coordinates 的修复产物,用于拦截 31.2304,121.4737 这类坐标。 但它对点分隔电话格式同样命中。

伤害边界(自构验证)

样本 国家 dotCount 结果
01.42.68.53.00 法国 4 命中特征 1 — 丢弃
02.345.67.89 比利时 3 命中特征 1 — 丢弃
212.555.0100 美国 2 命中特征 1 — 丢弃
01 42 68 53 00 法国空格版 0 存活

⇒ 伤害精确限定在点分隔格式;空格 / 横杠格式不受影响。

四个真实调用方(全部验证)

位置 时机 后果
src/utils/scraper.ts:477 addPhone 提取时 新号码不入库
src/utils/contact-pool.ts:88 writeContactRecord 写前 不进共享池
src/utils/contact-pool.ts:136 / :156 queryContactPoolLocal / queryContactPoolByUrl 读时 已存的读不出来
src/utils/contact-pool.ts:283 cleanPollutedContactPool 迁移 写回覆盖存量

迁移触发点:src/utils/engine-manager.ts:278 — 每个 SW session 首次进入 manageQueue() 时 fire-and-forget 执行(dedupeRanThisSession 守卫)。写回语句为 connection.update(... set: { phones: filtered, syncedAt: 0 }),删除后无还原路径。

⇒ 这不是「将来可能丢」,是已经在丢并在删存量。

为什么定 P0

对已入库数据的不可逆写入 + 影响面是一个完整市场(外贸营销 SaaS 的欧洲客户)。

修复方向(止损可立即做,判据需拍板)

判据不能只看点号数量,至少要区分:

  1. 坐标特征:含逗号分隔的两个小数、纬度范围 [-90, 90] + 经度范围 [-180, 180]、小数位 ≥ 4
  2. 电话特征:分段长度模式(法国 2-2-2-2-2)、总位数 8-15、可选国家码前缀
  3. 来源置信度:tel: 链接(Tier 1,网站主动声明)不应过噪音过滤

止损与判据是两件事(不要混为一谈)

层 内容 是否需要拍板
止损 停用 cleanPollutedContactPool 的存量销毁 不需要 — 停止破坏不等于选定新判据,可立即做
判据 新的坐标 vs 电话判别器往哪边偏 需要 Tony 拍板

✅ 2026-08-31 Tony 已拍:收。判据方案如下(待实施)

判据由三基元对抗设计得出(形状 / 值域 / 正向识别各独立设计后交叉攻击)。 结论:值域基元胜出,且不做三方拼接。

理由(对抗实测,非偏好):另两个基元被值域基元严格支配 —— 值域能正确处理的语料它们也能,但它们各自引入新的失败模式: 正向识别要维护国家白名单(会撞库存、且 250 国维护不起), 形状基元的「小数位 1-7」上限会漏掉 8 位精度 GPS(40.71277612,-74.00597434 实测漏网)。

const COORD_TOKEN_RE = /^[+-]?\d{1,3}\.\d+$/;
const ZOOM_TOKEN_RE  = /^\d{1,2}z?$/i;
const SPLIT_RE       = /[,\s]+/;

function inLatLngRange(lat: number, lng: number): boolean {
  return Math.abs(lat) <= 90 && Math.abs(lng) <= 180;
}

function isCoordPair(t0: string, t1: string): boolean {
  if (!COORD_TOKEN_RE.test(t0) || !COORD_TOKEN_RE.test(t1)) return false;
  const a = parseFloat(t0);
  const b = parseFloat(t1);
  if (!Number.isFinite(a) || !Number.isFinite(b)) return false;
  return inLatLngRange(a, b) || inLatLngRange(b, a);
}

export function isLikelyCoordinateNoise(rawPhone: string): boolean {
  const norm = String(rawPhone || '').replace(/\s+/g, ' ').trim();
  if (!norm) return false;
  const tokens = norm.split(SPLIT_RE).filter(Boolean);
  // 核心:恰好 2 个 token,均为严格十进制小数,构成合法经纬度对(任一顺序)
  if (tokens.length === 2) return isCoordPair(tokens[0], tokens[1]);
  // 扩展:Google Maps URL 的 @lat,lng,zoom 三段格式
  if (tokens.length === 3 && ZOOM_TOKEN_RE.test(tokens[2])) return isCoordPair(tokens[0], tokens[1]);
  return false;
}

为什么这个门有效:「恰好 2 个逗号/空格分隔 token、各自是裸小数、且构成合法经纬度对」 这个结构同时排除了所有多段欧洲电话格式(01.42.68.53.00 是 1 个 token,不是 2 个) 与所有单 token 国际格式。纯字符串形状判断,不含任何国家知识,250 国免费覆盖。

主控独立实测(2026-08-31,非执行方自述)

真坐标(必须拦) 真电话(必须留) 1e6 次耗时
旧判据 10/10 4/19 65ms
新判据 10/10 19/19 52ms

拦截能力零损失,误杀从 15 条降到 0,且更快。 旧判据误杀的 15 条覆盖法/比/瑞/美全部点分隔格式。

样本来源:baseline test 3 条 + ISSUE-0080 真实污染日志 5 条 + 8 位精度 GPS + GoogleMaps zoom 格式 + 法比瑞美各国真实格式。

🔴 实施时必须知道的(对抗过程中查明)

  1. 输入空间比想象的窄:addPhone 有 digits.length ∈ [8,15] 门槛(scraper.ts:471), 7 位以下根本到不了这个函数。baseline test 里的 123.4567(7位)、11.59(4位)、 0.5(2位) 是直接调用函数绕过了前置门槛,脱离了真实输入空间。
  2. 三路正则的输入形态不同:Tier1(tel:)/Tier2(上下文关键词) 是纯字符集无结构约束; Tier3(自由文本) 有「数字组×分隔符」结构。ISSUE-0080 的坐标污染来自 Tier3, 但判据不知道调用方是哪个 tier,两种形态都要防。
  3. 三个调用点里只有存量销毁被关闭,写入端(scraper.ts addPhone 内)与 读取端(contact-pool.ts:19)仍在活跃丢弃 —— 判据落地前每次采集都在持续丢号码。

回归判据

  • 上表 4 个样本按预期分类
  • 31.2304,121.4737 与 -33.8688,151.2093 仍被拦
  • 存量迁移在修复前必须停用,避免继续销毁

发现过程

2026-08-30 多 agent 对抗审查发现,terra(openai) 与 dshf(deepseek) 跨厂商双路独立复现。 两路均独立指出这是产品取舍而非技术判断。

止损记录(SPEC-010 Phase 0,2026-08-30)

只做止损,判据本身本轮不动——isLikelyCoordinateNoise 函数体一个字符没改, 四个调用方(写入 / 读取 ×2)也都保持原样,等 Tony 拍板判据往哪边偏。

src/utils/engine-manager.ts: - 新增导出常量 ENABLE_CONTACT_POOL_COORDINATE_CLEANUP = false - manageQueue() 里原来的裸调用 cleanPollutedContactPool().catch(() => {}) 改成 if (ENABLE_CONTACT_POOL_COORDINATE_CLEANUP) { cleanPollutedContactPool().catch(() => {}); } - 同一个 if (!dedupeRanThisSession) 块里的 revivePollutedDomains() 与 batchDedupeByUrl() 没有被一起停——只停了这一个调用点,其它职责不受影响 - cleanPollutedContactPool 函数本身、contact-pool.ts 里的三处调用方 (写前 / 读时 ×2)均未改动,可恢复:判据修好、验证过后把常量改回 true 即可

回归测试

tests/engine-manager-contact-pool-cleanup.test.ts——engine-manager.ts 顶层拉了 wxt/browser / jsstore / scraper-executor.ts 一整套只有真实扩展环境才能跑的依赖, vitest/node 下 import 会炸,所以不 import 模块,改成读源码文本做接线断言: - 止损开关常量存在且为 false - cleanPollutedContactPool() 调用点必须被这个开关的 if 包住,不能裸跑 - 同一个 if 块里 revivePollutedDomains / batchDedupeByUrl 仍是裸调用(没被连坐停用) - 函数定义本身没被删(import { cleanPollutedContactPool } 还在)

修复前(红):临时把调用改回裸调用重跑测试,「必须被开关包住」与「不能连坐」两条 断言按预期失败;改回止损版本后(绿)4 条全过。

状态

止损部分完成;判据部分维持 in-progress,等 Tony 拍板(见上方「修复方向」表格)。

实施记录(2026-08-31,判据落地)

Tony 已拍板方案(上方「✅ 2026-08-31 Tony 已拍」)已原样实施:

  • src/utils/scraper.ts:isLikelyCoordinateNoise 函数体替换为「值域基元」版。 COORD_TOKEN_RE / ZOOM_TOKEN_RE / SPLIT_RE 三个正则常量提到模块作用域 (热路径每次调用不重编译);导出签名不变 (rawPhone: string) => boolean; 函数上方注释更新为 ISSUE-0089 判据重写说明 + 值域基元胜出的设计理由。
  • 调用点接线不变:addPhone(写入前,scraper.ts:477 附近)与 contact-pool.ts cleanPhonesForPool(写池 :88 / 读取时 :136/:156)继续活跃使用新判据; engine-manager.ts:307 存量销毁仍由 ENABLE_CONTACT_POOL_COORDINATE_CLEANUP = false 关停,本轮未动 —— 是否重新启用是独立决策。
  • 测试:tests/scraper-coordinate-noise-baseline.test.ts 重写。ISSUE-0089 误伤样本 断言翻转(01.42.68.53.00 / 02.345.67.89 / 212.555.0100 / 1.800.555.0199 全部 true → false),describe 名改为反映新语义;旧判据「特征 2」单 token 样本 (11.59 / 0.5)断言随新判据翻转并注明脱离真实输入空间;新增 ISSUE-0080 真实污染 日志 5 条、8 位精度 GPS、Google Maps zoom 格式、法/比/瑞/美对抗样本覆盖。 回归判据满足:真坐标 10/10 仍拦,点分隔电话全保留。

状态(实施后)

  • 判据部分:完成。值域基元版判据已落地,写入端 + 读取端恢复收点分隔电话。
  • 止损部分:维持生效。ENABLE_CONTACT_POOL_COORDINATE_CLEANUP 保持 false, 存量销毁不开;判据已验证(写/读两端不再误杀),如需恢复清洗把常量改回 true 即可,函数本身未删。

dry-run 诊断工具(2026-08-31,开闸前预演)

存量清洗仍是不可逆删除,开闸前 Tony 要先看清「会删掉哪些号码」再拍板 (对应 ISSUE-0080 的「折中」选项)。本轮在 cleanPollutedContactPool 上加了 只读 dry-run 模式(src/utils/contact-pool.ts),不改判据、不改 schema、 ENABLE_CONTACT_POOL_COORDINATE_CLEANUP 保持 false。

触发方式(诊断工具,无 UI 页面)

任意扩展页(如主窗口 / settings)按 F12 打开 devtools,在 console 执行:

// 默认样本上限 50 行
chrome.runtime.sendMessage({ type: 'contact-pool-cleanup-dryrun' }, r => console.log(r));

// 想多看一些:显式调样本上限
chrome.runtime.sendMessage({ type: 'contact-pool-cleanup-dryrun', sampleLimit: 200 }, r => console.log(r));

消息由 background SW 的 browser.runtime.onMessage 处理( src/entrypoints/background/index.ts),内部只调 cleanPollutedContactPool({ dryRun: true, sampleLimit }) —— 本通道只暴露 dry-run, 不接受任何真实清洗请求;真实清洗仍只由 ENABLE_CONTACT_POOL_COORDINATE_CLEANUP 控制(当前 false,改回 true 才开)。

结果在哪看

  1. sendMessage 回调:全量 report(JSON 直接贴回 console)——字段:
  2. scanned 扫描行数
  3. affectedRows(= cleaned)受影响行数
  4. totalPhonesRemoved 会被删的号码总数
  5. samples[] 样本清单:每行含 urlHash / normalizedUrl / domain + removedPhones(该行具体会删掉的号码)+ retainedPhones(保留的号码), 可直接按 urlHash 回查
  6. samplesTruncated 受影响行数超过样本上限时置 true
  7. sysLog:落一条 ('contact-pool', 'cleaned-polluted-dryrun')(含 scanned / cleaned / totalPhonesRemoved / samplesCount / samplesTruncated), 与既有 sysLog 导出通道同路。

样本上限 = 50 行的理由

  • 上限要「够看出问题」:每行样本带 removedPhones 完整明细,50 行 × 每行若干号码 已足够让 Tony 判断「被删的是不是真电话」(真坐标 vs 点分隔真电话一眼可分);
  • 也不能把整库倒出来:池子可能上万行,全量倒出会塞爆 console / sysLog,且真正做 决策只需要代表性样本;
  • 统计字段(scanned / affectedRows / totalPhonesRemoved)不受样本截断影响, 始终是全量口径 —— 截断只影响 samples[],并用 samplesTruncated 显式标记。
  • 需要更多时用 sampleLimit 参数放大(如 500 / 1000),仍是同一份只读实现。

回归测试

tests/contact-pool-cleanup-dryrun.test.ts(10 用例,mock jsstore 边界后跑真实 cleanPollutedContactPool 代码): - dry-run 零写操作:connection.update / insert / remove / clear 全部断言零调用 - dry-run 与真实模式统计口径一致:同一份输入,scanned / cleaned / totalPhonesRemoved 全同 - 样本清单 = 判据真会删的号码:40.7128, -74.0060 进清单、 01.42.68.53.00 / 212.555.0100 / 1.800.555.0199 不进 - 默认 50 行上限 + 超限 samplesTruncated 标记(统计仍全量) - 真实模式行为不变:返回形状仍恰好 3 个键、写回参数仍是 { in, where: {urlHash}, set: { phones, syncedAt: 0 } } - background 消息入口接线断言(读源码文本,同文件既有手法)