跳转至

ISSUE-0101 · 词边界 \b 挡死屈折词尾与复合词

症状

刀 0 语料实测中,上下文词表连续三次在同一个机制上漏判:

轮次 漏判样本 语言 词表写法 为什么不命中
1 Telefony stacjonarne ⏎ (24) 256 62 25 波兰语 \btelefon\b Telefony 尾部有 y,\b 不成立
2 numerem telefonu (24) 256 61 69 波兰语 \btelefon\b telefonu 尾部有 u
3 Ust-IdNr.: DE 813 103 355 德语 \bust[\s\-]?id\b Id 后紧跟 Nr,\b 不成立

前两次判在 PHONE_KW(真电话被漏 → 落 UNKNOWN),第三次判在 NEG_KW(税号没被拦 → 差点当电话)。

根因

基元选错:用「词边界」去切屈折语的词尾变化和德语式复合词。

  • 屈折语(波兰语、捷克语、俄语…)名词有格变化:telefon / telefonu / telefony / telefonem
  • 德语法律术语大量是复合词:Umsatzsteuer-Identifikationsnummer、Ust-IdNr、Handelsregisternummer

\b 假设「词以非字母结束」,这两类语言里都不成立。

🔴 同类缺陷第三次出现 = 别修第 N 轮词表,换基元。 (判据是「这轮改的东西验没验」,不是「还能不能挑出新词」)

修法

两个词表对称改为前缀匹配,结尾允许词尾变化:

PHONE_KW = re.compile(r'\b(tel|telefon|...|热线)[a-zà-ÿ]{0,4}\s*[.::]?', re.I)
NEG_KW   = re.compile(r'\b(ust[\s\-]?id|umsatzsteuer|...|nif)[a-zà-ÿ.\-]{0,12}', re.I)

开头保留 \b(防 hotel 命中 tel),结尾放开。

另一个对称性缺陷(同批修复)

NEG_KW 允许跨行看 before[-90:],PHONE_KW 却只看候选所在段 (按 ⏎ 切分)—— 不对称。而标签常写在上一行:

Telefony stacjonarne
(24) 256 62 25

改为两者都跨行。安全性:NEG 先判 DROP,法定编号不会被 PHONE 捡回来(三批实测 KEEP 假货 0 条)。

验证

判据 v2 冻结后采集第三批(27 页 / 15 国,从未参与调参):

批次 表态率 KEEP DROP UNKNOWN 假货
批一 训练集 29/29 = 100% 17 12 0 0
批二 留出集 55/55 = 100% 51 4 0 0
批三 干净验证 57/69 = 83% 56 1 12 0
合计 153 条 · 92% 124 17 12 0

复现:python3 scripts/eval-phone-context.py,语料在 tests/corpus{,-holdout,-v3}/txt/。

教训

  1. 写多语言词表时,\b 只放开头不放结尾。 结尾的 \b 等于假设「英语式孤立词」。
  2. 正反两个词表的窗口策略必须对称。 一边跨行一边不跨行,会产生看不出来的偏斜。
  3. 留出验证要在判据冻结之后采集。 批二被我调过两轮参后就不再是留出集了,只有批三的 83% 是可信数字。