ISSUE-0101 · 词边界 \b 挡死屈折词尾与复合词¶
症状¶
刀 0 语料实测中,上下文词表连续三次在同一个机制上漏判:
| 轮次 | 漏判样本 | 语言 | 词表写法 | 为什么不命中 |
|---|---|---|---|---|
| 1 | Telefony stacjonarne ⏎ (24) 256 62 25 |
波兰语 | \btelefon\b |
Telefony 尾部有 y,\b 不成立 |
| 2 | numerem telefonu (24) 256 61 69 |
波兰语 | \btelefon\b |
telefonu 尾部有 u |
| 3 | Ust-IdNr.: DE 813 103 355 |
德语 | \bust[\s\-]?id\b |
Id 后紧跟 Nr,\b 不成立 |
前两次判在 PHONE_KW(真电话被漏 → 落 UNKNOWN),第三次判在 NEG_KW(税号没被拦 → 差点当电话)。
根因¶
基元选错:用「词边界」去切屈折语的词尾变化和德语式复合词。
- 屈折语(波兰语、捷克语、俄语…)名词有格变化:
telefon/telefonu/telefony/telefonem - 德语法律术语大量是复合词:
Umsatzsteuer-Identifikationsnummer、Ust-IdNr、Handelsregisternummer
\b 假设「词以非字母结束」,这两类语言里都不成立。
🔴 同类缺陷第三次出现 = 别修第 N 轮词表,换基元。 (判据是「这轮改的东西验没验」,不是「还能不能挑出新词」)
修法¶
两个词表对称改为前缀匹配,结尾允许词尾变化:
PHONE_KW = re.compile(r'\b(tel|telefon|...|热线)[a-zà-ÿ]{0,4}\s*[.::]?', re.I)
NEG_KW = re.compile(r'\b(ust[\s\-]?id|umsatzsteuer|...|nif)[a-zà-ÿ.\-]{0,12}', re.I)
开头保留 \b(防 hotel 命中 tel),结尾放开。
另一个对称性缺陷(同批修复)¶
NEG_KW 允许跨行看 before[-90:],PHONE_KW 却只看候选所在段
(按 ⏎ 切分)—— 不对称。而标签常写在上一行:
改为两者都跨行。安全性:NEG 先判 DROP,法定编号不会被 PHONE 捡回来(三批实测 KEEP 假货 0 条)。
验证¶
判据 v2 冻结后采集第三批(27 页 / 15 国,从未参与调参):
| 批次 | 表态率 | KEEP | DROP | UNKNOWN | 假货 |
|---|---|---|---|---|---|
| 批一 训练集 | 29/29 = 100% | 17 | 12 | 0 | 0 |
| 批二 留出集 | 55/55 = 100% | 51 | 4 | 0 | 0 |
| 批三 干净验证 | 57/69 = 83% | 56 | 1 | 12 | 0 |
| 合计 | 153 条 · 92% | 124 | 17 | 12 | 0 |
复现:python3 scripts/eval-phone-context.py,语料在 tests/corpus{,-holdout,-v3}/txt/。
教训¶
- 写多语言词表时,
\b只放开头不放结尾。 结尾的\b等于假设「英语式孤立词」。 - 正反两个词表的窗口策略必须对称。 一边跨行一边不跨行,会产生看不出来的偏斜。
- 留出验证要在判据冻结之后采集。 批二被我调过两轮参后就不再是留出集了,只有批三的 83% 是可信数字。