SPEC-025 组合表¶
一、诉求¶
Tony 2026-09-21:
数据表都可以好多万,是不是有个专门的表存要执行的任务,比如关键词对应的地区以及任务 id? 这样下次新开的时候,能找到对应的关键词,并关联新的 id, 如果执行了并且有对应的结果,不是可以直接跳过吗?
二、🔴 这条推翻了本 SPEC 上一版的核心结论¶
上一版(2026-09-21 早些时候)写:
🔴 配额是硬约束:11 万条 ≈ 8MB,而 ISSUE-0036 实证 9MB 直接炸 ⇒ 建议缓做
整条是错的。 那是 chrome.storage.local 的 10MB 限制,而本项目商家数据根本不存在那里:
| 事实 | 出处 |
|---|---|
商家数据走 jsstore(IndexedDB),7 张表,DB laifaxin |
src/utils/jsstore/base.ts:1-11 |
MapTaskData 是其中一张,已经在存几万条 |
base.ts:14 |
现有表规模处理有先例:limit = 50000 的全表 select |
search-data.ts:163 |
⇒ 组合记录存进 IndexedDB 完全没有配额问题,容量是 GB 级。 我把「chrome.storage 的限制」当成了「这个项目的限制」。
🔴 二审又指出:这条论证我错了两层,自查只查出一层¶
上面那段是我自己查出来的第一层(走 IndexedDB 不走 chrome.storage)。 第二轮三审(dshf + glm53 独立命中)指出还有第二层:
| 事实 | 出处 |
|---|---|
manifest 声明了 unlimitedStorage 权限 |
wxt.config.ts:48;构建产物 manifest.json 的 permissions 里确有 |
⇒ 即使真的走 chrome.storage.local,10MB 那个配额也早就不适用了。
而 ISSUE-0036 那次 9MB 撑爆是真实发生过的 —— 所以真相是:
unlimitedStorage 是 v0.10.138 才加的,ISSUE-0036 发生在它之前。
我引 ISSUE-0036 时没看时间线,把一个已经被修掉的历史约束当成了现行约束。
🔴 教训:引用历史 issue 当论据时,必须查它的约束是否仍然成立 —— 事故是真的,不代表它的前提今天还在。
三、🔴 更重要的:这是前三轮方案反复撞的那堵墙¶
| 轮次 | 方案 | 撞的墙 |
|---|---|---|
| 1 | 创建界面预填 + 按词标记 | 标记单位是组合,操作单位是词 ⇒ 粒度错(三审两路独立命中) |
| 2 | 详情页勾组合 | MapTask 表达不了组合子集 ⇒ 矩形化成 N²(自查) |
| 3 | 加 combos?: [] 字段 |
组合仍是任务的附属数组,跨任务查不了;buildTaskUrls 要加分支 |
病根一句话:组合不是一等实体,只能从 categories × locations 推导出来。
而本仓 skill 早写过:「同类缺陷反复出现 = 基元选错,换方案别修第 N 轮。」 我换了三轮方案,每轮都在同一个基元上打补丁。
⇒ Tony 说的「专门的表」就是那个正确的基元。
四、表设计¶
// base.ts 新增,DB version 6 → 7
const tblSearchCombo: ITable = {
name: 'SearchCombo',
columns: {
id: { primaryKey: true, autoIncrement: true, notNull: true },
// 规范化后的组合键:`${category}|${location}|${countryCode}` —— 跨任务查就靠它
comboKey: { dataType: DATA_TYPE.String, enableSearch: true, notNull: true },
category: { dataType: DATA_TYPE.String, enableSearch: true },
location: { dataType: DATA_TYPE.String },
countryCode: { dataType: DATA_TYPE.String },
taskId: { dataType: DATA_TYPE.String, enableSearch: true },
// 'pending' | 'running' | 'done' | 'failed'
status: { dataType: DATA_TYPE.String, enableSearch: true },
resultCount: { dataType: DATA_TYPE.Number, default: 0 },
searchedAt: { dataType: DATA_TYPE.Number, enableSearch: true },
},
};
一张表同时解决六件事¶
| # | 现在的问题 | 表怎么解 |
|---|---|---|
| 1 | MapTask 表达不了组合子集(SPEC-024 洞 1,矩形化 N²) |
任务 = where {taskId} 的一组行,天然是子集 |
| 2 | 进度有两个分母(F4:task.total vs urls.length) |
count(done) / count(taskId),一个来源 |
| 3 | keyword 是拼接串,匹配靠 includes 兜底(F10/F11/F19) |
结构化字段精确查,不需要兜底 |
| 4 | 兜底命中不消费 map ⇒ 一条记录被多个组合重复认领(F20) | 每行一个 id,不存在 |
| 5 | 5 万组合任务的 taskProgress 单 key 几 MB(chrome.storage) |
搬进 IndexedDB,没这问题 |
| 6 | 跨任务查「这个组合搜过没有」——现在做不到 | where {comboKey},一条查询 |
五、🔴 但「直接跳过」我仍然反对 —— 要带时间窗,且默认关¶
最强反方(也是我的立场):
「北京的餐厅」三个月前搜过,现在商家变了 —— 新开的、关门的、改了分类。 自动跳过 ⇒ 用户永远搜不到新增的商家。 地图采集的全部价值就在「最新」。
自动跳过会把一个采集工具变成只能用一次的工具。
但有了 searchedAt,「跳过」可以做成用户可控的:
- 默认关
- 天数用户定
- 🔴 这和
advParms里的deleteRepeat是同一个心智 —— 用户已经懂这套开关
⇒ 跳过是一个可选的、带时间窗的开关,不是系统的默认行为。 事实(什么时候搜的、采到多少)给他,判断归他。
六、🔴 DB 三审(2026-09-21)—— 不可逆代价被整个消掉了¶
Tony 拍板走 B(组合表)之后,我把「DB version 6→7 不可逆」这一件事单独送了三审
(dshf·deepseek × mimo-pro·xiaomi × glm53·zai,任务书 body sha256 5df7e7bc3ded97f3)。
| 执行方 | 「能不能不 bump version」 |
|---|---|
| dshf | 能 —— 另开独立 IndexedDB 库(laifaxin-combos v1)。判 SPEC-025 原文的主库 bump 为 NO-GO(存在零不可逆等价方案) |
| glm53 | 能 —— chrome.storage 分片 KV(comboKey 做 key ⇒ O(1) 点查) |
| mimo-pro | 不能 |
裁决:能避免,走独立库(不投票,回证据裁)¶
🔴 分歧的根源是我的任务书框定:我只列了 a(chrome.storage)/ b(复用现有表)/ c(jsstore 别的加表方式), 没列「另开一个库」。mimo 和 glm53 都在这个框里作答,只有 dshf 跳出来了。
⇒ 本仓 skill 那条又应验了:「找到真问题的那一家,往往是最不受框限的那一家。」
三路一致的两条(b / c 都不可行)¶
| 方案 | 为什么不行 | 证据 |
|---|---|---|
| b 同版本加列 | 加得上、写得进、读得出,但永远无索引、永远不能进 where —— 而本方案的核心价值就是 where{comboKey} |
base.ts:129 注释 + docs/wiki/jsstore-add-column-mechanics.md |
| c jsstore 别的加表方式 | createObjectStore 唯一发生在 onupgradeneeded(worker:601-606),而它只在 version 增加时触发;同版本 initDb 直接丢弃传入 schema 用缓存 |
jsstore worker 源码 |
独立库 vs 分片 KV —— 为什么选前者¶
| 独立 IndexedDB 库 | chrome.storage 分片 KV | |
|---|---|---|
| 主库改动 / 不可逆 | 零 / 无 | 零 / 无 |
| 精确查重 | where{comboKey} 索引 |
O(1) 点查(更快) |
| 🔴 范围查询(列出某任务的全部组合) | ✅ where{taskId} |
🔴 get(null) + 前缀过滤,SW 内存尖峰(glm53 自承) |
| 事务 | ✅ | ❌ combo key 与 per-task 索引双写有一致性缝 |
| 可销毁 | ✅ 整库删掉 | ✅ |
🔴 判据落在「范围查询」那一行:详情页的核心界面就是列出这个任务的所有组合, 分片 KV 在这里要全量拉 key 再前缀过滤 —— 这正是它自己承认的弱点。
🔴 独立库的代价比 dshf 说的还小(我实查)¶
dshf 提到「第二个 jsstore Connection = 多一个 worker」(base.ts:5-6 的注释确实这么警告)。 实查后这条不成立:
// node_modules/jsstore/dist/worker_injector
setup(r,e){ r.$worker = require("../jsstore.worker.commonjs2.min.js"); r.initQueryManager_() }
workerInjector 把 worker 代码内联成普通模块,不起真 Worker ——
否则 MV3 service worker 里根本跑不起来(MV3 SW 不支持 new Worker(),而 background
已经在用 jsstore)。
⇒ 多一个 Connection 只多一份运行时实例,没有额外线程。base.ts 那条是 jsstore 的通用警告,
用了 workerInjector 之后不适用。
🔴 三审还戳破了本 SPEC 的一条伪收益(dshf)¶
第四节「一张表解六件事」里的第 2 条(解决两个分母)是假的:
progress.total = urls.length(batch-controller.ts:268)与MapTask.total = categories×locations(task-manager.ts:318,创建时写死)不一致 —— 要让两边相等只需建任务时把total写成urls.length,一行,与组合表无关。
⇒ 我拿一个一行能修的问题给组合表记了功。该条从收益表里划掉。
迁移:不搬老数据(dshf 实查,我采纳)¶
taskProgress 的 keyword 是拼接串,而 分隔符与内容里的逗号同形
(parts.join(',+'),段内逗号不转义,cleanLocationSegment 只 trim 首尾)
⇒ 无可逆解析,拆不开。
⇒ 不搬。老 taskProgress 保留只读兜底(storage 字段只加不删)。
失败方向安全:历史缺失只会让用户多搜一次,而「跳过」开关默认关。
真要回填走重放(重跑 buildTaskUrls 生成 comboKey + norm() 归一匹配),放最后一阶段。
七、分阶段落地(dshf 给的 P0-P4,全路径无不可逆步)¶
| 阶段 | 内容 | 验收 | 回退 |
|---|---|---|---|
| P0 | 独立库 laifaxin-combos v1 + SearchCombo 表 + CRUD |
单测可验,主库 schema 零改动 | 删文件 |
| P1 | 建任务时双写组合行(不改调度器、不改详情页) | 表行数 ≡ buildTaskUrls 的 URL 数 |
停止双写 |
| P2 | 详情页 / 进度改读表 | 与现有显示逐行一致 | 改回读 taskProgress |
| P3 | where{comboKey} 跨任务查 + 「跳过 N 天内搜过的」开关(默认关) |
— | 去掉开关 |
| P4 | 重放式历史回填(幂等 + 断点续) | — | 不回填 |
🔴 调度器不改(dshf 问 4 的裁决):建任务时查表 → 生成 urls[] → 照旧 startBatch(taskId, urls)。
代价是 combo.status 与游标两套真相,靠双写(在 storePageOneData / paging 完成时回写)解决,
而不是去动 TaskState{urls, nextIndex} 的持久化格式、完成判据和翻页关联这三处。
八、对 SPEC-024 的影响 —— 两条路要 Tony 选¶
| 做法 | 代价 | |
|---|---|---|
| A | 先做 SPEC-024(combos 字段),快;组合表以后再说 |
combos 字段将来会被表取代 ⇒ 现在写的判据和代码有一部分是一次性的 |
| B | 直接做组合表阶段 1 + 3,SPEC-024 的界面直接建在表上 | 慢;DB version 不可逆;调度器改动风险高 |
⚠️ 诚实地说:A 的「一次性代码」不算大(一个字段 + buildTaskUrls 一个分支),
但 B 的「DB version 不可逆」是真正不能回头的一步。
我倾向 A → 然后观察:SPEC-024 跑起来之后,看用户是不是真的需要跨任务查。 如果需要,再上组合表——那时 A 的代码被表取代,损失的是一个字段,不是一个架构。
九、这份 SPEC 自己的教训¶
上一版我写「配额是硬约束,建议缓做」——那个结论建立在一个我没核实的假设上 (以为要存进 chrome.storage)。
🔴 而 Tony 一句「数据表都可以好多万」就推翻了它。
教训:谈「存不下」之前,先查这个项目的东西存在哪。 我这几轮反复在「没查就担心」和「没查就乐观」之间摇摆,这是第三次。
九、登记项(四路审查提出,本刀不做)¶
- 🔴
taskProgress与组合表是两套「搜过什么」,谁也不退休(mimo-pro)—— 一个按keyword一个按comboKey,永远不会同步; 未来任何只读其中一条的代码都会漏掉另一条的数据。 要么让taskProgress退休(详情页/进度全走表),要么明确写下「谁是真相」。 - 组合表 v1→v2 之后,装回 v0.16.0~0.16.2 会 VersionError —— 补搜功能静默不可用,界面上没有任何提示(mimo-pro P2)
- 「跳过最近搜过的」开关会从全局设置回显为后续任务的预选项, 而创建前没有「将跳过多少条」的预览(terra-dsh P2)—— 为一个任务开过的人,容易在另一个本想完整重采的任务里少搜
-
resume后nextIndex归零会重跑已done的组合(dshf F3 / glm53 F6)—— 已有行为,去重兜住数据,浪费的是配额 -
persistTasks现在把 40 万级的combos与urls双份序列化进 chrome.storage (glm53 F7)——unlimitedStorage保住了配额,但 SW 的 CPU/内存翻倍 - 补搜建任务时不查 P3 的已搜集合(dshf F5)—— 方向安全(多搜),但不一致
-
task.total = categories.length × locations.length未按 URL 去重 (glm53 R_LEFT,非本批引入)