跳转至

SPEC-025 组合表

一、诉求

Tony 2026-09-21:

数据表都可以好多万,是不是有个专门的表存要执行的任务,比如关键词对应的地区以及任务 id? 这样下次新开的时候,能找到对应的关键词,并关联新的 id, 如果执行了并且有对应的结果,不是可以直接跳过吗?

二、🔴 这条推翻了本 SPEC 上一版的核心结论

上一版(2026-09-21 早些时候)写:

🔴 配额是硬约束:11 万条 ≈ 8MB,而 ISSUE-0036 实证 9MB 直接炸 ⇒ 建议缓做

整条是错的。 那是 chrome.storage.local 的 10MB 限制,而本项目商家数据根本不存在那里:

事实 出处
商家数据走 jsstore(IndexedDB),7 张表,DB laifaxin src/utils/jsstore/base.ts:1-11
MapTaskData 是其中一张,已经在存几万条 base.ts:14
现有表规模处理有先例:limit = 50000 的全表 select search-data.ts:163

⇒ 组合记录存进 IndexedDB 完全没有配额问题,容量是 GB 级。 我把「chrome.storage 的限制」当成了「这个项目的限制」。

🔴 二审又指出:这条论证我错了两层,自查只查出一层

上面那段是我自己查出来的第一层(走 IndexedDB 不走 chrome.storage)。 第二轮三审(dshf + glm53 独立命中)指出还有第二层:

事实 出处
manifest 声明了 unlimitedStorage 权限 wxt.config.ts:48;构建产物 manifest.json 的 permissions 里确有

⇒ 即使真的走 chrome.storage.local,10MB 那个配额也早就不适用了。

而 ISSUE-0036 那次 9MB 撑爆是真实发生过的 —— 所以真相是: unlimitedStorage 是 v0.10.138 才加的,ISSUE-0036 发生在它之前。 我引 ISSUE-0036 时没看时间线,把一个已经被修掉的历史约束当成了现行约束。

🔴 教训:引用历史 issue 当论据时,必须查它的约束是否仍然成立 —— 事故是真的,不代表它的前提今天还在。

三、🔴 更重要的:这是前三轮方案反复撞的那堵墙

轮次 方案 撞的墙
1 创建界面预填 + 按词标记 标记单位是组合,操作单位是词 ⇒ 粒度错(三审两路独立命中)
2 详情页勾组合 MapTask 表达不了组合子集 ⇒ 矩形化成 N²(自查)
3 加 combos?: [] 字段 组合仍是任务的附属数组,跨任务查不了;buildTaskUrls 要加分支

病根一句话:组合不是一等实体,只能从 categories × locations 推导出来。

而本仓 skill 早写过:「同类缺陷反复出现 = 基元选错,换方案别修第 N 轮。」 我换了三轮方案,每轮都在同一个基元上打补丁。

⇒ Tony 说的「专门的表」就是那个正确的基元。

四、表设计

// base.ts 新增,DB version 6 → 7
const tblSearchCombo: ITable = {
  name: 'SearchCombo',
  columns: {
    id:          { primaryKey: true, autoIncrement: true, notNull: true },
    // 规范化后的组合键:`${category}|${location}|${countryCode}` —— 跨任务查就靠它
    comboKey:    { dataType: DATA_TYPE.String, enableSearch: true, notNull: true },
    category:    { dataType: DATA_TYPE.String, enableSearch: true },
    location:    { dataType: DATA_TYPE.String },
    countryCode: { dataType: DATA_TYPE.String },
    taskId:      { dataType: DATA_TYPE.String, enableSearch: true },
    // 'pending' | 'running' | 'done' | 'failed'
    status:      { dataType: DATA_TYPE.String, enableSearch: true },
    resultCount: { dataType: DATA_TYPE.Number, default: 0 },
    searchedAt:  { dataType: DATA_TYPE.Number, enableSearch: true },
  },
};

一张表同时解决六件事

# 现在的问题 表怎么解
1 MapTask 表达不了组合子集(SPEC-024 洞 1,矩形化 N²) 任务 = where {taskId} 的一组行,天然是子集
2 进度有两个分母(F4:task.total vs urls.length) count(done) / count(taskId),一个来源
3 keyword 是拼接串,匹配靠 includes 兜底(F10/F11/F19) 结构化字段精确查,不需要兜底
4 兜底命中不消费 map ⇒ 一条记录被多个组合重复认领(F20) 每行一个 id,不存在
5 5 万组合任务的 taskProgress 单 key 几 MB(chrome.storage) 搬进 IndexedDB,没这问题
6 跨任务查「这个组合搜过没有」——现在做不到 where {comboKey},一条查询

五、🔴 但「直接跳过」我仍然反对 —— 要带时间窗,且默认关

最强反方(也是我的立场):

「北京的餐厅」三个月前搜过,现在商家变了 —— 新开的、关门的、改了分类。 自动跳过 ⇒ 用户永远搜不到新增的商家。 地图采集的全部价值就在「最新」。

自动跳过会把一个采集工具变成只能用一次的工具。

但有了 searchedAt,「跳过」可以做成用户可控的:

☐ 跳过 [30] 天内已经搜过的组合
  • 默认关
  • 天数用户定
  • 🔴 这和 advParms 里的 deleteRepeat 是同一个心智 —— 用户已经懂这套开关

⇒ 跳过是一个可选的、带时间窗的开关,不是系统的默认行为。 事实(什么时候搜的、采到多少)给他,判断归他。

六、🔴 DB 三审(2026-09-21)—— 不可逆代价被整个消掉了

Tony 拍板走 B(组合表)之后,我把「DB version 6→7 不可逆」这一件事单独送了三审 (dshf·deepseek × mimo-pro·xiaomi × glm53·zai,任务书 body sha256 5df7e7bc3ded97f3)。

执行方 「能不能不 bump version」
dshf 能 —— 另开独立 IndexedDB 库(laifaxin-combos v1)。判 SPEC-025 原文的主库 bump 为 NO-GO(存在零不可逆等价方案)
glm53 能 —— chrome.storage 分片 KV(comboKey 做 key ⇒ O(1) 点查)
mimo-pro 不能

裁决:能避免,走独立库(不投票,回证据裁)

🔴 分歧的根源是我的任务书框定:我只列了 a(chrome.storage)/ b(复用现有表)/ c(jsstore 别的加表方式), 没列「另开一个库」。mimo 和 glm53 都在这个框里作答,只有 dshf 跳出来了。

⇒ 本仓 skill 那条又应验了:「找到真问题的那一家,往往是最不受框限的那一家。」

三路一致的两条(b / c 都不可行)

方案 为什么不行 证据
b 同版本加列 加得上、写得进、读得出,但永远无索引、永远不能进 where —— 而本方案的核心价值就是 where{comboKey} base.ts:129 注释 + docs/wiki/jsstore-add-column-mechanics.md
c jsstore 别的加表方式 createObjectStore 唯一发生在 onupgradeneeded(worker:601-606),而它只在 version 增加时触发;同版本 initDb 直接丢弃传入 schema 用缓存 jsstore worker 源码

独立库 vs 分片 KV —— 为什么选前者

独立 IndexedDB 库 chrome.storage 分片 KV
主库改动 / 不可逆 零 / 无 零 / 无
精确查重 where{comboKey} 索引 O(1) 点查(更快)
🔴 范围查询(列出某任务的全部组合) ✅ where{taskId} 🔴 get(null) + 前缀过滤,SW 内存尖峰(glm53 自承)
事务 ✅ ❌ combo key 与 per-task 索引双写有一致性缝
可销毁 ✅ 整库删掉 ✅

🔴 判据落在「范围查询」那一行:详情页的核心界面就是列出这个任务的所有组合, 分片 KV 在这里要全量拉 key 再前缀过滤 —— 这正是它自己承认的弱点。

🔴 独立库的代价比 dshf 说的还小(我实查)

dshf 提到「第二个 jsstore Connection = 多一个 worker」(base.ts:5-6 的注释确实这么警告)。 实查后这条不成立:

// node_modules/jsstore/dist/worker_injector
setup(r,e){ r.$worker = require("../jsstore.worker.commonjs2.min.js"); r.initQueryManager_() }

workerInjector 把 worker 代码内联成普通模块,不起真 Worker —— 否则 MV3 service worker 里根本跑不起来(MV3 SW 不支持 new Worker(),而 background 已经在用 jsstore)。

⇒ 多一个 Connection 只多一份运行时实例,没有额外线程。base.ts 那条是 jsstore 的通用警告, 用了 workerInjector 之后不适用。

🔴 三审还戳破了本 SPEC 的一条伪收益(dshf)

第四节「一张表解六件事」里的第 2 条(解决两个分母)是假的:

progress.total = urls.length(batch-controller.ts:268)与 MapTask.total = categories×locations (task-manager.ts:318,创建时写死)不一致 —— 要让两边相等只需建任务时把 total 写成 urls.length,一行,与组合表无关。

⇒ 我拿一个一行能修的问题给组合表记了功。该条从收益表里划掉。

迁移:不搬老数据(dshf 实查,我采纳)

taskProgress 的 keyword 是拼接串,而 分隔符与内容里的逗号同形 (parts.join(',+'),段内逗号不转义,cleanLocationSegment 只 trim 首尾) ⇒ 无可逆解析,拆不开。

⇒ 不搬。老 taskProgress 保留只读兜底(storage 字段只加不删)。 失败方向安全:历史缺失只会让用户多搜一次,而「跳过」开关默认关。 真要回填走重放(重跑 buildTaskUrls 生成 comboKey + norm() 归一匹配),放最后一阶段。

七、分阶段落地(dshf 给的 P0-P4,全路径无不可逆步)

阶段 内容 验收 回退
P0 独立库 laifaxin-combos v1 + SearchCombo 表 + CRUD 单测可验,主库 schema 零改动 删文件
P1 建任务时双写组合行(不改调度器、不改详情页) 表行数 ≡ buildTaskUrls 的 URL 数 停止双写
P2 详情页 / 进度改读表 与现有显示逐行一致 改回读 taskProgress
P3 where{comboKey} 跨任务查 + 「跳过 N 天内搜过的」开关(默认关) — 去掉开关
P4 重放式历史回填(幂等 + 断点续) — 不回填

🔴 调度器不改(dshf 问 4 的裁决):建任务时查表 → 生成 urls[] → 照旧 startBatch(taskId, urls)。 代价是 combo.status 与游标两套真相,靠双写(在 storePageOneData / paging 完成时回写)解决, 而不是去动 TaskState{urls, nextIndex} 的持久化格式、完成判据和翻页关联这三处。

八、对 SPEC-024 的影响 —— 两条路要 Tony 选

做法 代价
A 先做 SPEC-024(combos 字段),快;组合表以后再说 combos 字段将来会被表取代 ⇒ 现在写的判据和代码有一部分是一次性的
B 直接做组合表阶段 1 + 3,SPEC-024 的界面直接建在表上 慢;DB version 不可逆;调度器改动风险高

⚠️ 诚实地说:A 的「一次性代码」不算大(一个字段 + buildTaskUrls 一个分支), 但 B 的「DB version 不可逆」是真正不能回头的一步。

我倾向 A → 然后观察:SPEC-024 跑起来之后,看用户是不是真的需要跨任务查。 如果需要,再上组合表——那时 A 的代码被表取代,损失的是一个字段,不是一个架构。

九、这份 SPEC 自己的教训

上一版我写「配额是硬约束,建议缓做」——那个结论建立在一个我没核实的假设上 (以为要存进 chrome.storage)。

🔴 而 Tony 一句「数据表都可以好多万」就推翻了它。

教训:谈「存不下」之前,先查这个项目的东西存在哪。 我这几轮反复在「没查就担心」和「没查就乐观」之间摇摆,这是第三次。

九、登记项(四路审查提出,本刀不做)

  • 🔴 taskProgress 与组合表是两套「搜过什么」,谁也不退休(mimo-pro)—— 一个按 keyword 一个按 comboKey,永远不会同步; 未来任何只读其中一条的代码都会漏掉另一条的数据。 要么让 taskProgress 退休(详情页/进度全走表),要么明确写下「谁是真相」。
  • 组合表 v1→v2 之后,装回 v0.16.0~0.16.2 会 VersionError —— 补搜功能静默不可用,界面上没有任何提示(mimo-pro P2)
  • 「跳过最近搜过的」开关会从全局设置回显为后续任务的预选项, 而创建前没有「将跳过多少条」的预览(terra-dsh P2)—— 为一个任务开过的人,容易在另一个本想完整重采的任务里少搜
  • resume 后 nextIndex 归零会重跑已 done 的组合(dshf F3 / glm53 F6)—— 已有行为,去重兜住数据,浪费的是配额
  • persistTasks 现在把 40 万级的 combos 与 urls 双份序列化进 chrome.storage (glm53 F7)—— unlimitedStorage 保住了配额,但 SW 的 CPU/内存翻倍
  • 补搜建任务时不查 P3 的已搜集合(dshf F5)—— 方向安全(多搜),但不一致
  • task.total = categories.length × locations.length 未按 URL 去重 (glm53 R_LEFT,非本批引入)