⚙️ 任务调度¶
共享队列架构 — 多任务共用调度器、全局并发上限
⚙️ 本文件由
pnpm docs:rebuild自动生成 — 修改无效。
涉及文档(69 个)¶
🧭 产品使用文档(2)¶
- 数据外发清单 · stable
- 扩展会把哪些数据发往哪些服务器,以及每一项的用途与开关
- 这一批更新你会看到什么(v0.10.180 → 194) · stable
- 设置页重排、两个会误导你的提示被修掉、两个安全问题、导入导出
📐 架构 / 知识沉淀(6)¶
- 云端同步架构(SPEC-004 Phase 3 准备) · stable
- 为什么所有 sync-related 数据用 jsstore;4 类同步数据的 store 设计预览
- 扩展 reload 生命周期(MV3) · stable
- SW 重启 + chrome-extension tab 失效 + 双轨恢复机制全流程
- 整页 Markdown 管线 —— 从 HTML 到 PageMarkdown 表 · stable
- offscreen 转换 + 入库 + 淘汰 + 级联删的架构与三条硬约束
- 设置字段语义对照
- settings 全部字段的实际语义、对应源码、易混淆点 — 改 UI 前必查
- 共享队列架构
- v0.10.0 后的核心调度模型 — 多任务共用一个调度器、Tab/worker 是全局资源
- Tab 生命周期与看门狗
- 抓取 Tab 的创建/销毁完整流程 + v0.10.15 看门狗的兜底机制
🎯 功能规格(9)¶
- SPEC-000 — v2 UI 改版说明(v0.8.58 → v0.9.x → v0.10.x) · done
- 早期整体界面改版历史档案;dist/ 与 dist-v2/ 双轨阶段进度记录
- Watchdog 核弹重启后自动恢复(带上限保护) · done
- 核弹重启后默认自动 pumpTasks,避免无人值守场景必须手动点开始;加 cycle 上限防止无限循环
- 文档治理自动化(docs:check + docs:rebuild + _overview) · done
- 用脚本 enforcement 解决"INDEX 脱节 / 断链 / 重复信息"持续累积的问题
- SPEC-006 — task delete 时二选一 confirm 商家数据去留 · done
- controlTask('delete') 前弹 dialog 询问"是否一并删除该任务的 N 条商家数据" — 解决孤儿数据 UX
- 整页 Markdown 本地存储与上传契约 —— 给后端开发的接口需求 · in-progress
- 本地 PageMarkdown 表已落地;上传通道待后端,客户端只留接口面不接线
- 设置页重排 —— 按「用户来这里要干什么」排,不按字段属于哪个模块排 · done
- 七个结构性问题的诊断 + 三方案对比 + 分阶段落地;阶段一(安全网+四处搬迁)已完成
- 设置导入导出 —— 换机器还原配置 · done
- 导出不脱敏(与日志导出相反)、导入只认已知键+类型、覆盖前必须确认
- 集成 WhatsApp —— 扫码登录与凭据迁移的真实代价 · draft
- 三条技术路径、凭据迁移为什么最危险、封的是用户的号不是你的服务
- SPEC-024 照这个再建一个 —— 任务跑完之后的补充采集 · done
- 三审后改为在详情页按「组合」勾选再建任务;原「创建界面预填+按词标记」方案被推翻
🔧 已知问题 + 修复(35)¶
- 长时间运行后浏览器卡死 / 累积孤儿 Tab · fixed
- 插件运行时间长,会导致电脑卡死,页面没正常关闭,是不是要加上定期的检查?确保浏览器正常关闭,而不是打开一堆?
- 设置字段命名望文生义,与实际语义矛盾 · fixed
- 设置字段名暗示与实际语义矛盾,反复出现(已写成铁律)
- Watchdog 鲁棒性三连:并发触发 / nuke 不真关 tab / 计数残留 · fixed
- watchdog 鲁棒性三连:并发 / nuke 不真关 tab / 计数残留
- mailto 链接 URL 编码 body 污染邮箱字段 · fixed
- 邮箱正则把 mailto: 链接的 ?body=%xx 编码字符串当邮箱本地部分抓进来
- Google 验证拦截后用户感知 + 恢复体验差 · fixed
- 拦截已被检测+任务已暂停,但 UI 看不到状态、要逐个点继续、新开 maps tab 多余
- 拦截恢复机制在 SW 重启时丢失状态 + setTimeout 不可靠 · fixed
- verifyTabId/lastInterceptedAt 是 module-let 不持久化,setTimeout 在 SW kill 时丢
- watchdog 自动恢复 cooldown 用 setTimeout(SW kill 时丢失) · fixed
- v0.10.23/24 的自动恢复 cooldown setTimeout 在 SW kill 时丢,与 ISSUE-0026 同款
- doResumeFromInterception 只调 manageQueue 漏地图调度 · fixed
- 拦截恢复后地图任务不重新派 tab,纯地图任务自动恢复无效
- DataView 浪费 IndexedDB taskId 索引 + onMessage listener 无 cleanup · fixed
- 每 5s 拉全表再 JS filter(应 where 走索引)+ unmount 后 listener 残留 stale closure
- 第三轮 agent 找到 3 真 bug — watchdog 镜像 / 死 listener / 正则漂移 · fixed
- 第三轮独立 agent 验证收敛失败,3 个真问题
- 第四轮 agent 找到 ISSUE-0031 第 4 兄弟 + 2 个孤儿 listener · fixed
- 同函数内 3/4 分支补了 pumpAllSchedulers 漏第 4 个 catch 兜底;2 个 dead listener 工具盲区漏检
- 「去创建任务」按钮点击无反应 — storage API 混用 · fixed
- 按钮用 browser.storage.local.set 原生 API,watcher 用 wxt/storage 抽象,key 不同步
- 第 8 轮 agent — scan 工具盲区暴露 4 个新 bug + 扩 3 类新规则 · fixed
- scan:error-handling 只扫 promise chain 一级形态,try/catch + .finally(resolve) + 裸 sendMessage 三类完全在盲区
- 商家列表 chip count 截断 50k + 加载慢(22w 数据时) · fixed
- 22w 数据 chip "全部" 显示 50k;merchant-stats 每 10s select 50k 行
- 商家列表打开卡顿 — rows polling 5s + create_time sort 双重 IndexedDB 压力 · fixed
- merchant tab 比 website/email/phone 多跑 server-pagination + 22w sort 双 IndexedDB transaction,B+C 方案优化
- dynamic-scraper.ts tabStatus/tabError Map 加 onRemoved 兜底清理 · fixed
- v0.10.44 raw 待办收口 — webRequest 监听 all_urls 写 Map 无 tab.onRemoved 清理;4 行代码修
- SPEC-006 cascade 删命中 ISSUE-0008 历史回归 — where:taskId 老 DB 给 0 行 · fixed
- 勾选「跳过无邮箱商家」导致地图抓取 100% 不入库 · fixed
- 过滤器判断了尚未产生的 emails 字段,条件恒真,整批数据静默丢弃
- .gitignore 的裸 Icon 规则误伤 src/public/icon,任何 clone 都编译不过 · fixed
- macOS Finder 残留规则匹配到任意层级同名目录,被 5 处生产代码引用的 128.png 从未进 git
- offscreen 文档被并发误杀 —— 一个慢页面连坐打掉所有在飞转换 · fixed
- 共享单例文档上 !result.ok 一律 closeDocument,级联把别人的转换也打死
- 上传出口零内容闸(第七次同形状)+ 首版修法在读函数里删数据 · fixed
- 闸挂在本地库进出口而非数据离开本机的边界;首版修法引入不可逆删除被双路对抗审拦下
- 「点了没反应」的四个残留实例 —— 前置条件为假时静默落空 · fixed
- isDbReady / isAnyUiActive / heartbeat 抽干 / 连续失败熔断,四条都无行级提示
- 底层吞成返回值、上层用 try/catch 等异常 —— 加了 catch 反而以为处理了 · fixed
- jsstore/base.ts 吞型 4 个抛型 5 个混用;地图第 1 页入库失败时进度虚增且零痕迹
- 设置页四处误导性文案 —— 用户照着做会删掉自己要的数据 · fixed
- 校验话术望文生义、过滤门槛没说无值也删、加分与过滤同名、预设静默改深度
- maxConcurrentTasks 四处兜底两个值 —— 调度器与批控制器对并发上限理解差一倍 · fixed
- 设置读不到时 task-manager 兜底 1、batch-controller 兜底 2,同一时刻两套认知
- 全新用户首屏被告知「自定义配置」—— 默认值与推荐档差一个字段 · fixed
- DefaultSettings 与 balanced 预设 12 个字段差 1 个,matchPreset 要求全等故判 custom
- web_accessible_resources 的 *.js 把整个后台脚本开放给了任意网页 · fixed
- 根目录只有 injected.js 和 background.js,通配把后者也暴露;顺带关掉制造几十条警告的 modulepreload
- 「采样提示」在任何采集进行时都误报 —— truncated 量的是状态差不是截断 · fixed
- scrape_status 四态而窗口只装两态,total 减不平就被当成采样截断;129 条数据也弹 10 万条采样提示
- 断言体检 —— 三种绕过让一批断言在功能已坏时全绿 · fixed
- 块注释藏关键词 / 只留 import 不调用 / 括号绕过字面量正则;codeOnly 四份拷贝收归一处
- 一个死参数让 wiki 说了十几个版本的错话 · fixed
- startBatch 第三参从未使用,却让 requestConcurrency 被「读了就扔」—— 而 wiki 一直写「不再读」
- 设置页解释文字收进 ❓ —— 以及「藏警告」这个新风险面 · fixed
- 46 处 helperText 转 tooltip 后 1652 条测试一条没红,因为闸量的是串在不在
- 走组合表时仍白算全量 combos —— 「卡」的第四次复发,以及为它建的机器闸 · fixed
- 勾选卡/删除报失败/按钮太 low 三件事,根因一条:过滤条件留在了错误的一侧
- 创建任务卡 5 分钟 —— 41 万行组合写库跑在响应路径上,且在 keep-alive 保护之外 · fixed
- 美国城市级 × 14 关键词 = 414,316 组合,单次 insert ≈296 秒,期间 SW 可能被回收
- 任务还在跑时「净增商家」恒为 0,而界面告诉用户「多半是之前采过了」 · fixed
- resultCount 只在 onBatchDone 写一次;跑不完就永远是 0,而解释文案在这种场景下是假的
- 任务跑完就不能继续——补搜只能新建任务,理由是一段已被自己推翻的过期注释 · fixed
- 「数组下标游标会乱」在组合表落地后就不成立了,但注释和实现都留在原地
📋 工作流规则(9)¶
- 备份与开发日志
- 改代码前必做的备份 + 全程开发日志记录规范
- Rule — 修 bug 必走全字典扫描(防补丁不彻底家族) · stable
- 每修一个 ISSUE 后必扫所有同模式 — 防止"修了触发点,漏了姊妹
- Rule — 独立 agent 审查(消除作者 anchor bias) · stable
- 关键代码必须由没参与原始实现的独立 agent 复核
- Rule — MV3 持久化陷阱清单(每次 background 改动跑一遍) · stable
- setTimeout / module-let / SW kill 等 MV3 通用陷阱的自查清单
- AI 编队审查席位矩阵与 commit 闸 · stable
- 写手/审查/终裁/勘验的席位表、刀级组合、Review-Seats 回执闸 —— 派活制的执行单一源
- 抓取 pipeline 决策表 / mstage 标签速查 · stable
- SPEC-004 多阶段抓取 — 每种 mstage 标签的含义、UI 颜色、DB 行为速查;改 UI 或逻辑前必看
- 改设置项 / UI 文案 — 前置自查
- 改 settings 字段或调度相关 label/helper 前的必做检查
- 版本发布铁律 — 项目版本更新总规范 · stable
- 改设置页/调度逻辑/文案前必读;第七章 MV3 持久化陷阱 16 条铁律
- 中文标点 → Edit 工具兜底方案
- 含中文标点的旧 JSX/TS 改不动时,用 Python 切片替换
🗒️ 原始素材(8)¶
- 反馈 — 地图实开 (265) 比 地图请求 (249) 还多,反直觉 · processed
- settings 里讲"实开 1 → 后台翻 14 页",但日志显示实开 > 请求
- 系统性盲区 — 前端 React lifecycle 一直没人查 · spec-ed
- 本会话 14 个 issue 0 个针对 useEffect cleanup / unmount race / setState-on-unmounted
- 反馈 — Google /sorry/index 验证拦截交互不到位 · spec-ed
- 已检测+暂停但 UI 无横幅、无 toast、要逐个点继续、又开新 tab
- 反馈 — 邮箱列表出现 168 字符的怪邮箱 · spec-ed
- mailto 链接的 URL 编码 body 被当成邮箱本地部分抓进来
- task delete 不删 MapTaskData 行 — 设计 vs bug 待确认 · spec-ed
- controlTask('delete') 只删 task store + progress,不删该 taskId 的商家数据行
- 反馈 — Watchdog 重启后希望自动继续,而不要手动点开始 · spec-ed
- 系统通知截图后,用户报告自动暂停的任务需要手动点开始才能恢复
- 42 万商家库打开插件与下拉交互全卡 · spec-ed
- Tony 实测 42w 商家:打开插件很卡、浏览器点下拉都卡(主线程阻塞级)——大库性能家族第五案
- 数据量增长存储架构方向——云边采边传 vs 纯本地优化 · reviewed
- Tony 三问:数据多了会不会卡 / 边采边传本地只留一部分是否更好 / 纯本地有什么更好方案——基于 42w 定案与三条云通道现状的对抗分析(glm-flash 对抗审修订版)
给 AI / 新协作者的建议阅读顺序¶
- 先看 product(核对当前用户路径和限制)
- 再读 wiki(了解架构)
- 再读 specs(了解需求 / 设计决策)
- 遇到 bug 查 issues(避免重蹈覆辙)
- 追溯起源看 raw(用户原话)