跳转至

数据量增长存储架构方向——云边采边传 vs 纯本地优化

原话

数据多的时候,用户电脑会不会很卡 如果边采集边上传,本地仅仅保留一部分 是不是更好点,如果纯本地,有什么更好方案,也不会导致采集数据多了以后会很卡?帮我对抗分析完善

现状事实底座(2026-10-03 读源码核实,基线 9fe2273;glm-flash 席逐条复核)

存储分层

  • 主库 laifaxin(IndexedDB / jsstore):MapTaskData(商家行,42w 实测在库,自增 id + googleId 去重键 + sync 标记位)、PageMarkdown(整页正文,3 万页条数上限 + 771MB 明文上限,LRU 淘汰记系统日志,page-markdown-store.ts:24-25,100-125)、DomainStats/ContactPool/CloudDomainState/ContributionLedger/FetchSnapshots。
  • 组合库:SearchCombo/TaskRollup(combo-db.ts,独立 IndexedDB、版本隔离,不受主库治理影响)。
  • 🔴 jsstore 的「worker」是内联 worker 注入(combo-db.ts:14-20;MV3 SW 里跑主线程,page-markdown-store.ts:12-13 自述先例)——所有 jsstore 查询/写入的 CPU 成本落在单一主线程事件循环上。这是「数据多了卡」的物理底座。

42w 卡顿修复进度(较 10-02 定案的更新)

  • 已落(HEAD 9fe2273):DataBar 降频 30s + 主动操作即时刷新 + 孤儿扫描按需化。
  • 在途(工作区未提交,主控经 git show 独立核实归属):DataBar 两窗换原生索引倒序游标(data-counts.ts 工作区版 +291 行,42w 实测两窗 2347ms→847ms,边走边聚合不整行收集;原生 IDB 异常自动 fallback 旧查询,红线「顶部必须有数」守住;配套 42w-baseline.md P1 节实测)。
  • 未修的存量大头:派生三窗快照仍是 order+limit 全子集扫(fetch-rows-snapshot.ts:89-99,M1 同款,150k 行 ≈ 53-107MB/轮口径);事件 dirty-bit 合并、count 共享 scheduler 未做;42w-baseline.md 已把「列裁剪/专用去重聚合表」归 P2 账本。

三条云通道(「要不要上云」已是既成事实,问题是上了多少、什么形态)

  1. 云端同步(商家行镜像)——已上线、VIP 付费功能:侧栏开关(main-layout.tsx:430,常驻渲染),登录+mapVipValid 才能开;开时每 10s 取 sync:0 的 100 行(非 VIP 10 行)→ 白名单投影(cloud-egress.ts,全部业务列含 emails/socials,本地调度字段默认挡住)→ POST /api/ext/search/data-sync(ggdt.laifaxin.com)→ 服务端回执 ids → sync:1 标记(search-data.ts:53-55)。传完从不删本地行——云是镜像不是主存。云端查看入口 web.laifaxin.com/clouds/google-map。
  2. sync 列有索引(base.ts:114-118 enableSearch:true),批查询本身便宜;争抢在共享连接与主线程排队,不在查询(M5)。
  3. 取批无 order,取哪 100 行未定义——重试正确性完全依赖服务端 googleId 幂等。
  4. 来发信数据池(contact 合作社,SPEC-004)——服务端未上线、默认关:ContactPool 30s/批 200、DomainState 5min、Ledger 60s,换贡献积分;认证/退避/幂等/增量拉取骨架齐全(cloud-sync-orchestrator.ts)。
  5. AI 配置同步(0226,账号配置类,与数据无关)。

上传通道现状的三个洞(若要走「边采边传」必先补)

  • 只在侧栏开着时跑:CloudDataSync 挂 main-layout,面板一关上传即停——真「边采边传」需要挪 SW/alarms 常驻。
  • 采集期读写争抢且躲不开主线程:上传批的 IDB 往返与采集写吞吐共享单条 jsstore 连接与主线程事件循环(0216 家族队列拥塞);🔴 挪进 SW 也逃不掉——SW 里的 jsstore 同样主线程跑(内联 worker 注入),只是换了事件循环不换物理瓶颈。
  • 存量排干慢(修订口径):10s×100 行 = 3.6w 行/小时,42w 存量理论 ~11.7 小时排干;非 VIP 10 行/10s = 3600 行/h,~4.9 天。失败/断网积压无上限、无补偿机制。「存量搬家上云」按现吞吐是天级工程,任何云归档方案都必须先重设计批量/并发/断点。

导出现状(对抗审补漏,拍板前必知)

本地导出「全部」实际只出最新 5 万行 CSV(api/search.ts:57 HAS_EMAIL_SCAN_LIMIT=50_000;:446-461 超 cap 截断后 exportAsCsvFile)——42w 库导「全部」静默丢 37w 行。这意味着:①「大导出」确实是云的真实优势,但本地现状已经在丢数据(用户未必知道);②冷热分表/云归档后「导出范围」口径(热表/热+冷/云端)必须显式设计,否则「导出悄悄少数据」升级为客诉。

第一问:数据多了会不会卡?

会,且已经实证(42w 第五案)——但根因定性决定答案方向:存储层无罪,消费层全量模式有罪。

  • 当前状态:DataBar 已换游标(847ms/轮量级)、孤儿扫描已按需化;存量最大的坑是派生三窗快照——website/email/phone 派生 tab 打开 = 150k 行全量重算 + 主线程逐行 sanitize,这是 P2 的活。
  • 量级推演(带条件):若派生/遍历场景全部按需化+增量索引(P2 账本)落地,本地架构可扛百万行级——依据 42w-baseline.md 实测外推(distinct 全表 4235ms/42w → 100w 约 10s,且依赖「按需触发」前提);再往上会遇到二阶墙:任何全量遍历(导出、快速模式、备份)线性变慢、库体积膨胀、IndexedDB 损坏的恢复半径是全库。注意这是条件外推不是实测承诺(L6)。
  • 结论:「数据多了卡」是消费层欠账,不是本地路线的死刑。且这刀躲不掉——无论未来上不上云,本地消费层都必须修(云方案里本地也是采集缓冲区,缓冲区膨胀照样卡)。

第二问:边采边传、本地只留一部分,是不是更好?

先破三个隐含误解

  1. 上传 ≠ 不卡。卡的根因是消费层全量模式 + 主线程单事件循环。如果上传后本地仍要全量查询/统计/派生(只是数据改从云拉),是把「本地全量扫」换成「网络全量拉」,更慢。云方案的性能前提是上传后本地不再承担全量查询职责——本地只当采集缓冲区+瘦客户端,查询/统计/派生全在服务端。那是厚客户端→瘦客户端的架构换代,不是加一个上传按钮。
  2. 这不是新功能,是已有功能的延伸决策。云端同步已上线(VIP),缺的只是「传后本地清理」一步。真实问题是:要不要把『云镜像』升级成『云主存 + 本地工作集』——这是产品形态决策,不是技术补丁。
  3. 「本地只留一部分」不依赖云端。冷热分表/本地归档(见第三问)就能实现活跃库恒小,零云端依赖。

利(真实收益)

  • 本地活跃库恒小 → 消费层压力有天花板(前提仍是消费层已修)。
  • 数据安全:现状「清浏览器数据/换机 = 采集成果全丢」是真实产品风险;云端有历史库则可找回。
  • 服务端能做 IndexedDB 的弱项:distinct 精确统计、全文检索、跨任务联合查询、完整大导出(本地现状已截 5w,见导出现状)。
  • 商业钩子:云存历史+跨设备 = VIP 续费理由,与现有付费模式自然衔接。

弊(对抗位)

  1. 信任与合规成本前置。data-egress.md 是对客户的承诺文档,现状口径是「镜像、可关、仅 VIP 开」;升级成「主存」后语义反转:不开云的用户历史数据只能留工作集?非 VIP 用户怎么办——要么逼上云(口碑风险),要么双轨维护(复杂度翻倍)。数据集中存自家服务器 = 集中靶子(平台方法务、泄露事故半径);VIP 镜像虽已开口子,但「可关的镜像」与「不可回退的主存」风险量级不同。
  2. 上传通道三洞未补 + 吞吐天级(见现状底座):侧栏常驻依赖、主线程争抢躲不掉、42w 排干 ~11.7h(VIP)/4.9 天(非 VIP)。「边采边传」在补洞前上马,最可能的直接后果是采集本身变卡——用性能方案制造新性能问题。
  3. 删本地的连锁反应(红线清单):
  4. googleId 去重依赖本地行(插入循环内逐行 count,search-data.ts:403-407,705-707):已上行行被删 → 重采同商家被当新行再插 → 云端靠 googleId 幂等扛,但本地计数虚胖、云端重复上行;
  5. 派生三窗/任务统计/数据条全建立在本地行上:删行 = 历史任务列表显示缩水,用户感知「我的数据丢了」(哪怕云端都有)——0215 红线(顶部有数/派生出数/筛选可用)需要重新定义口径;
  6. 删除是破坏性操作:自动删需要显式 consent + 保留窗口 + 撤销期,「自动清理」和「用户手动删」的产品语义完全不同;
  7. 导出/备份路径要新增「从云端拉回」能力(数据 egress 对等义务)。
  8. 半同步态 UI 复杂度:未传/已传未删/已传已删/仅云端四态 × 列表/统计/导出/筛选全矩阵,回归面全仓级。🔴 归档制同样有这个复杂度,只是粒度从行级变任务级(未归档/已归档未上传/已归档已上传/仅云端在任务维度同样出现)——不是同步制独有的税(L5,修正草稿双标)。
  9. 离线倒退:采集场景常见弱网;断网 = 本地缓冲膨胀(回到大库问题)+ 恢复后追传风暴。
  10. 多设备合并语义:googleId 幂等云端能扛;本地 id 映射、回流合并、跨设备任务视图需要定义。

瘦客户端工程量拆解(对抗审要求摊开,不再裸断言「大」)

数据层读写路径至少六条要动:data-view(server 分页查询)、local-data-view(快速模式快照)、merchant-stats/派生三窗、task-store(任务统计)、导出链、删除/清空链——外加服务端查询接口族(distinct/联查/导出)与四态 UI。对比之下「归档制」复用现有云端同步通道 + 任务级状态位,工程量确实低一档,但不是「零成本」(L1/L4)。

第二问结论

方向上有真实收益(数据安全 + 完整导出 + 商业钩子),但「实时同步 + 自动删本地」形态的工程量与风险都被低估。正确形态是归档制,不是同步制:

任务完结 → 提示归档(显式 consent)→ 整批上传确认 → 保留窗口(如 7 天)后清理本地 → 云端是历史库,本地是工作集。

🔴 归档制「避开采集期争抢」不是固有属性而是硬前提(L1):搬行与上传都是大量 IDB 往返,必须「任务完结、采集空闲时 + 限速分批」执行,且按修订吞吐(3.6w/h)一次归档数万行要跑数十分钟到小时级——归档期间要有进度与可中断续传设计。

第三问:纯本地有什么更好方案?

核心论点:消费层修复(P2 账本)是两条路线的共同前置——云方案里本地也是缓冲区。纯本地优化不是备选方案,是基本盘。分层:

  1. P2 前置项(已排队):事件 dirty-bit 合并、count 共享 scheduler、派生三窗增量索引(替代 150k 快照全量重算)——当前存量最大头。
  2. 冷热分表(本分析新增建议,影响面如实摊开):同库新增 MapTaskDataArchive(列裁剪版,googleId 索引必须保留),任务完结或用户手动触发时热表 → 归档表搬行(限速分批、空闲期执行)。收益:主表恒小 → DataBar/派生/筛选/快速模式全部受益。 🔴 影响面不是「表名路由一刀」(L2/L3 修正):
  3. 「全部数据」默认视图是全任务混排——跨热/冷边界的深分页、order id desc 归并、total 两表相加都要重写;要么默认视图改「仅活跃任务」(产品语义变化,需拍板),要么跨表查询层全做;
  4. countByTaskId/countAllByTaskIds 只数热表(search-data.ts:182-221,261-293)→ 归档任务计数归 0,任务卡与 0215 红线受损;且 TaskRollup.ingestedRows(combo-db.ts:301-323)与热表 count 会成为两个不同源的任务行数,详情页与数据页数字打架——跨表 count 口径必须统一设计;
  5. googleId 去重二选一:只查热表(归档行重采 = 重复+云端重复上行)或查两表(每行插入去重成本翻倍,归档表必须有 googleId 索引);
  6. 快速模式阈值行为跳变:QUICK_MODE_AUTO_SERVER_THRESHOLD=50k 的判定输入是热表 count(data-view.tsx:538-547)→ 分表把大库变「小库」,商家 tab 自动从 server 分页切回客户端快照模式;local-data-view 的「老数据没算进来」banner 语义与「已归档」打架,文案要重定义(M2);
  7. 删除/清空/删任务三条级联链 ×2(M4):归档行、归档行的 PageMarkdown 删不删,先收 googleId 再删的链路(search-data.ts:120-138)要覆盖归档表。
  8. 利好补充(M3):组合库独立于主库,任务完成度/组合明细在归档后完好;但 combosOfTask 无上限整拉(combo-db.ts:246-251)在几十万组合任务上仍是启动尖峰,属同族残余另记。
  9. 统计层增量聚合:counter 表写入时维护每任务/全局 count(顶部数字 O(1) 读);distinct 数用估算口径(P0 已定「估算」基调,HyperLogLog 或分桶集合可选)。
  10. 容量仪表(M6 修正):设置页显示热表行数 + 主库体积 + PageMarkdown 体积三项分开(771MB 明文上限不受分表影响,「活跃 20w 行」绿灯时本地照样可能 700MB+);超阈值提示归档/清理——把「快卡了」变成用户可见可行动。
  11. PageMarkdown 治理已达标:3 万页 + 771MB 双上限已钉(代码核实有淘汰逻辑且被调用),不动。

总结论与拍板建议

维度 纯本地(P2+冷热分表) 云边采边传(实时同步+自动删) 云归档制(任务完结上传+保留窗口)
解决「卡」 ✅ 对症(消费层根因) ❌ 不对症,还添采集期主线程争抢 ⭕ 间接(活跃库变小,仍需消费层修复)
数据安全 ❌ 清库即丢 ✅ ✅
完整导出(>5w) ❌ 现状截 5w,需另修 ✅ ✅(云端拉)
工程量 中(P2 已排队 + 冷热分表中等刀:跨表查询/计数/去重/级联五处) 大(六条数据路径 + 服务端接口族 + 四态 UI + 三洞 + 吞吐重设计) 中偏大(复用通道 + 三洞 + 限速分批 + 任务级四态)
风险 中(默认视图语义/计数口径需拍板) 高(信任/合规/破坏性操作自动化/天级吞吐) 中(consent+可回退可控,但归档期主线程占用要限速设计)

建议拍板序列: 1. P2 账本先行(派生三窗增量索引 = 存量最大头;dirty-bit/count scheduler 随行); 2. 冷热分表归档(新刀:本地「只留一部分」的零云端实现;上刀前必须先拍「全部数据」默认视图语义 + 跨表计数口径两个产品决定); 3. 导出 5w 截断明示或修复(独立小刀:至少 UI 明示「仅最新 5 万行」,消除静默丢数据); 4. 云归档上传(产品决策后:复用云端同步通道,补三洞——挪 SW 常驻、采集 idle 错峰、批量/断点重设计;吞吐按 3.6w/h 现实规划)。

明确不推荐:「边采边传实时同步 + 自动删本地」——采集期主线程争抢 + 破坏性操作自动化 + 行级半同步态 UI 复杂度 + 天级排干吞吐四坑叠加,且不解决根因(消费层全量模式)。

对抗审查记录

草稿 v1 经 shencha 席(glm-flash,REV-20261003-storage-arch-draft,GO-WITH-WARNINGS)逐条攻击:F1 吞吐算术 10 倍错误(36w→3.6w 行/h,已按修订口径改写全文);F2 DataBar P1 进度更新(审查席读的是工作区——主控后经 git show 9fe2273 独立钉死:游标重写属在途未提交改动,非 9fe2273 内容,进度段已按归属修正);F3 88-160MB 改 53-107MB 修订口径;F4 jsstore 内联 worker 主线程机制补入底座;L1-L6(归档争抢前提/冷热分表影响面/去重二选一/工程量拆解/四态双标/百万行条件外推)与 M1-M6(导出 5w 截断/快速模式跳变/组合库正反面/级联 ×2/sync 索引/markdown 体积仪表)全部并入对应段落。


二轮(2026-10-03):Tony 拍板纯本地 + 分页/ID 加载追问

原话

为什么会截断 我希望先处理本地,优化的不卡顿,另外可以类似分页或者分片之类的加载方式?只加载第一页,后边的在后台慢慢加载,或者是只加载 id,查看对应页面才加载对应的数据?会影响搜索吗?结合以上输出完整的建议,云端同步策略可以缓缓,另外等我确认后,给我完整建议代码块,你开始对抗分析完善吧

拍板记录

  • 先本地优化到不卡顿;云端同步策略放缓。(冷热分表/容量仪表随之后置,见 L5)
  • 本轮只出建议不出代码;Tony 确认顺序后下一轮出完整代码块。

一、为什么导出会截断(根因链)

截断不是「数据拿不到」,是「先把全部命中行一次性装进内存再导出」这条路径的内存保险丝。三层因果:

  1. v0.10.27 ISSUE-0018:hasEmailOnly(只要邮箱 chip)是 JS 后过滤——emails 是数组列,DB 层查不了 array.length>0,必须把行拉进 JS 才能判断 → 定了 50k 扫描窗口 + banner 提示「仅显示前 5w」。
  2. v0.10.76 ISSUE-0056 #2:导出路径复用同一批 helper——用户全选 22w 导出时 getListByQuery(query, 1, 220000) 单次 select 会把 22w 整行同时拉进内存 → 加 cap = min(selectTotal, 50_000)(api/search.ts:454)。
  3. exportAsCsvFile 是一次性物化设计(utils/export.ts:33-50):整表逐行 csvValues += 拼成一个巨字符串 → 一次性 new Blob → saveAs。就算 select 能拉 42w,这一步也会把内存再翻一倍。

⇒ 根治 = 流式化:键集分批拉行(2-5k/批)→ 每批拼 CSV 片段 → Blob 分片数组落盘;hasEmailOnly 在流里逐行判断(精确总数,无窗口语义)。内存峰值 ≈ 单批 + 片段数组,与总量无关。详见 L3。

二、现状加载架构盘点(判断「分页可不可行」的前提)

数据页是双模式,都不完美:

路径 现状 42w 下的病
server 模式(>50k 自动切) 已经是分页:apiLocalDataList(page, pageSize) → getListByQuery skip/limit + countByQuery(use-data-source.ts:98-149) 每翻一页/每次搜索 = jsstore order 全子集收集再排序切片(M1 家族)+ count 全扫——秒级/次
client 快速模式(≤50k 自动/手选) 三窗 50k×3 整行快照常驻 + JS 过滤排序分页 交互快但内存重(150k 行 / 53-107MB 上限口径)
派生 tab(website/email/phone) 无论模式都拉整快照 + 三个 useMemo 全量派生 + 快速过滤全扫 同上,且 tab 切换即全量重算
关键词搜索 substring 语义;IndexedDB 没有 LIKE/全文索引,jsstore regex 必然全表扫(query.ts:261-280,name/domain/category 三字段 regex);防抖仅 100ms(use-data-source.ts:100) 搜索是当前大库最贵的单操作:每次落键 = regex 全扫(order 子集收集是大头,3.4s 级)+ count 全扫(332ms 实测,小头)
派生快照重算频率 派生 tab 打开时 30s 轮询且每条 maps-data-updated 都立即重拉(rows-snapshot-poll-scheduler.ts:3 + data-view.tsx:562-570) 采集期每次入库 = 150k 三窗重拉 + sanitize 常驻——比「tab 切换即重算」更凶(二轮对抗审 M2 修正)
导出 一次性拉 + 一次性拼 50k 截断(见上)

结论:你问的「分页/id-only」不是从零新建——server 分页已存在,要做的是把每页查询从 O(全子集) 降到 O(页宽);把整行快照换成按需聚合。

三、三种加载模式对抗分析

A. 分页加载(先第一页,后台慢慢加载其余)

  • ✅ 对的一半:首屏只拉第一页 = server 模式已有;正解是把每页查询游标化(见 L1)。游标有两种形态,成本结构不同(二轮对抗审 F3 修正):
  • 偏移游标(openCursor(null,'prev') + advance(页宽×(页码-1))):跳过的位置不物化行,但每页都从最新端重推 O(offset) 步——第 400 页(页宽 100)= 4 万步。省掉的是 M1 的整子集物化,深页步数仍与偏移同阶。兼容「跳到第 N 页」控件。
  • 真键集(IDBKeyRange.upperBound(上一页末 id) + 'prev' + 页宽步):下一页/上一页恒 O(页宽),但只支持连续翻页,不支持随机跳页。
  • 推荐混合:连续翻页(绝大多数交互)走真键集,随机跳页走偏移游标——两者同住一个 query 层,DataBar P1 同款 'prev' 游标技术已实证(42w 两窗含物化 847ms;纯翻页只物化一页,预期毫秒级)。
  • ❌ 错的一半:「后台慢慢加载全部」= 把 client 快照的内存问题原样请回来(150k 整行常驻)。后台预取只该做浅预取(下一页/下几页的页级 LRU 缓存),不是全量。

B. 只加载 id、查看对应页面才加载详情

  • 主表默认视图:不推荐做主路径——键集分页后每页本来就只取 pageSize 整行,id-only 反而多一跳往返,没有收益。
  • 派生 tab:这是正确方向,但正解形态是「游标聚合出轻量派生实体列表 (key, count, 样例 id 集) + 点开按 id 批量取样例行」——派生 tab 从来不需要整行快照(见 L2)。
  • ⚠️ 裸 getAllKeys 不免费:42w keys 实测 3.3s(42w-baseline.md ⑤)——任何「只拿 id」方案必须配脏位缓存(数据变更后只做增量重算),否则每次打开 = 3.3s 起。

C. 会影响搜索吗

  • 分页/键集化:不影响搜索语义,也不改善搜索——keyword 搜索与分页正交。
  • ID-only:若搜索落在 id 列表上 = 无字段可搜,必须配轻量投影(name/domain/category 等搜索字段的内存副本),42w × 3-5 短字段 ≈ 20-40MB 常驻——可行但非零成本(见 L4)。
  • 物理限制:IndexedDB 无 LIKE/FTS,substring 搜索要么每次全扫(现状,大库秒级/落键)、要么常驻轻量索引内存搜(L4)、要么服务端搜(已放缓)。
  • 一句话:搜索不会被分页/ID-only 伤害;但搜索自己是下一个要修的大头,修法在 L4。

四、完整建议:本地优化五层方案(L1→L3 为本轮核心刀;已按二轮对抗审 F1/F3/L1/L2/L5 修正)

L0(已在途,勿重做):DataBar 游标化——另一会话 ISSUE-0227 P1 在途(工作区未提交),两窗 2347→847ms。⚠️ 解耦要求(L9):原生 IDB 连接/游标骨架应随 P1 抽成共享 util 落提交,否则 P1 回滚会连带抽走 L1 的先例代码。

L1 主表分页查询游标化(核心刀一)——「先处理本地不卡顿」的头刀: - getListByQuery 默认排序路径(id desc)换原生 IDB 主键游标,混合形态:连续翻页 = 真键集(upperBound(上页末 id) + 'prev' + 页宽步,O(页宽));随机跳页 = 偏移游标(advance 跳位不物化行,省掉 M1 整子集物化)。带等值 where(taskId/scrape_status,均有索引)走对应索引游标。 - 🔴 覆盖面声明(L1 漏洞修正):O(页宽) 只对「无筛选/等值筛选 + id desc」成立。三个仍走 jsstore 的口子要有预期:①非默认真实列排序(create_time/rating desc)——两列都有索引,可顺手游标化(便宜的补刀);②视图筛选大量落 regex(notNull/include/exclude/regexp,query.ts:40,59,72,134)游标求值不了,内置视图(如 has-email 的 notNull)继续 fallback = M1 照旧,直到 L4 投影接管;③computed 列排序(quality 等)保留现有 JS 窗口排序。 - count 分家:全表 count 实测仅 332ms(小头,F4 修正),真正的收益在筛选态 count 不再每翻一页同步跑:全量/按任务 count 走增量计数器 O(1) 读;筛选态 count 异步(先出数据后出总数)。 - 🔴 计数器维护面如实摊开(L2 修正):写/删路径 ≥6 处(addSearchData 三个调用点、deleteByQuery、clearSearchData、finalizeRows 删行、task-manager.ts:869 直接 removeByQuery 绕过包装、runDataCleanup);insertMany upsert 语义下插/改不可区分;SW 与 sidepanel 双连接并发自增会丢更新 ⇒ 计数器必须与行写同事务,而 jsstore 不暴露事务——计数器大概率要原生 IDB 实现并挂在 base 层写删 helper 里,不是各业务点各加一行。这是 L1 工程量的大头,先想清楚再动。 - 翻页漂移(L3 修正):每页独立事务,采集写入发生在翻页间隙时 id desc 序整体位移 → 页边界重复/漏行。需显式决策:接受漂移(最新优先场景通常可接受)或冻结起始 id 水位(会话级)。 - 失败 fallback 回 jsstore 查询(红线同款:列表必须出数);复用在途 P1 的「原生只读连接与 jsstore 写并发共存」先例。

L2 派生三窗改游标聚合 + 脏位缓存(核心刀二): - 🔴 立项前置决策题(L4 修正,必须先拍):现状派生 tab 是平铺 DataGrid,每行带代表行字段——website 按 score 选代表、email/phone 首遇保留、拼接顺序改变会静默改变显示内容(fetch-rows-snapshot.ts:101-114 明文警告),还有损坏邮箱过滤、手机归一合并、statusFilter 联动。(key,count,sampleIds) 轻量三元组装不下这些语义。三选一:①聚合体内嵌代表字段(结构变重);②sampleIds 全量回表选代表(二次扫,但配游标可增量);③改派生 tab 显示形态(产品决策)。不拍这个,L2 动不了。 - 🔴 打脏点必须下沉(L5 修正):maps-data-updated 只有采集入库一处发(batch-controller.ts:771);用户删除/清空/删任务级联/deleteNoEmail 都不发。按事件打脏 = 「删了还在」。脏位要挂在 base 层写删 helper 里(与计数器同一层),不是订阅事件。 - 收益叙事修正(M2):现状派生 tab 打开时 30s 轮询 + 每条入库事件立即重拉 150k 三窗——采集期常驻重算。L2 收益比「tab 切换重算」的表述更大。 - 红线(0215):派生列表必须能出数——聚合失败 fallback 旧快照路径。

L3 导出流式化(核心刀三,解 50k 截断): - 🔴 内存口径修正(F1):分批拼 CSV 片段 + new Blob(parts) 的峰值 ≈ 1×CSV 总量(42w×800B ≈ 300MB 级字符串驻留到 saveAs),不是「与总量无关」——真实收益是消除现状 csvValues += 的二次方重复拷贝(现状峰值 ≈ 2×)。要真·常量内存需 File System Access 流式写盘(sidepanel 可用性未验证,上 L3 前先 spike 一次)。分级交付:①分批 Blob(简单,峰值 1×,42w 可用);②FS Access 流式(内存有界,百万行才需要)。 - hasEmailOnly:确认框要先验条数——前置一次 status=2 子集游标计数(~421ms 实测口径)再流式导出;流中逐行判断,精确 total。 - 🔴 同源对账必须继承(L6 修正):流式路径沿用 ISSUE-0204 的窗口语义(scrape_status=2 收窄 + normalizeDbSort),tests/search-window-parity.test.ts 钉着——不只是 exFieldValue 字段投影。 - 进度 toast + 可取消;取消/失败不出半截文件;列表路径的 50k 扫描窗口随后顺手游标化。

L4 搜索轻量投影(Stage 2,条件启动): - 投影 {id, name, domain, category, phone, hasEmail, emailCount, scrape_status, taskId, create_time};🔴 体积口径修正(F2):42w × 150-250B 裸字节 = 63-105MB,JS 对象常驻再 ×2-3 ⇒ 80-200MB 量级、随行数线性——比整行快照(53-107MB)省不了太多,它的真正收益是搜索/筛选/轻排序从全扫变内存扫。上之前 Tony 要知道这个内存账。 - 🔴 构建与写并发(L7):启动后台游标构建期间有写入 → 需 watermark 或「构建完成后重放脏位」的显式次序,否则丢更新。 - 🔴 启动判据要可操作(L8):建议定桩——「L1-L3 落地后,42w 库 keyword 落键到出数 p95 > 1s(连测 3 天采样 ≥20 次)即启动 L4」。不定桩等于把决策推给感觉。

L5 调度收口 + 后置项:count 共享 scheduler 随 L1;冷热分表归档、容量仪表、云归档全部放缓(Tony 二轮拍板)。剩余卡路径清单(M3,避免「五层=全部」的误解):任务列表 countAllByTaskIds 逐任务串行 count(120 任务 = 120 次主线程往返,量大时可并批);快速模式手选入口在 42w 仍会拉 150k 快照(M4:建议 L1 验收时顺手加「大库手选快速模式」提示或护栏);PageMarkdown 查看器/AI 阅读链路单页读+双上限,风险低,本轮排除。

五、「不卡顿」验收口径(M1,建议随 L1 定桩)

  • 首屏首页(42w 库,server 模式):≤ 300ms 出数据;
  • 单次翻页(连续/跳页):≤ 100ms;
  • keyword 落键到出数:p95 ≤ 1s(现状以 baseline 探针实测为锚);
  • 派生 tab 切换首屏:≤ 500ms(聚合缓存命中 ≤ 50ms);
  • 采集进行中:以上指标允许放宽 2×,但主线程单次阻塞 ≤ 200ms(0216 家族口径)。

六、明确不做(本轮)

  • 后台全量预载(重造 150k 快照问题);主表 id-only 主路径(多一跳无收益);云端/归档(已放缓);L4 提前上(先按判据实测);FS Access 流式导出提前上(先 spike,42w 用分批 Blob 够)。

七、拍板请求

  1. 确认 L1 → L2 → L3 顺序(或调整);
  2. L2 前置决策题:派生 tab 聚合形态三选一(内嵌代表字段 / sampleIds 回表 / 改显示形态);
  3. L1 两个附带决定:翻页漂移接受还是冻结水位;大库手选快速模式加不加护栏。

确认后下一轮出 L1 完整代码块建议:游标分页 query 层(真键集+偏移混合)+ use-data-source 接线 + count 分家(原生 IDB 计数器挂 base 层)+ harness 断言矩阵(含失败形态与 mutation 自证,按仓规 L2/L3 实测证据)。

对抗审查记录(二轮)

草稿 v2 经 shencha 席(glm-flash,REV-20261003-storage-arch-r2,GO-WITH-WARNINGS)攻击后修订:F1 导出内存「与总量无关」修正为「峰值 1×CSV、消除二次方拷贝」+ FS Access 分级;F3 advance 偏移/真键集名实拆开、改混合形态;F2 投影体积 80-200MB 线性口径;F4 count 332ms 小头叙事;L1 覆盖面声明(regex 筛选/computed 排序留 jsstore + 索引列排序顺手游标化);L2 计数器维护面 ≥6 处 + 原生 IDB 挂 base 层;L3 翻页漂移决策项;L4 派生代表行语义三选一前置决策;L5 打脏点下沉 base 层;L6 导出确认框先验计数 + ISSUE-0204 同源对账;L7 投影构建 watermark;L8 L4 启动判拟定桩;L9 与在途 P1 解耦抽共享 util;M1 验收口径定桩;M2 派生重算频率修正;M3 剩余卡路径清单;M4 快速模式护栏。unverified 留档:saveAs 在 sidepanel 对 300MB 级 Blob 的表现(上 L3 前 spike)。


三轮(2026-10-03):L1 落地 + 10k 窗口之问 + 派生 tab 分页拍板

原话

问题和沟通记得回落 是不是可以默认就显示最近的一万条数据,超出的默认不显示(快速)?这个对提速有帮助吗?然后官网列表 邮箱列表 手机列表 要和商家列表一样,加上翻页等功能

拍板与执行记录

  • L1 已落地(ISSUE-0228,feat/l1-cursor-pagination 分支 6d0da56,v0.16.82):主表分页游标化 + count 缓存分家,T2 双审 NO-GO 回环后双席轻验 GO,pnpm verify 全绿(196 files/2971 tests)。
  • L2 形态随本轮拍板:派生三 tab「和商家列表一样加分页」= 二轮 L4 前置决策题的三选一被拍掉——保持现有列/行语义(派生函数零改动)+ 游标聚合缓存 + 复用 ClientDataTable 分页。实现中(同分支堆叠)。
  • 回落纪律确认:问题进 issue 账本、沟通决策进 raw 档案,持续执行(本节即三轮回落)。

「默认只显示最近 1 万条」的分析(待 Tony 拍数值)

结论:有帮助,但帮助的位置主要在快速模式,不在已分页的 server 模式列表。分三块:

  1. 商家列表(server 模式,>5 万自动):本来就只拉当前页,「默认显示 1 万」不产生额外提速(L1 后每页成本已 O(页宽));影响的是跳页上限(1 万=500 页 vs 42 万=4200 页)和 total 语义——反而是简化。
  2. 快速模式(用户手选 / ≤5 万自动):⭐ 真正收益位。现状快速模式拉最多 3×5 万整行快照常驻内存;窗口降到 1 万/窗(合计 3 万)→ 内存降约 5 倍、首载时间同比例降。注意必须按状态窗分别设 1 万(不能全局 1 万条),否则 ISSUE-0074 挤窗病复发(新采 status=0 行把带邮箱的 status=2 行挤出窗口,邮箱列表归零——0215 家族的原始病灶)。
  3. 派生 tab:L2 分页化后派生走游标聚合(亚秒级一次性+缓存),窗口上限对它从「关键」降为「锦上添花」。

建议采纳形态:快速模式/派生聚合的每窗上限 ROWS_WINDOW_CAP 50000 → 10000 + 列表上方 banner 明示「仅显示最近 1 万条/窗」(复用现有 truncated/scanLimit banner 基建)+ 🔴 三条红线不动:顶部统计数字保持全量口径(DataBar 游标统计不跟窗口走)、导出「全部」不受窗口限制(走 L3 流式全量)、派生必须出数。「默认不显示」的措辞建议换成「默认加载最近 N 条」——「不显示」容易被用户理解为数据丢了。

待拍:窗口数值(1 万 vs 其他);确认后随 L2 或单独小刀落地(改动面小:常量+banner 文案+测试口径)。

三轮审查记录

L2 首轮 T2 双审(luna+glm-flash 同卷并行)双 NO-GO:任务范围窗口饥饿(taskId 过滤在 50k 步截断后——0074 家族在新路径复活,且等价测试 fixture 无 taskId 属假绿)/ 旧 build Promise 经 fallback 复活(无 generation 校验)/ error 态 fallback 被 effect cleanup 竞态丢弃(红线「派生出数」破)/ epoch 失效闪空+无界并发叠塔 / per-task 缓存无淘汰。七处方回环整改中。