重新采集官网¶
什么时候用它¶
看到下面任何一种情况,就可以用「重新采集」:
- 商家状态是失败
- 状态是已完成,但邮箱、电话、社媒全是空的
- 你确认这家公司官网上明明有联系方式,扩展却没采到
为什么会出现「已完成但没数据」¶
扩展抓一个官网时,可能因为当时网络不通、对方服务器繁忙、或者站点临时打不开而没拿到内容。 以前这种情况会被记成「已完成」,看起来像是采过了、确实没有——这是不准确的。
从 v0.10.165 起,这类情况会如实记成失败,并且可以由你手动重试。
怎么操作¶
flowchart TD
A[数据页 · 官网列表] --> B[勾选要重采的商家]
B --> C[点「重新采集」]
C --> D{确认对话框}
D -->|确认| E[解除这些网址所属域名的封锁]
E --> F[同网址的全部商家改回「待采集」]
F --> G{采集引擎在跑吗}
G -->|在跑| H[立即开始排队处理]
G -->|没跑| I[已排队,等你打开采集开关]
- 打开数据页,切到官网列表
- 勾选要重采的商家(可多选)
- 点工具条上的「重新采集」
- 确认对话框会说明这次会做什么
- 看提示:告诉你重排了多少行、解除了多少个域名封锁
🔴 它是按「网址」重采的,不是按「行」¶
官网列表里一个网址只显示一行,但你的库里同一个网址可能对应好几家商家 (连锁店、同一集团的多个门店、重复的地图记录)。
选中一行,扩展会把所有用这个网址的商家一起重采。
这是有意设计的:造成「已完成但全空」的那条内部路径本身就是按网址批量处理的—— 如果只救回你看到的那一行,其余几行会永远停在错误状态、而且你在界面上根本看不到它们。
⚠️ 如果一个网址对应上千行,提示里会告诉你可能有部分行没覆盖到,再点一次即可。
这个按钮具体做了什么¶
它不只是把状态改回「待采集」,还会拆掉三道会让重采落空的拦截:
| 拦截 | 不拆会怎样 |
|---|---|
| 域名封锁 | 扩展记住了「这个域名连不上」,会直接跳过、连请求都不发 |
| 同网址复用 | 同一个网址如果别的商家采过,会直接把那份结果拷过来,不真的去抓 |
| 共享池缓存 | 会直接用缓存里的结果,同样不真的去抓 |
⚠️ 解除域名封锁只针对你选中的这些网址所属的域名,不会清掉扩展对其它域名的学习成果。
采集引擎没在跑的时候¶
按钮不会替你打开采集开关——你关掉它通常是有意的。
这种情况下提示会明确写「已排队,但采集引擎未运行,不会自动开始采集」。 打开采集开关后,这些行会自动被处理。
唯一还会拦住它的:域名黑名单¶
如果你在设置里把某个域名加进了黑名单,重采这个域名的商家时:
- 确认对话框会提前告诉你哪些行会被拦
- 这些行会被标成失败,并在「官网抓取记录」里留一条「⏭ 黑名单」
(注意:你手动点了重采却被自己设的黑名单挡住,算失败不算完成——所以状态是失败,不是已完成。)
要真的重采这些商家,先去设置里把域名从黑名单移除。
不会拦住它的(容易误会的地方)¶
最低评分、最低评论数、分类关键词黑名单、跳过无网址/无电话商家—— 这些规则只在采集地图数据入库那一步生效,用来决定哪些商家被存进库。
商家一旦已经在你的库里了,重采官网不会再过一遍这些规则。
重采之后还是没结果?¶
去日志 → 官网抓取记录看那一条的状态标签:
| 标签 | 含义 |
|---|---|
| 连不上 | 网站当前无法连接(DNS / 证书 / 超时) |
| 不存在 | 服务器明确回答页面不存在(404 / 410) |
| 域名锁定 | 这个域名此前多次失败被暂时跳过 |
| 无联系 | 页面读完了,确实没有邮箱/电话/社媒 |
| 非网页 | 返回的不是网页(PDF / 图片 / 接口响应) |
| 防爬拦截 | 对方有反爬保护 |
| 黑名单 | 你把这个域名加进了黑名单 |
| 无官网 | 这条记录没有可用网址 |
按钮什么时候是灰的¶
只有已完成和失败且有网址的商家才能重采。
全选中「待采集」或「采集中」的商家时按钮置灰——它们本来就在队列里,重采没有意义。 混选时只处理有意义的那部分。