Crawl Stats 显示 Googlebot 抓取量明显上涨——从 50/天 涨到 300+/天,看起来 SEO 进展顺利。但同时间段 Performance 曝光持平甚至下降。
这是因为:抓取是输入,收录是中间,曝光是输出。抓取上涨不等于收录上涨,更不等于曝光上涨。如果 Google 觉得新抓的页不值得收,或者收录的页不针对有量的 query——管道在中间堵了。
症状
- Crawl Stats 抓取 URL 数明显上升(如 50→300)
- Pages 报告 Indexed 几乎不变或微增(如 +5%)
- Performance 曝光持平或下降
- 抓取上涨的同时,“Crawled - currently not indexed” 数字也在涨
快速结论
抓取是输入,收录是中间,曝光是输出。如果 Google 觉得新页不值得收,管道就在中间堵了。
常见原因
1. 新发布页被抓但没收(达不到质量门槛)
最常见。你发了 30 篇新文章,Google 全抓了,但每篇都 < 500 字 / 无独有信号——全卡在 “Crawled - currently not indexed”。抓取 +30,收录 +0。
如何判断:Search Console → 页面 → 看 “Crawled - currently not indexed” 数字最近 4 周变化。如果增长 = 这就是原因。
2. 抓取集中在分面 URL / 重复 URL(浪费在低价值端点)
# Crawl Stats → "按 URL 类型查看抓取"
# 如果大量抓取在 /tag/ / /search? / /?utm_= 上,预算被浪费
Googlebot 一天能花的请求数有限。如果它把预算花在 1000 个 /tag/?page=N 上,正经文章排不上号。
3. 收录的页不针对任何有量的 query
收录数字涨了,但都是别人不搜的话题。具体例子:
- 内部技术文档收录了,但没人搜
- 模板生成的”X 城市 + Y 关键词”组合页收录了,但搜索量为 0
- 写了大堆”我们公司 X”内容,用户搜的是行业通用 query
4. 老收录页被降级,抵消了新增
新页收录 +50,但老页被 Helpful Content 评估降权 -100,净流量 -50。
如何判断:Performance → 按 URL → 看老页(30 天前已存在的)流量趋势。如果整体下降,是老页问题。
5. 抓取 spike 来自 robots 失误后的全站重抓
如果你近期改过 robots.txt(特别是从屏蔽改成放开),Google 会一次性大量重抓,但这只是补抓历史,不带来新曝光。
最短修复路径
Step 1:判断管道在哪堵
抓取 = 收录 = 曝光 → 全管道通,正常
抓取 ↑ 收录 ↑ 曝光 = → 收录OK,但 query 没量
抓取 ↑ 收录 = 曝光 = → 卡在收录评估
抓取 ↑ 收录 ↓ 曝光 ↓ → 老页降权 + 新页低质
打开 Search Console 三个报告对比:抓取统计、页面(按状态)、性能。
Step 2:抓取集中在哪里?
Crawl Stats → “按文件类型” / “按响应” / “按目的”。如果发现:
- 大量请求是
?utm_*/?sort=/?filter=参数 URL - 大量请求是
/tag///search这类自动生成页 - 抓取在某个特定旧文件夹(迁移残留)
→ 这些 URL 该被 robots.txt 屏蔽:
User-agent: *
Disallow: /*?utm_
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /tag/
Disallow: /search
Step 3:新页被收录还是被拒?
按 Pages 报告分类查看:
- 新页大多 “Indexed” → 收录管道通,问题在 query 没量(走 Step 4)
- 新页大多 “Crawled - currently not indexed” → 质量问题(走 Step 5)
Step 4:审目标 query 是否有真实搜索量
新页都被收录但 0 曝光:
打开 Google Keyword Planner
输入你新页主关键词
看月搜索量
如果 < 10/月 → 用户根本不搜这个,所以无曝光。改 query 方向,写有量的话题。
Step 5:补新页深度
如果是 “Crawled - currently not indexed” 在涨:
- 字数补到 ≥ 800
- 加原创截图、表格、第一人称经验
- 加 3+ 内链
- 详见 低内容深度
Step 6:审老页流量衰退
Performance → Date 选 28 天 → 按 URL 排
对比 60-90 天前同期,找出跌了 30%+ 的 URL
衰退原因通常是:
- Core Update 降权
- 内容过时(特别是带年份的”2023 最佳…”)
- 竞品发了更新更深的内容
修:更新过时内容、补新数据、加内链。
哪些情况可能不是你操作错了
抓取上升有时是 Googlebot 在探索站点新分区(正常)。不代表有问题,也不保证带流量。新站期的抓取波动尤其大。
容易误判的情况
- 把”抓取 = 流量”等同:抓取是必要条件不是充分条件
- 以为抓取增多就该等比例多曝光:可能涨的全是低价值 URL
- 看到抓取 spike 就慌:先看是不是补抓历史 / 是不是预算被引导到低价值
预防建议
- 通过对低价值 URL 强 noindex / robots,把 crawl budget 引向高价值 URL
- 别假设”发更多页 = 更多曝光”,每页都要达到独有价值门槛
- 监控时三个指标一起看:抓取、收录、曝光。任意一个异常都要分析
- 老内容定期审查更新,不要只发新
FAQ
Q:Googlebot 太频繁能限速吗? A:能,通过 Search Console → 设置 → 抓取速率。但小站点很少需要——一般是 Google 太少抓而不是太多。
Q:抓取量应该和流量同步增吗? A:大致是的,但有滞后(4-12 周)。新抓的页需要时间通过收录评估,再通过排名评估。
Q:抓取 spike 后过几天回落正常吗? A:正常。Googlebot 在补抓后会回到稳定速率。担心的是持续 spike 但收录 / 曝光都不动。