Crawl Stats 显示 Googlebot 的抓取请求明显上涨——比如从 50/天 涨到 300+/天,看起来 SEO 在进步。但同一时间段,Performance 曝光持平甚至下降。
**最快的判断:**这个 spike 几乎从不代表有新流量要来。抓取是输入,收录是中间,曝光是输出,只有三者一起动,这条链才会兑现。把 Search Console 的三个报告并排打开——Settings -> Crawl stats、Indexing -> Pages、Performance——找到数字停止上涨的那一步,那一步才是你的真正问题。多数情况下卡在中间:新页被抓了,却堵在 “Crawled - currently not indexed”,所以抓取涨了、收录没涨。
症状
- Crawl Stats 总抓取请求明显上升(如 50 -> 300/天)
- Pages 报告里 Indexed 几乎不变或只微增(约 +5%)
- Performance 曝光持平或下降
- 抓取上涨的同时,“Crawled - currently not indexed” 数字也在涨
一句话看懂这条管道
Crawl -> Index -> Impressions。抓到一个 URL 是必要条件,但不是充分条件:Google 还要判断这页值不值得收,收了之后这页还要对得上有人真在搜的 query。如果 Google 觉得新页不值得收,管道就堵在中间,什么都到不了输出端。
按同一个 28 天窗口对比三个报告,快速判断你卡在哪:
| 抓取 | 收录 | 曝光 | 含义 |
|---|---|---|---|
| 涨 | 涨 | 涨 | 全管道通——正常健康状态 |
| 涨 | 涨 | 平 | 收录没问题,但 query 几乎没搜索量 |
| 涨 | 平 | 平 | 卡在收录评估(质量 / 重复) |
| 涨 | 跌 | 跌 | 老页被降权 + 新页太薄——净亏 |
常见原因
1. 新页被抓但没收(达不到质量门槛)
最常见。你发了 30 篇新文章,Googlebot 全抓了,但每篇都很薄(不到约 500 字,没有独家数据、截图或亲手实测),结果全落在 “Crawled - currently not indexed”。抓取 +30,收录 +0。
自 2025 年 Google 收紧质量与 helpful-content 系统以来,读起来像机器批量生成、又缺乏第一手实测的页面,会被常态化地卡在这个状态;大量 AI 拼凑的薄页甚至会拉低全站的抓取需求。
**如何判断:**Search Console -> Indexing -> Pages -> 打开 “Crawled - currently not indexed” 这一项,看它最近 4 周的趋势。如果它和抓取 spike 同步在涨,这就是根因。
2. 抓取集中在分面 URL / 重复 URL
Settings -> Crawl stats -> 点进 "By file type" / "By response" 某一行
查看示例 URL。如果大量抓取落在 /tag/、/search?、/?utm_= 上,预算被浪费。
Googlebot 对你站点每天的请求数是有限的。如果它把额度花在一千个 /tag/?page=N 或参数排列组合的 URL 上,你的正经文章就得排队。注意 Crawl Stats 里并没有直接的 “by URL type” 视图——要看哪些路径在吃预算,得点进某个分组行(比如某个 200 响应或 HTML 文件类型)展开它的示例 URL,或者直接分析服务器访问日志。
3. 收录的页不针对任何有量的 query
收录数字涨了,但都是没人搜的话题:
- 内部技术文档收录了——没人会搜
- 模板生成的”X 城市 + Y 关键词”组合页收录了——搜索量为 0
- 写了一堆”我们公司 X”的内容收录了,而用户搜的是行业通用 query
4. 老收录页被降级,抵消了新增
新页收录 +50,但老页被某次核心更新或 helpful-content 更新降权,跌了 -100,净值 -50。
**如何判断:**Performance -> 日期范围设为 28 天,对比上一个周期,并筛选出 30 天前就已存在的页面。如果你明明加了页,整体曲线还是往下,那衰退就在老页上。
5. 抓取 spike 来自 robots 改动后的全站重抓
如果你近期改过 robots.txt——特别是从屏蔽改成放开,或者移除了某个误加的 noindex——Google 会大量重抓来补历史。那是在清积压,不是新需求,本身不会带来新曝光。
最短修复路径
Step 1:判断管道堵在哪
按同一个 28 天窗口打开上面三个报告,把你的形态对到文章开头那张决策表上。命中的那一行会告诉你该跳到下面哪一步。
Step 2:看抓取去哪了
在 Settings -> Crawl stats 里,数据按四种方式分组:By response(200、301、404、5xx……)、By file type(HTML、image、JS、CSS……)、By Googlebot type,以及 By purpose(只有两种值:Discover = 首次抓取,Refresh = 重抓)。点任意一行都能看到示例 URL。如果一个 spike 几乎全是 Refresh,那是 Google 在重新核对你已有的页,而不是发现新页——这与原因 5 吻合。
如果你发现大量抓取落在参数页或自动生成页上:
在 robots.txt 里 Disallow 掉它们,让预算回流到真正的内容:
User-agent: *
Disallow: /*?utm_
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /tag/
Disallow: /search
注意:robots.txt 拦的是抓取,不是收录。要让已经被收录的垃圾 URL 退出索引,得让它保持可抓取并加上 noindex meta 标签(或直接删除并返回 410)——一个被屏蔽的 URL 仍可能凭外链被收录,只是没有内容。
Step 3:新页是被收录还是被拒?
在 Pages 报告里筛选你的新 URL:
- 大多是 Indexed -> 收录没问题,问题在 query 没量,走 Step 4
- 大多是 Crawled - currently not indexed -> 质量 / 重复问题,走 Step 5
Step 4:确认目标 query 有真实搜索量
新页都被收录但 0 曝光,通常就是没人搜这个词:
打开 Google Keyword Planner(或参考 Search Console 里同类页的 query 数据)。
输入新页的主关键词,看月搜索量。
如果低于约 10 次/月,这就是没曝光的原因。改向用户真正会搜的词重新定位。
Step 5:给新页补深度
如果在涨的桶是 “Crawled - currently not indexed”:
- 把真正有用的字数提上去(目标 800+,但绝不为凑字数而注水)
- 加原创截图、表格、第一人称实测记录
- 给这页加 3+ 条相关内链(进和出都要)
- 详见 低内容深度
然后请求重新处理:对少数优先 URL 用 URL Inspection -> Request Indexing,并确保它们在你的 XML sitemap 里。不要批量刷 Request Indexing——它有频率限制,也不会推翻质量层面的判定。
Step 6:审老页流量衰退
Performance -> 日期范围 28 天,对比前 28 天
-> 按 Page 排序 -> 找出跌了 30%+ 的 URL
常见衰退原因:
- 核心更新降权
- 内容过时(特别是带年份的标题,如”2023 最佳……”)
- 竞品发了更新更深的内容
修法:刷新内容、补当前数据、重新做内链。
慌之前,先排除报告延迟
Pages 和 Performance 报告都有处理延迟,Google 偶尔还会公布数据异常。就在 2025 年底,Page indexing 报告冻结了将近一个月(数据卡在 2025-11-21 前后,直到 12-18 才追上);Google 的 Data Anomalies 页面也记录了一个从 2025 年 5 月持续到 2026 年 4 月底的曝光记录错误。下结论说”数字不动”之前,先查这个页面,并给一次新改动留 1-2 周的处理时间。抓取 spike 之后回落几天也是正常的:补抓完成后 Googlebot 会回到稳定速率。
容易误判的情况
- 把抓取当流量:抓取是必要条件,不是充分条件。在既被收录、又对上真实 query 之前,什么都不会排名。
- 以为曝光会随抓取等比增长:多出来的抓取可能全是低价值 URL。
- 一看到 spike 就慌:先看是不是改动后的重抓(多为 Refresh),还是预算漏进了低价值路径。
预防建议
- 把 crawl budget 引向高价值 URL:对低价值页
noindex或删除,让参数页 / 分面页别进抓取。 - 别假设”发更多页 = 更多曝光”。每页都得先过独有价值这关才会被收录。
- 抓取、收录、曝光三个数字一起盯。任意一个异常都值得查一查。
- 老内容按计划刷新,别只顾发新页。
FAQ
Q:Googlebot 把我服务器抓爆了——能在 Search Console 里限速吗?
A:不能了。Google 已于 2024 年 1 月 8 日从 Search Console 移除了手动抓取速率限制工具。现在要让 Googlebot 慢下来,可以在短期内(几小时到 1-2 天)对它的请求返回 500、503 或 429,它会自动退避;但别持续返回错误超过这个时长,否则 URL 可能掉出索引。如果你无法返回错误,可走 Google 的降低抓取速率的特别请求。对多数小站来说,真正的问题是抓得太少,而不是太多。
Q:抓取速率应该随流量增长吗? A:大致会,但有滞后。新抓的页要先过收录评估,再过排名评估,所以从抓取增长到曝光增长通常要 4-12 周——前提是它真能转化,低价值抓取永远不会。
Q:抓取 spike 之后回落几天正常吗? A:正常。Googlebot 补抓完会回到稳定速率。真正要查的是持续 spike,但收录和曝光都不动。
Q:我的新页卡在 “Crawled - currently not indexed”,Request Indexing 能解决吗? A:它能催 Google 重新评估,但推翻不了质量判定。先把底层的”太薄”问题修掉(Step 5),再对少数优先 URL 请求收录。批量请求有频率限制,没用。
Q:我在 robots.txt 里屏蔽了垃圾 URL,它们却还在索引里,为什么?
A:robots.txt 拦的是抓取,不是收录——被 Disallow 的 URL 仍可能凭外链被收录,只是没有内容。要移除它,得让 Google 抓到它并返回 noindex 标签(或 410),下次抓取时它就会掉出去。