本页是出错时的「快速排查」。如果你要的是新站「数周到数月」的权威建设策略(站点权威 / 内链 / 抓取预算),看 Discovered not indexed:新独立站策略指南。
一句话先看(最快路径)
动手改任何东西之前,先跑一个诊断:打开 Search Console → URL 检查(URL Inspection),粘贴一个出问题的 URL,点 请求编入索引(Request indexing),等 1-3 天。结果会告诉你到底是哪种问题:
- 进入索引 → 不是内容问题,是「发现/优先级」问题:加内链(Step 3)、清垃圾 URL(Step 2)。
- 变成 “Crawled - currently not indexed” → Google 抓了但不收,这是内容质量问题,看 Crawled - currently not indexed。
- 还是 “Discovered - currently not indexed” → 站点级信号太弱,去建权威(Step 4)再等。
“Discovered - currently not indexed” 是什么意思:Google 通过 sitemap 或某个链接知道这个 URL 存在,但还没派爬虫去抓。这和 “Crawled - currently not indexed” 不一样——后者是抓过了但拒收,前者是连抓都没抓。修这个的关键不是逼 Google 爬,而是让它觉得「这站值得我分预算去爬」。
先泼盆冷水(截至 2026 年 6 月):Google 自己的说法是,抓取预算只有在站点超过约 100 万个独立页面、或中等规模站点(1 万页以上)且内容每天大幅变动时,才会真正成为瓶颈。如果你只有几百页,“Discovered” 更常见的原因是发现信号弱或被判定内容薄,而不是真的撞上预算上限。先诊断,别上来就假设。
你属于哪一类?
| 现象 | 最可能的原因 | 去看 |
|---|---|---|
| 请求编入索引后,几天内进了索引 | 发现信号弱(几乎没内链) | Step 3 |
Crawl Stats 里大量抓取打在 /tag/、/search?、?utm_= | 预算被垃圾 URL 吃掉 | Step 2 |
| 请求编入索引后变成 “Crawled - not indexed” | 内容质量 | Crawled 怎么办 |
| 全新站、基本啥都没收录 | 站点权威 / 抓取需求低 | Step 4 |
| 大型模板/生成站、整类 URL 被无视 | 历史薄内容模式 | Step 4 + 裁剪 |
常见原因
1. 新站 / 低权威站的抓取需求低
抓取预算分两半:抓取容量(crawl capacity,你服务器扛得住多少)和抓取需求(crawl demand,Google 有多想爬你,取决于人气、历史质量、更新频率)。新站、低外链站、低流量站抓取需求很低,于是 Googlebot 只抓看起来重要的几个 URL,剩下的扔进 Discovered 队列。
如何判断:Search Console → 设置(Settings) → 抓取统计信息(Crawl stats) → 看「抓取请求总数」趋势。健康活跃站每天几百到几千;全新站常常只有 10-50。
2. 抓取预算被垃圾 URL 吃掉
如果你站上冒出大量 thin / 重复 / 参数 URL(分面导航、tag 页、站内 search 结果页、UTM 链、带不带尾斜杠的重复、HTTP/HTTPS 重复),Googlebot 会先把额度花在它们身上,正经文章排队。
如何判断:Crawl stats 里看「按文件类型」和「按响应」。如果很大一部分抓取打在 /tag/、/search?、/products?color= 这类 URL 上,说明预算在漏。
3. URL 被发现时的「信号弱」
Google 通过内链、外链、sitemap 发现 URL,而只出现在 sitemap 是最弱的信号——Google 明确会把「只在 sitemap 里出现 1 次、站内零内链、外部零提及」的 URL 当低优先级,扔到队列最后。一个「孤儿页」(只有 sitemap 提到)在 Google 调度器眼里就是「不重要」。
如何判断:随便挑 3 个 Discovered URL,数一下每个被引用在哪:
rg "/that-url/" src/
如果只有 sitemap 生成器引用它,那就是信号弱。
4. 历史模式判定这类 URL 形态是薄 / 重复
Google 是从它已经爬过的相似页面和 URL 模式来估算一个未抓页面的质量,而不是从这个没抓的页面本身。如果它之前把这种形态的页面判成低质,就会主动给同形态的新 URL 降权、少爬。常见于:
- 模板站每个城市 × 产品 × 语言的组合页
- 大量 AI 生成、无人工编辑的列表页
- 标签 / 分类页内容高度重叠
最短修复路径
Step 1:先确认到底是不是「质量阻塞」
挑一个 Discovered URL。Search Console → URL 检查(URL Inspection) → 请求编入索引(Request indexing)。等 1-3 天后重新检查:
- 进入索引 → 不是质量问题,是预算/优先级问题。走 Step 2-3。
- 变成 “Crawled - currently not indexed” → 内容质量问题,去看 Crawled - currently not indexed。
- 还是 Discovered → 站点级权威太弱,走 Step 4。
配额提醒(2026 年 6 月):「请求编入索引」每个资源每天大约限 10-12 个 URL(Google 不公布确切数字,且随账号历史浮动)。它是个诊断工具和轻推,不是批量收录工具。反复提交同一个 URL 没用,只会看到 “Quota exceeded”(配额超限)。
Step 2:把抓取预算从垃圾 URL 里腾出来
在 robots.txt 屏蔽 thin 和参数 URL,让 Googlebot 把额度花在正经内容上:
User-agent: *
Disallow: /search
Disallow: /tag/
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?sort=
Disallow: /*?filter=
Sitemap: https://yourdomain.com/sitemap.xml
对那些必须保留可访问、但不该被收录的页面,用 robots meta 标签,不要用 robots.txt 屏蔽(被屏蔽的页面 Google 根本读不到内容,也就读不到 noindex):
<meta name="robots" content="noindex,follow" />
follow 让 Google 仍能顺着这页的内链往下爬,只是不收录当前页。
Step 3:给 Discovered URL 加内链信号
找出只有 sitemap 引用的页面:
# -L 列出「不」包含匹配的文件
rg -L 'href="/my-discovered-url"' src/
如果 /articles/ 索引页、首页「最新」区、相关文章模块都没链它,就加上。Astro 里相关文章的渲染示例:
{related.map(p => (
<li><a href={`/articles/${p.slug}/`}>{p.data.title}</a></li>
))}
目标:每个想收录的 URL 至少有 5 处站内内链指向它,而且要用真正的 <a href> 锚点(别用 JavaScript onClick 跳转,Google 可能不跟进)。
Step 4:拉高整站权威与抓取需求
短期:
- 拿到 3-5 条真实外链(Reddit、Hacker News、朋友博客、相关 awesome-list)。
- 把站点提交到 Indie Hackers、Product Hunt、对口目录。
- 把最强的 5 篇文章在社交上推一次带来真实流量——真实访问会抬高抓取需求。
中期:
- 持续每周发 2-3 篇好内容(约 800 字以上、有独特视角,别是套话)。
- 内部建 hub / pillar 页,把相关文章聚合并向下链。
- 删 / 合并最薄的 20-30% 页面,拉高整站质量比。
Step 5:等 2-8 周看数量变化
- 别每天看——页面收录报告(Pages)延迟约 2-3 天,抓取行为是按周变的。
- 每约 2 周看一次 Pages 报告里的 Discovered 数量。
- 现实预期:内链和权威改善后,8 周后 Discovered 数量下降 30-50%。
如果 8 周后还没动静,换一个 URL 重新走 Step 1 诊断。
如何确认修好了
- 对原先卡住的 URL 做 URL 检查,应显示 **“URL is on Google”(网址已编入 Google 索引)**并带真实的「上次抓取」日期。这才是权威判断——别靠
site:搜索,它只是个粗略参考,而且经常滞后。 - 在 Pages 报告里,该页从 “Discovered - currently not indexed” 移到已收录集合。
- 整站 Discovered 数量在连续两个或更多 2 周检查点持续下降。
预防建议
- 不发空页、占位页、近重复的模板页。
- 薄分页(标签、search、filter)默认
noindex。 - 新文章上线时自动从首页、索引页、相关文章模块链过去。
- 在
robots.txt默认屏蔽 UTM / tracking 参数,别让它们烧抓取预算。 - sitemap 保持干净:只放 200-OK、canonical、可收录的 URL——别塞 301、404 或
noindex页面。 - 如果技术栈支持,发布/更新时 ping 一下 IndexNow 作为更快的发现信号(它是补充,不替代 sitemap 和内链)。
常见问题
“Discovered - currently not indexed” 多久能解决? 没有固定时间。请求编入索引后,健康的 URL 常在 1-3 天内进索引。站点级修复(内链、权威、裁剪)一般在 2-8 周显现。另外,一个曾被收录的 URL 如果约 75-140 天内没被重爬,Google 可能把它丢掉,所以重要页面要保持有内链、内容新。
“Discovered” 比 “Crawled - currently not indexed” 更糟吗? 是两类不同问题。“Discovered” 是 Google 还没抓这页(优先级/发现问题);“Crawled - currently not indexed” 是抓了之后选择不收(质量/价值问题)。用「请求编入索引」就能判断你在哪一类。
对每个 URL 都点一遍请求编入索引能修好吗? 不能。这工具每个资源每天约限 10-12 个,且只是把单个 URL 推进队列,修不了底层的信号弱或权威低,批量提交只会返回 “Quota exceeded”。把它当诊断工具用。
小站真的会有抓取预算问题吗? 通常不会。Google 说抓取预算主要在约 100 万页以上、或 1 万页以上且每天大改的站点才是真约束。几百页的站,“Discovered” 几乎都是内链弱或被判内容薄,而不是真撞上预算上限。
提交 sitemap 能强制收录吗? 不能。sitemap 帮助发现,但它是最弱的信号,从不保证抓取或收录。真正决定 Google 是否花一次抓取的,是内链、外链和它看到的内容质量。