网站上线一两周了，site:yourdomain.com 却什么都搜不到。先别急着下结论：site: 这个搜索运算符本身就是 Google 索引的抽样结果，并不完整，新页面和低流量页面经常被它隐藏。真正权威的检查方式是 Google Search Console 里的 URL Inspection（网址检查），所以请从这里开始。
TL;DR — 最快的排查路径
- 打开 Search Console，把首页 URL 粘进顶部的 URL Inspection 搜索框。
- 看结论。显示 “URL is on Google” 说明已经被收录（只是
site:没显示出来）；显示 “URL is not on Google” 会直接告诉你原因——noindex、被 robots.txt 拦截、“Discovered/Crawled — currently not indexed”，或者 “Page with redirect”。 - 点 Test Live URL，再对这个 URL 点 Request Indexing（请求编入索引）。注意它只是一个提示而非命令——你请求了，Google 并不保证会收录，也不会因此加快。
- 如果你还没建 Search Console 资源，先建好（只有这里会告诉你真正的原因）。参见 Search Console 提交 sitemap。
如果 URL Inspection 已经给出了具体原因，直接跳到下面对应的那一条。如果它说页面没问题、只是 site: 为空，那你几乎可以确定是处在新域名等待期（原因 6），再等 7–14 天即可。
你属于哪一种情况？
| URL Inspection / 报告显示 | 最可能的原因 | 跳转 |
|---|---|---|
| ”Blocked by robots.txt” | 线上有 Disallow: / | 原因 1 |
| ”Excluded by ‘noindex’ tag” | meta robots 标签 或 X-Robots-Tag 响应头 | 原因 2 |
| ”Alternate page with proper canonical tag” | canonical 指向了别的页面 | 原因 3 |
”URL is on Google” 但 site: 为空 | 抽样问题，其实已收录 | 无需处理，见原因 11 |
| ”Discovered — currently not indexed” | 已排队抓取，常因内容太薄 | 原因 6、7 |
| ”Crawled — currently not indexed” | 已抓取但被判定为低价值 | 原因 7 |
| Search Console 里完全没有数据 | 没建资源 / 没提交 sitemap | 原因 5 |
1. robots.txt 屏蔽了所有爬虫
打开 https://yourdomain.com/robots.txt，确认里面没有：
User-agent: *
Disallow: /这一行会拦下所有爬虫访问所有页面，是最常见也最致命的错误，通常是 staging 配置不小心带到了线上。空的 robots.txt，或只针对特定路径写 Disallow 的 robots.txt，都是正常的。
这里有个容易踩的坑：如果 robots.txt 把某个 URL 拦住了，Google 就永远抓不到这个页面，自然也看不到页面里的 noindex 标签。所以 robots.txt 拦截和 noindex 标签是互斥的两种问题——先解决 robots.txt。
2. 页面带了 noindex 指令
noindex 可能藏在两个地方，两处都要查。
在 HTML 里。 在文章页右键 -> 查看源代码 -> 用 Ctrl/Cmd+F 搜索：
<meta name="robots" content="noindex">在 HTTP 响应头里。 meta 标签不是设置 noindex 的唯一方式；反向代理、CDN 或框架可能加一个 X-Robots-Tag 响应头，而这个在”查看源代码”里是看不到的。用终端检查：
curl -I https://yourdomain.com/your-article/ | grep -i x-robots没有任何输出，就表示没有 X-Robots-Tag 响应头，这是期望的状态。如果看到 X-Robots-Tag: noindex，那就是问题所在。当 meta 标签和响应头同时存在时，限制性更强的那个生效，所以一个误加的 noindex 响应头会盖过 index 的 meta 标签。
只要任何一处带了 noindex，该页面的任何内容都不会被收录。常见来源：
- Astro / Next / Hugo 等模板在 dev 或 preview 模式下带
noindex，上线后忘了关。 - 主题或插件悄悄加了
noindex。 - WordPress：Settings -> Reading -> “Discourage search engines from indexing this site” 这个勾选框忘了取消。取消勾选、保存，然后重新请求编入索引。
3. canonical 指错了地方
<link rel="canonical"> 告诉 Google 哪个 URL 才是”正版”。如果文章 A 的 canonical 指向文章 B，Google 就会收录 B 而丢掉 A——在 Search Console 里你会看到 A 被标为 “Alternate page with proper canonical tag”。
- 每个页面通常应该把 canonical 指向自己（自己干净的绝对 URL）。
- 双语站：每个语言版本的 canonical 各自指向自己，再用
hreflang把两者关联起来。不要把中文页的 canonical 指到英文页，否则只有一种语言会被收录。
4. 网站完全靠 JavaScript 渲染
在浏览器里关掉 JavaScript，重新加载一篇文章。如果页面变成空白，那 Googlebot 看到的也可能是空白页。Google 确实会渲染 JS，但它是在延迟的第二轮抓取里做的，这会拖慢甚至跳过新站的收录。
解决方法：用静态生成（SSG）或服务端渲染（SSR）输出真正的 HTML。Astro 默认 SSG，首次加载时内容就在 HTML 里，天然可被收录。用”查看源代码”确认：在 JS 运行之前，文章正文就应该已经出现。
5. sitemap 没提交（或显示为 0）
在 Search Console 打开 Indexing -> Sitemaps，确认你的 sitemap 状态是 “Success”。如果显示 “Submitted” 但发现的页面数一直是 0，那是一种特定的失败状态——参见 Sitemap 已提交但未收录。从零开始把 Search Console 接好，可以看 Search Console 提交 sitemap 的完整流程。sitemap 不是收录的必要条件，但对新站来说，它是把全部 URL 一次性交给 Google 的最快方式。
6. 新域名等待期
刚注册的域名通常都要等一段时间页面才会出现，因为 Google 要先确认你不是垃圾站。截至 2026 年 6 月，Google 官方（John Mueller）的说法是：新站上的优质内容一般一周左右会被收录，但实际范围从几小时到几周都有可能。没有任何按钮能跳过这个过程。
等待期间，Indexing -> Pages 里最常见的两种中间态是 已抓取 - 当前未编入索引 和 已发现 - 当前未编入索引。两者修复方式不同，请按你报告里实际显示的那种去看。
7. 内容太薄或重复
这是近年增长最快的原因。截至 2025–2026 年，内容质量——而非技术层面的可访问性——已经成为新页面卡在 “Crawled — currently not indexed” 的首要原因。Google 抓了页面，判定它价值低，于是不收录。建议：
- 首页：至少 300 字真实、具体的内容（别只有一个 logo 和导航条）。
- 文章：要有足够的真实深度，把问题答得比现有排名结果更好；一篇像样的教程大致 800 字以上，但篇幅只是”是否有用”的代理指标，不是目标本身。
- 绝不要发布复制、洗稿或纯机翻的内容。近似重复的页面会互相竞争，常常都被丢掉。
8. 内链太稀疏
爬虫靠链接发现页面。一个只能从 sitemap 找到的文章，信号很弱。每个页面都应该被至少几个其他页面链接到——它的栏目页、相关文章链接、面包屑。孤岛页面（没有任何内链指向它）是 “Discovered — currently not indexed” 的常见原因。
9. DNS 或 HTTPS 有问题
- 没有 HTTPS：有效的 TLS 证书基本上是硬性预期，纯 HTTP 的站会被严重压制。
- DNS 不稳定或偶发 5xx 错误：如果 Googlebot 反复抓取时遇到超时或服务器错误，它会退避、降低抓取频率。可在 Search Console 的 Settings -> Crawl stats 看是否有失败请求的激增。
10. 人工处罚或安全问题
打开 Search Console 里的 Security & Manual Actions（安全和手动操作）。一次人工处罚（针对垃圾内容、被黑、隐蔽跳转等）可能压制整个站点。如果出现任何问题，按提示修好被指出的部分，再点 Request Review（请求审核）——审核可能要几天到几周。
11. 怎么确认已经修好了
别用 site: 来确认修复，它有延迟且是抽样的。应该这样做：
- 在 URL Inspection 里对之前被拦的页面点 Test Live URL。“Indexing allowed?” 这一行现在应该显示 Yes，“User-declared canonical” 应该指向页面自己的 URL。
- 点 Request Indexing。注意每日上限：截至 2026 年 6 月，URL Inspection 工具每个资源大约允许 10–12 次手动请求编入索引（Google 没有公布确切数字）。
- 过几天再看 Indexing -> Pages。页面应该从灰色的 “Not indexed” 组移到绿色的 “Indexed” 组。
- 真正的确认信号，是用
site:yourdomain.com/你的具体URL/能搜到该页，或者更进一步，用它真实的标题就能搜到。
常见问题
等多久才该担心？ 全新域名，提交 sitemap 后先给它 7–14 天再当问题处理。如果 URL Inspection 说页面可被收录，但你已经过了两周、收录数仍为 0，就开始排查原因 1–3 和 7。
Search Console 显示 “Crawled — currently not indexed”，是 bug 吗？ 不是。它表示 Google 抓了页面但选择不收录，到 2026 年这几乎都是内容价值层面的判断。把页面的深度和独特性做上去，给它加内链，然后重新请求编入索引。参见 已抓取 - 当前未编入索引。
点 “Request Indexing” 能让 Google 更快收录吗？ 它是提示，不是命令。它可以把单个 URL 推进抓取队列，但不保证、也不加速收录，反复点也没用。先把根本原因修好。
页面在浏览器里看着正常，Search Console 却说被拦了，为什么？
两个常见元凶：X-Robots-Tag HTTP 响应头里的 noindex（“查看源代码”看不到，要用 curl -I 查），或者 robots.txt 里拦了该路径的规则。用 Test Live URL 看 Googlebot 实际抓到的是什么。
我到底需不需要 sitemap？ 不是非要不可——Google 能顺着链接发现页面。但对一个外链很少的新站，sitemap 是把每个 URL 一次性交给 Google 的最快方式，还能给你一份干净的覆盖率报告。
我用的是免费主机，会不会因此被屏蔽收录？
主机套餐本身不会屏蔽收录，但有些免费/预览主机会加 X-Robots-Tag 响应头或返回占位页。检查 X-Robots-Tag 响应头，并确认你真正的内容是在生产域名上提供的，而不是在你本就不想被收录的 *.preview 或 *.vercel.app 子域名上。