这是独立开发者最常 Google 的 Search Console 错误,也是最被误解的一个。「Crawled — currently not indexed」不是技术故障。它的意思是:Google 读了页面,决定不把它放进索引。下面讲这到底意味着什么、怎么处理。
一句话总结
- 「Crawled — currently not indexed」是一个质量 / 优先级判断,不是抓取 bug,也不是惩罚。Google 已经抓完整 HTML、渲染过、然后选择不给它一个索引位置。
- 原因几乎只有三种:页面没有比已排名的内容更好、内容重复(重复你自己的或重复全网的)、或站点权威不够 Google 为它腾位置。
- 技术修复(重新提交 sitemap、改 meta、加 schema)挪不动它。能挪动的是内容深度、内链、外部权威。
- Search Console 里的 Request Indexing 每个站点每天上限约 10–12 个 URL(超额后按钮会灰掉 24 小时);它只能让重新评估提前,无法越过质量判断。
- Google 的 Indexing API 在这里用不上——它官方只支持
JobPosting和嵌在VideoObject里的BroadcastEvent页面。拿它去推博客文章,Google 会直接忽略。
问题背景
和「Discovered — currently not indexed」(Google 找到了 URL 但还没抓——通常是抓取预算或调度问题)不同,「Crawled — currently not indexed」意味着 Google 已经完整抓了 HTML、渲染了页面、做出了决定。这个决定几乎总是三种原因之一:内容相对已经排名的页面不够好、页面和你自己其他内容重复、或者你的站点权威还不够 Google 在索引里腾位置。技术修复救不了你,内容和外链才能。
Google 官方的页面索引报告文档对这个状态的说明是:「页面已被 Google 抓取但未编入索引。它将来可能被索引,也可能不会;无需重新提交此 URL 进行抓取。」最后那句正是大家忽略的——光重新提交本身什么都改变不了。
判断标准
- Search Console Pages 报告里「Crawled — currently not indexed」桶越来越大。
- 受影响的 URL 上线了几周后掉了,或者从一开始就没被收录。
- 页面正常渲染、返回 200、canonical 自指、也在 sitemap 里。
site:你的域名/这个 URL/在 Google 搜不到。- 同站其他页面收录正常——所以不是全站性问题。
快速结论
挑 3 个受影响的 URL。对每个问:(1)内容相对这个关键词的 Top 1-5 是否有明显差异?(2)这页有没有 ≥ 3 个内链指过来?(3)相对网上已有的 100 篇同主题,这页有没有独特价值?三个都不能肯定的话,重写。三个都能肯定的话,问题是站点权威 + 时间——继续发、继续连内链、等。
实操步骤
-
URL Inspection 跑一遍。Search Console → 顶部搜索框粘 URL → “Test Live URL”。看 3 个状态:
Page Availability: URL is available to Google ← 必须 ✓ Indexing: User-declared canonical: <url> ← 必须自指 Google-selected canonical: ... ← 这两条一致才行 Crawl: Last crawl: <date> ← 应该有日期命令行复核:
# 1. robots.txt 没拦 curl -s https://yoursite.com/robots.txt | grep -E "Disallow|Allow" # 2. 页面 meta 没 noindex curl -s https://yoursite.com/article-slug/ | grep -iE "<meta[^>]*name=['\"]robots" # 3. canonical 自指 curl -s https://yoursite.com/article-slug/ | grep -iE "<link[^>]*rel=['\"]canonical" # 4. 服务器返回 200 curl -sI https://yoursite.com/article-slug/ | head -1任一不通过:那才是真问题,不是 “crawled not indexed”。修完跳到步骤 6。
-
对比 Google 上目标关键词 Top 3。从 GSC 找这个 URL 当前曝光最高的 query,在隐身窗口 / 国外节点搜,记录前 3 页的:
| Rank | URL | 字数 | H2 数 | 含独家数据? | 含截图? | 发布日期 | 内链数 | |------|-----|------|------|-----------|--------|---------|--------| | 1 | ... | | | | | | | | 2 | ... | | | | | | | | 3 | ... | | | | | | |你的页面要么在某一维度(字数 / 数据 / 截图 / 时效)明显胜出,要么角度上完全不同(“为 X 类用户写""反共识""一手数据”)。两者都没有 → Google 不需要再收一个相同的页。
-
审内链——本站指向这个 URL 的内链数。
# 全站 grep 内链数 grep -rE "\\(/zh/articles/article-slug/?\\)" src/content/ | wc -l # 或抓 sitemap 后用 Screaming Frog 免费版(500 URL 内)阈值:
0 条内链 → 站内孤儿,等于"自己都不重要" 1-2 条 → 仍偏低,加 3-5 条 ≥5 条 → 内链没问题,原因在别的地方加内链策略:在站内 grep 出关键词出现的页(“在 X 概念出现的所有页”),每页选 1 处插自然内链:
grep -rEl "关键概念A" src/content/ | head -10 # 逐个手工挑句子里能自然嵌内链的位置 -
全站薄内容审计——Google 评估的是整站质量,单页拉不起来:
# 统计每篇正文字数 for f in src/content/articles/zh/**/*.mdx; do wc -w "$f" done | sort -n | head -50< 300 字 可能是过于薄;考虑合并或删 300-800 字 看主题:troubleshooting/FAQ 类够,深 how-to 不够 ≥ 800 字 一般够,看质量 全站如果 ≥ 20% 是 < 500 字的同质内容 → 整站权威被拉低行动:建一份
thin_content.csv,标merge / rewrite / noindex,按 scale-content-with-ai-safely 的 #8 复盘流程清理。 -
给具体这一页加独家内容。最有效的补法(按 ROI 排序):
1. 加 1 张你自己做的真实数据图(你的 GA / 用户调研 / 实测) 工具:Datawrapper(免费)/ Google Sheets chart → PNG 2. 加 1 节"我们自己测过:N 天 / N 个样本,结果是 X" 3. 加 1 段反共识:"多数文章说 X,但我们实测发现 Y,原因是 Z" 4. 加比较表格:列出 3-5 个常见替代方案 + 你的具体维度对比 5. 加 FAQ 区:从 GSC 取真实 query,每条 ≤2 句答不要做:
- 加同义句重复同样信息 - 加无关 H2 凑长度("行业背景" "未来展望" 这种) - 改写得更"营销" 而不是更具体 -
改完 Request indexing。GSC URL Inspection → “Test Live URL” → 通过后 → “Request Indexing”。
- Request Indexing 按钮每个站点每天上限约 10-12 个 URL。 超额后按钮会灰掉("Quota exceeded"),冷却 24 小时。 - 等待 2-4 周;即便申请成功,收录也不是立刻发生。 - 收了 → 下个 URL 重复这套。 - 大改之后还没收 → 问题在站点权威,不是这一页本身。没有后门。手动申请只是让这个 URL 提前重新排队评估,无法越过质量判断;对没改过的页面反复申请,只会让 Google 重新确认原来的结论。
这里要顺手破两个工具迷思:
- Indexing API 不是干这个的。Google 把它限制在带
JobPosting或嵌在VideoObject里的BroadcastEvent结构化数据的页面(招聘信息和直播)。博客文章、产品页拿它去推,Google 会忽略——而且频繁 ping 反而有害。见 Google 的 Indexing API 配额文档。 - Search Console API 的 URL Inspection 端点是用来批量查状态的,不是强制收录的。它的配额(截至 2026 年 6 月)是每站点每天 2,000 次、每分钟 600 次,见 Google 公布的限额——适合程序化审计 500+ 个 URL,但对收录毫无帮助。
- Indexing API 不是干这个的。Google 把它限制在带
-
长期:每月 ≥ 1 条高质量外链。这是从 “crawled not indexed” 桶里挪出 URL 最强的信号:
有效外链类型(按权威性排): 1. 行业头部 newsletter / blog 主动引用 很难,但 1 条顶 50 条普通 2. Hacker News / Product Hunt 当天上首页 可遇不可求 3. Reddit / X 大账号转发 可主动 outreach 4. 同领域独立博客 / 中型 newsletter 引用 中等难度 5. GitHub star 与 README 反链 写工具时副产品 不要做的: - 买外链(Google 反向工程很强) - 互链 spam("我们交换 1 条") - 评论区灌外链每月日历加 1 件事
本月外链 outreach:选 5 个相关行业内容主,准备 1 段 30 秒的”我写过 X,你可能感兴趣”邮件,主动 reach out。5 条命中 1 条就值。
容易踩的坑
- 当成技术 bug 处理。基本没有技术修复。重新提交 sitemap、删空白、改 meta 标签,改变不了「不够好」这个判断。
- 反复申请收录。每次申请只是让 Google 重新确认它原来的决定。先改页面,只申请一次。
- 加字数但不加价值。Google 不是「越长越好」——补 500 字水分反而扣分。
- 迷信 schema / 结构化数据修复。结构化数据改变结果的展示样式(富摘要),不会把「未收录」翻成「已收录」。同理,Google Indexing API 也帮不上忙——它只支持
JobPosting和BroadcastEvent页面,不支持文章。 - 忽视全站信号质量。一篇薄文章能容忍,一个 80% 都是薄文章的站,长尾整体会卡在这个桶里。
这篇适合谁
已经过 30+ 文章的独立内容站、博客、SaaS 营销站——尤其是看到长尾文章 Google 读了但不收录的情况。
这篇不适合谁
上线不到 30 天的全新站。新站的「Crawled — not indexed」不是判决——只是「还在评估」。先等 60-90 天再动手。
FAQ
- 在这个桶里的页面以后还能被收录吗?: 可能。Google 会定期重新评估。如果你改好了页面、整站信号也提升,30-90 天内不少 URL 会被重新收录。如果什么都没变,它们经常会一直卡着。
- 是惩罚吗?: 不是。是质量 / 优先级判断,不是 manual action。Manual action 会在 Manual Actions 报告里显示,写得很明确。
- 删掉这些 URL 对站点其他页有帮助吗?: 有时有。如果 100 页薄 + 20 页好,删那 100 页能拉起这 20 页。先小范围测,别反射性大删。
- 一个 URL 等多久能确认是真卡死了?: 实质性重写 + 申请收录后等 30 天。还是没收录、页面也确实强,瓶颈在站点权威——不是这页本身。
- Google Indexing API 能强制收录我的文章吗?: 不能。Google 官方把 Indexing API 限制在带
JobPosting或嵌在VideoObject里的BroadcastEvent标记的页面。普通文章的调用会被忽略,而那些滥用它的第三方「秒收录」服务往往弊大于利。单个页面用 Request Indexing,批量靠一份干净的 sitemap。