最快的修法： 一个 URL 要么在 sitemap.xml 里，要么带 noindex，绝不能两个都要。逐个决定你想不想收录它，然后从其中一边删掉。用下面的审计命令拉出冲突清单，修好可信源，重新构建，重新提交 sitemap，再在 Search Console 里点 Validate Fix。
Search Console 在一批 URL 上报 “Excluded by ‘noindex’ tag”（有时是 “Indexed, though blocked by robots.txt”）。仔细一看，这些 URL 都在你的 sitemap.xml 里。sitemap 说”请收录这个”，noindex meta 说”请别收”。两个信号同时打在一个 URL 上，等于给 Google 两条互相矛盾的指令，结果就开始飘——有些页被收了，有些没收，到底收哪些你已经控制不了。
根因几乎都是 sitemap 生成跟 noindex 决策读的是两套不同的可信源。修法就是让它们共用同一套。
先判断你属于哪一类
| sitemap 里的症状 | 可能原因 | 修法 |
|---|---|---|
| 列出了草稿 / 已撤回的文章 | 生成器扫所有文件，忽略 draft | 把草稿从 sitemap 里过滤掉 |
列出了 ?page=2、/page/3/ | 分页 URL 被自动收集，却又打了 noindex | 从 sitemap 排除分页路径 |
列出了 /author/、/tag/、/category/ | 薄归档页打了 noindex 却被自动发现 | 排除这些路径前缀 |
真实文章在列、但渲染出 noindex | 模板 bug（locale/字段判断错误） | 修模板条件，保留在 sitemap |
| 刚撤回的 URL 还在列 | sitemap 陈旧 | 重新生成 sitemap |
常见原因
按命中率从高到低。
1. sitemap 拉所有路由；noindex 由模板决定
你的 build 从”所有存在的 URL”生成 sitemap。layout 按 frontmatter（draft: true）或分类逻辑加 noindex。sitemap 生成器根本看不到这个决策，于是把所有都列了。
这在 Astro 站点上尤其常见。按官方 @astrojs/sitemap 文档的说法，该集成”can’t analyze a given page’s source code”（无法分析页面源码），所以它没有任何办法从 frontmatter 里读到 noindex 或 draft。除非你在 filter() 或 serialize() 里自己把这些 URL 排除掉，否则不管页面渲染成什么样，它们都会进 sitemap。
怎么判断：
# 对照 sitemap URL 与真正渲染出 noindex 的页
xmllint --xpath '//*[local-name()="loc"]' sitemap.xml | grep -oP 'https://[^<]+' > /tmp/sitemap_urls.txt
while read url; do
if curl -s "$url" | grep -q 'name="robots" content="[^"]*noindex'; then
echo "CONFLICT: $url"
fi
done < /tmp/sitemap_urls.txt有任何输出就是 sitemap/noindex 冲突。
2. 分页页带 noindex 但又在 sitemap 里
你给 ?page=2 起的页加了 noindex 防重复内容。sitemap 生成器把所有 URL（包括分页）都拉了。
怎么判断： 在 sitemap 里搜 ?page=、/page/N/ 之类。出现、且这些页渲染 noindex，就是冲突。
3. 作者 / 标签 / 归档页被自动列入
你给 /author/foo/（薄个人页）加了 noindex。sitemap 自动发现所有路由，就把作者页加了进来。
怎么判断： 看 sitemap 里有没有 /author/、/tag/、/category/，再跟 noindex 列表对照。
4. 草稿页不小心进了 sitemap
draft: true 的页面会吐出 noindex。sitemap 生成器扫 *.mdx 时没按 draft 过滤。
怎么判断： Astro 的 sitemap 集成视配置可能包含草稿。因为它读不到 frontmatter，你必须在 filter() 里按 URL 模式排除草稿——去 astro.config.mjs 检查这一段。
5. frontmatter 说发布、但模板因 bug 渲染了 noindex
模板里某个条件错误地触发了 noindex（缺字段、locale 判断写错）。sitemap 合理地包含了这页，模板却错误地给它加了 noindex。
怎么判断： 手动检查被标记的页，把它的 frontmatter 跟渲染 HTML 里的 robots meta 对照（对线上 URL 用 view-source:）。
6. URL 已发布、后来改成 draft、但 sitemap 没重新生成
你把 draft: false 改成 draft: true 撤回了页面。模板现在吐 noindex，但 sitemap 陈旧，还列着那个 URL。
怎么判断： 最近撤回的文章还在 sitemap 里，就是 sitemap 陈旧。
最短修复路径
第 1 步：让 sitemap 和 noindex 共用单一可信源
Astro 里，filter() 回调拿到的是页面的完整 URL 字符串（含你的域名），返回 true 才保留。由于该集成看不到 frontmatter，要靠路径约定、或一份预先算好的 noindex URL 集合来驱动排除：
// astro.config.mjs
import sitemap from '@astrojs/sitemap';
export default defineConfig({
integrations: [
sitemap({
// `page` 是绝对 URL 字符串，例如 'https://yoursite.com/author/foo/'
filter: (page) =>
!page.includes('/draft/') &&
!page.includes('/author/') &&
!/\/page\/\d+\//.test(page) &&
!page.includes('?page='),
}),
],
});要让 build 逐页跟踪 noindex，就先把这份集合生成出来（比如渲染时把 slug 写进一个 JSON），然后在 filter() 里查它，这样两边就不会再飘。
Next.js / next-sitemap：
// next-sitemap.config.js
module.exports = {
siteUrl: 'https://yoursite.com',
exclude: ['/draft/*', '/author/*', '/api/*'],
// 或者程序化处理，返回 null 来丢弃某个 URL：
transform: async (config, path) => {
if (await isNoindex(path)) return null;
return { loc: path, changefreq: 'weekly', priority: 0.7 };
},
};第 2 步：审线上 sitemap 找冲突
# 拉所有 URL，逐个查 noindex
curl -s https://yoursite.com/sitemap.xml | grep -oP '<loc>\K[^<]+' | while read url; do
if curl -s "$url" | grep -q 'name="robots"[^>]*content="[^"]*noindex'; then
echo "$url"
fi
done > /tmp/conflicts.txt
wc -l /tmp/conflicts.txt如果你的 sitemap 是 sitemap index（含多个子 sitemap），顶层文件列的是子 sitemap 的 <loc>，不是页面 URL——要先抓每个子文件，或者直接把命令指向 sitemap-0.xml / 各子文件。
conflicts.txt 里每条 URL 都要做决定：保留 noindex（从 sitemap 移除），或去掉 noindex（保留在 sitemap）。
第 3 步：逐 URL 决定——收还是不收？
每个冲突问一句：这个 URL 对 Google 搜索者有独特价值吗？
- 有 -> 去掉
noindex，保留在 sitemap。要清掉 meta，可以渲染<meta name="robots" content="index, follow">，或者干脆不输出 robots meta。 - 没有 -> 保留
noindex，从 sitemap 移除。
分页页、空 bio 的作者页、空标签归档，通常是”没有”。有内容的真实文章，通常是”有”。
第 4 步：重新生成并重交 sitemap
清理后：
npm run build # 重新生成 sitemap
curl -s https://yoursite.com/sitemap.xml | grep -c '<loc>' # 确认 URL 数在 Search Console 里进 Indexing -> Sitemaps，把 sitemap URL 重新提交一遍，哪怕内容没变，这会促使 Google 重新抓取。对少数高优先级 URL，可以把每个粘进顶部的 URL Inspection 框点 Request Indexing——但配额很小（截至 2026 年 6 月，每个 property 大约 每天 10-12 个 URL，按滚动的 24 小时窗口计），所以批量重评还是靠 sitemap。
第 5 步：加 CI 校验，防止回退
// scripts/check-sitemap-noindex.mjs
import fs from 'node:fs';
const xml = fs.readFileSync('dist/sitemap-0.xml', 'utf8');
const urls = [...xml.matchAll(/<loc>([^<]+)<\/loc>/g)].map((m) => m[1]);
let bad = [];
for (const url of urls) {
const html = await fetch(url).then((r) => r.text());
if (/name="robots"[^>]*content="[^"]*noindex/.test(html)) bad.push(url);
}
if (bad.length) {
console.error('Sitemap contains noindex URLs:\n' + bad.join('\n'));
process.exit(1);
}构建后跑它，sitemap 里任何渲染 noindex 的 URL 都让构建失败。（只想本地校验的话，把 fetch 指向你的 preview server，或直接读构建出的 HTML 文件，别打生产。）
第 6 步：告诉 Search Console 并等它清
在 Search Console 里：进 Indexing -> Pages，下滑到 “Why pages aren’t indexed”，展开 “Excluded by ‘noindex’ tag”，点 Validate Fix。这是告诉 Google 这些 URL 可以重评了。验证一般在两周内完成，大站可能更久。“Excluded” 计数会随 Google 重爬而下降。
怎么确认修好了
- 第 2 步的审计命令打印零行。
- 对之前冲突的 URL 用
view-source:，看不到noindex（或者按你的决定，这个 URL 已经从 sitemap 消失）。 - 在 Search Console 里对修好的 URL 跑 URL Inspection，报告显示 “URL is on Google” 或 “Indexing allowed? Yes”。
- Pages 报告里 “Excluded by ‘noindex’ tag” 的计数在随后几周内呈下降趋势。
哪些情况可能不是你操作错了
Search Console 的告警会延迟几天。用 view-source: 对线上页面源码验证，比看报告准——你已经修好后，报告常常还显示旧数据。用 URL Inspection -> Test Live URL 按钮，能看到 Googlebot 此刻抓到的内容，而不是上次缓存的那次爬取。
容易误判的情况
有人想”加强” noindex，又在 robots.txt 里把这个 URL disallow 掉。这会适得其反：被 disallow 的页爬不到，Google 永远看不到 noindex meta。要是有外链指过来，Google 仍可能把这个光秃秃的 URL 无描述地收录——比原来还糟。只用一种机制：想让一个页面不进索引，就让它可被爬取、由它渲染 noindex。
预防建议
- sitemap 从”可发布且可索引”的过滤生成，绝不从所有路由生成。
- CI 校验：sitemap 中任何渲染
noindex的 URL 都让构建失败。 - 给一整类页面（分页、作者、草稿）决定
noindex时，在同一个 commit 里更新 sitemap filter。 - 永远不要把
robots.txt Disallow和noindex一起用——二选一。 - 每季度对照”想被收录”的清单审一次 sitemap。
FAQ
robots.txt 要 disallow 我的 noindex 页吗？
不要。Google 必须爬到一个页才能看到它的 noindex。Disallow 加 noindex 是最常见的脚下绊——爬虫被挡住，读不到 meta，而这个 URL 还可能因为外链而被收录。
我能用 X-Robots-Tag HTTP 头代替 meta 标签吗？
能。对 HTML 来说，X-Robots-Tag: noindex 响应头和 <meta name="robots" content="noindex"> 标签是等效的。对非 HTML 资源（PDF、图片），只能用响应头，因为它们带不了 meta 标签。
修好后 “Excluded by ‘noindex’ tag” 多久会清？ 点了 Validate Fix 之后，Google 重爬并重评大约要两周以内，大站可能更久。计数是逐步下降，不是一下子全清。
站上有 noindex 页本身是坏事吗？
不是。noindex 正是处理薄页或重复页的正确工具。问题只在于矛盾——一边打 noindex，一边又在 sitemap 里宣传这些 URL。
把 URL 从 sitemap 里删掉会让它掉出索引吗？
不会。sitemap 是发现提示，不是索引指令。要让页面掉出索引，它必须渲染 noindex（或返回 410/404）。从 sitemap 删掉只是不再宣传它。