noindex / nofollow / disallow 区别与选用
三个 SEO 控制项做三件不同的事。选错了，要么页面漏进索引、要么浪费抓取预算、要么把页面藏到连 Google 都掉不掉。
#robots.txt
带有该标签的文章
Meta robots vs X-Robots-Tag——谁说了算
`<meta name="robots">` 与 `X-Robots-Tag` HTTP header 冲突时，Google 会合并两者并取最严格的值。怎么用 curl 排查、怎么让两边保持一致。
sitemap 列出了带 noindex 的 URL（怎么解决这个冲突）
你的 sitemap.xml 列出了渲染 `<meta name="robots" content="noindex">` 的 URL。Google 有的收、有的不收。为什么会这样，怎么让两个信号一致。
Next.js 的 sitemap 与 robots.txt：App Router 标准写法（2026）
sitemap 和 robots.txt 是否正确，直接决定 Google 索不索引你的 Next.js 站。本文给出两者的 App Router 写法，已对照 Next.js 16 验证。
robots.txt 详解——能放什么、绝对不要放什么（2026）
独立站 robots.txt 实操指南：能跑的默认配置、悄悄毁掉收录的几条规则、robots.txt 与 noindex 的区别，以及 2026 年真正要管的 AI 爬虫（GPTBot、ClaudeBot、Google-Extended）。
标签页要不要 noindex？（多数站点：要）
什么时候标签归档对 SEO 有用、什么时候在拖后腿——附确切的 noindex 写法、千万别加的那条 robots.txt 规则，以及 WordPress、Astro、Next.js 的可直接复制代码。