noindex / nofollow / disallow 区别与选用
三个控制项做三件不同的事。选错了，要么页面漏进索引、要么浪费抓取预算、要么把页面藏得连 Google 都掉不掉。
#robots.txt
带有该标签的文章
Meta robots vs X-Robots-Tag——谁说了算
`<meta name="robots">` 与 `X-Robots-Tag` HTTP header 冲突时行为不可预测——怎么选、怎么保持一致。
Robots meta 与 sitemap 说法不一致
sitemap.xml 列出了带 `<meta name="robots" content="noindex">` 的 URL。Google 报警但结果不一致——为什么、怎么修。
Next.js sitemap / robots 基础
正确放出 sitemap 和 robots.txt 对 SEO 是底线。本文给 2026 年 App Router 的标准写法。
robots.txt 是什么——能放什么、绝对不要放什么
独立站的 robots.txt 实操指南——能跑的两行默认、悄悄毁掉收录的几条规则、以及 robots.txt 和 noindex 的区别。
标签页要不要 noindex？（基本上：要）
WordPress 时代的老问题，2026 年的清晰答案——什么时候标签归档对 SEO 有用、什么时候在拖后腿，以及具体的 noindex 写法。