标签页是 2010 年的想法,2026 年大多以「祖传垃圾」的形式残留。典型的独立博客每个标签生成一个归档页,攒到 200 个、每个只挂 1-3 篇文章,悄悄就上线了几百个近重复 URL:啥词都排不到,还白吃爬取预算。修复就一行 HTML,外加一条你千万别加的 robots.txt 规则。下面是该怎么判断、以及确切写法。
一句话结论
- 对约 95% 的独立内容站,标签归档默认加
<meta name="robots" content="noindex, follow">。 - 标签继续当浏览 / 过滤功能用。
noindex是把它从 Google 索引里拿掉,不是从你的导航里拿掉。 follow是必需的,不是可选的:它告诉 Google 继续顺着标签页上的文章链接爬,内链权重照样流向文章。- robots.txt 不要写
Disallow: /tag/。那会阻止爬取,Google 就永远读不到你的noindex——两头不讨好。 - 只有当你给某个标签写过原创介绍、且 Search Console 显示它在拿非品牌词 impressions 时,才让它被收录。
标签页到底是什么
标签归档是自动生成的页面,列出所有带某个标签的文章。问题出在结构上,不是表面:
- 标签会繁殖,分类不会。 分类是小而固定的分类法(5-15 个)。标签则不断累积,因为每个作者都在造新标签,于是 300 篇文章的博客动辄有 200 多个标签 URL。
- 它们彼此近重复,也和分类页近重复。 多数标签归档共用同一套模板、同一种 title 模式、还有大量重叠的文章列表。Google 看到的是一堆薄而重复的列表页,在和你真正的分类页、主题 hub 内卷。
- 它们消耗爬取预算。 按 Google 自己的爬取预算文档,Googlebot 抓取的每个 URL 都算数。
noindex页仍会先被爬、再被丢弃,所以真正的收益不是「Google 不再抓它们」,而是「Google 不再把薄页推到结果里,并随时间降低对它们的爬取频率」。(Google:爬取预算管理)
怎么判断你的标签页是负资产
下面任一条都是信号;占两条以上,就上 noindex:
- 标签页数量比文章数还多,或差不多。
- 大部分标签页只挂 1-2 篇文章。
- Search Console 的 Pages 报告里,成片标签 URL 落在 Crawled — currently not indexed 或 Duplicate without user-selected canonical 下。
- 你从没有意识地为任何一个标签写过原创介绍、当它是真正的着陆页。
结论
给标签归档上 <meta name="robots" content="noindex, follow">。用户照常按标签浏览,Google 不再收录这个归档。如果有某个标签确实值得当主题页排名(少见),别去收录原始归档——把它升级成真正的分类或手写 hub 页,配上原创介绍。这个判断见分类页要不要收录。
收录 vs noindex:决策表
| 情况 | 收录? | 指令 |
|---|---|---|
| 自动生成的标签,1-3 篇,无介绍 | 否 | noindex, follow |
| 和现有分类 / hub 重复的标签 | 否 | noindex, follow |
| 稳定拿非品牌词 impressions 的标签 | 可能 | 先补原创介绍,再 index, follow |
| 精选过、手写介绍的标签着陆页 | 是 | index, follow |
| 分类页(小而固定的分类法) | 通常 | 见分类页那一篇 |
| 站内搜索结果、日期 / 格式归档 | 否 | noindex, follow |
实操步骤
- 找到标签的 URL 模式。 常见:
/tag/x/、/tags/x/、?tag=x。打开一个确认是真实页面。 - 每个标签归档加
noindex, follow。 保留follow,让 Google 仍然爬文章链接。noindex页别再放指向自身的 canonical——Google 的 robots-meta 文档指出,noindex页不应同时声称自己是 canonical。 - 从
sitemap.xml里去掉标签 URL。 sitemap 只该列出 canonical、可被收录的 URL;把noindexURL 放进 sitemap 是相互矛盾的信号。多数框架的 sitemap 集成都有filter/exclude选项过滤路由。 - robots.txt 里不要
Disallow标签路径。 你要让 Google 爬得到,才能读到noindex。Disallow+noindex是有文档记载的冲突——Google 根本没抓到,自然看不到那个 meta 标签。(见 robots.txt 该写什么。) - 用 URL Inspection 验证。 在 Search Console 里检查 2-3 个标签 URL,期望看到「Indexing allowed? No: ‘noindex’ detected in ‘robots’ meta tag」。已收录的标签 URL 随后会转入 Excluded by ‘noindex’ tag——活跃站点通常几天内,低优先级 URL 偶尔要几周。
- 整顿标签卫生。 50 个一次性标签合并成约 10 个有用的。好标签对读者仍是好过滤器,又不污染归档。
可直接复制的实现
WordPress(不写代码)。 两大 SEO 插件都有一键开关——注意:两者默认都不会给标签归档加 noindex,得你自己开:
- Yoast SEO: Search Appearance → Taxonomies → Tags → 「Show Tags in search results?」→ 关。(Yoast 默认给日期、格式、媒体归档加
noindex,但标签和分类是收录的。) - Rank Math: Titles & Meta → Tags → 打开 Tag Archives Robots Meta → 勾 No Index。(Rank Math 默认只对空标签归档 noindex。)
两个插件在你开启 noindex 后,都会自动把该分类法从 sitemap 里移除。
Astro(content collections)。 在标签路由布局上用一个 flag 渲染指令:
---
const isTagArchive = true; // 你的标签路由布局
const robots = isTagArchive ? "noindex, follow" : "index, follow";
---
<meta name="robots" content={robots} />
再把标签路由从 @astrojs/sitemap 里排除:
// astro.config.mjs
sitemap({ filter: (page) => !page.includes("/tags/") })
Next.js(App Router)。 从标签路由的 metadata 导出 robots:
// app/tags/[slug]/page.tsx
export const metadata = {
robots: { index: false, follow: true },
};
容易踩的坑
- robots.txt 里
Disallow: /tag/。 阻止爬取,Google 永远读不到noindex。这些 URL 仍可能以光秃秃的链接、没描述的样子出现在结果里。「可爬取 +noindex」才是真正能去索引的唯一组合。 - 写成
noindex, nofollow而不是noindex, follow。nofollow会让 Google 不再顺着标签页上的文章链接走——你白白扔掉了内链权重,毫无理由。 - 顺手把标签从站内导航里也删掉。 那标签对谁都没用了。导航里留着当过滤器,只是别让归档页被收录。
- 「升级」一个标签页去收录、却不写介绍。 一个被收录、但仍是光秃列表的标签页,还是薄内容问题,只是多绕了几步。先写一段真正的介绍。
- noindex 后还把标签 URL 留在 sitemap 里。 信号矛盾,还用你根本不想排名的 URL 把文件撑大。
这篇不适合谁
如果你是有意做了精选标签着陆页——写了原创介绍、有明确主题意图、还有内链把它们当 hub 指——那就像对待分类页一样收录它们。这合理,但少见,而且是你主动的决定,不是 CMS 默认丢给你的东西。
FAQ
- 某个标签页已经在排词了怎么办?:打开 Search Console → Performance,按那个 URL 过滤。如果它在某个非品牌词上有稳定 impressions,就留着收录、补原创介绍,让这个排名站得住脚。没有有效 impressions,就
noindex。 - 标签 noindex 会伤内链吗?:不会,因为你用的是
noindex, follow。Google 仍然爬、仍然顺着页面上的链接走,只是不收录页面本身。目标文章照样吃到链接信号。 - 老标签 URL 要不要做 301?:只在它们有值得保留的外链时做,而且只 301 到真正相关的目标(分类或 hub)。没有反向链接的标签 URL 留着当 noindex 页就行,不必重定向。
- 标签页多久会掉出索引?:Google 重新爬、看到
noindex后,URL 会转入 Excluded by ‘noindex’ tag。活跃站点通常几天,低优先级 URL 最多几周。催不动,也不用催。 - 这和分类页是同一个判断吗?:不是。分类是小而固定的分类法,写了介绍就能收录。标签会繁殖,很少配得上收录。算的是不同的账——见分类页那一篇。