Чем noindex отличается от robots.txt
На этой странице
robots.txt отвечает на вопрос «можно ли скачивать URL», а noindex — «можно ли показывать страницу в поиске». noindex задают мета-тегом <meta name="robots" content="noindex"> или заголовком X-Robots-Tag: noindex (для PDF и других не-HTML файлов). Чтобы увидеть noindex, робот должен скачать страницу, поэтому страницу с noindex нельзя одновременно закрывать в robots.txt — иначе директива не сработает, а URL может остаться в выдаче.
Вопрос
Чем noindex отличается от robots.txt и когда что использовать?
robots.txt — про обход
User-agent: *
Disallow: /private/Робот не скачивает страницы из /private/. Но если на них есть внешние ссылки, URL может появиться в выдаче с пометкой «описание недоступно».
noindex — про индекс
<meta name="robots" content="noindex, follow">
<meta name="googlebot" content="noindex"> <!-- только для Google -->X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollowЗаголовок удобен для PDF, изображений и других файлов, где нет <head>, и задаётся на уровне сервера:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex";
}Почему их нельзя совмещать
robots.txt: Disallow: /old-page
/old-page: <meta name="robots" content="noindex">Робот не заходит на /old-page и не видит noindex. Правильный порядок для удаления: открыть страницу для обхода, поставить noindex, дождаться выпадения из индекса и только потом при желании закрыть в robots.txt.
Что выбрать
| Задача | Инструмент |
|---|---|
| Не тратить обход на технические URL | robots.txt |
| Убрать страницу из выдачи | noindex |
| Страница удалена навсегда | 404 или 410 |
| Склеить дубли | rel="canonical" или 301 |
| Страница переехала | 301 |
| Скрыть приватный контент | Авторизация (401/403) |
| Срочно скрыть URL из выдачи Google | Инструмент «Удаления» в Search Console (временно, ~6 месяцев) + постоянное решение |
Другие директивы robots
| Значение | Смысл |
|---|---|
noindex | Не индексировать |
nofollow | Не переходить по ссылкам страницы |
none | noindex, nofollow |
nosnippet | Не показывать сниппет (и фрагменты в AI Overviews) |
max-snippet:N | Ограничить длину сниппета |
max-image-preview:large | Разрешить большие превью изображений |
noimageindex | Не индексировать изображения страницы |
unavailable_after: дата | Убрать из выдачи после даты |
Для ссылок есть атрибуты: rel="nofollow", rel="sponsored" (реклама, платные ссылки), rel="ugc" (пользовательский контент).
Во frontend-приложениях
- В SPA
noindex, добавленный JavaScript'ом, Google увидит только после рендеринга; надёжнее отдавать его в серверном HTML или заголовке. - Нельзя ставить
noindexв исходном HTML, рассчитывая, что JS его уберёт: Google может не дойти до рендеринга страницы сnoindex. - Staging-окружения закрывают
noindexчерез заголовок на уровне сервера или авторизацией.
Частые ошибки
- Закрывать в robots.txt страницы, которые нужно убрать из индекса.
- Оставить
noindexиз staging на production. - Ставить
noindexна пагинацию и терять индексацию товаров на дальних страницах. - Добавлять
noindexтолько на клиенте.
Что важно помнить
robots.txt— обход,noindex— индекс.- Для
noindexстраница должна быть доступна роботу. - Постоянный
noindexсо временем приводит к тому, что Google реже обходит страницу и перестаёт учитывать её ссылки.
Мини-шпаргалка
<meta name="robots" content="noindex">илиX-Robots-Tag.- Не совмещать
noindexиDisallow. - Удалено — 404/410, переехало — 301, дубль — canonical.
- Приватное — авторизация.
Связанные темы
- Как robots.txt влияет на crawling
- Что такое canonical и duplicate content
- Какие status codes важны для SEO
Документация
Google Search Central: Block indexing with noindex, Google Search Central: Robots meta tag.