re:re:actable
Урок 023 минуты чтения

Чем noindex отличается от robots.txt

На этой странице
Кратко

robots.txt отвечает на вопрос «можно ли скачивать URL», а noindex — «можно ли показывать страницу в поиске». noindex задают мета-тегом <meta name="robots" content="noindex"> или заголовком X-Robots-Tag: noindex (для PDF и других не-HTML файлов). Чтобы увидеть noindex, робот должен скачать страницу, поэтому страницу с noindex нельзя одновременно закрывать в robots.txt — иначе директива не сработает, а URL может остаться в выдаче.

Вопрос

Чем noindex отличается от robots.txt и когда что использовать?

robots.txt — про обход

User-agent: *
Disallow: /private/

Робот не скачивает страницы из /private/. Но если на них есть внешние ссылки, URL может появиться в выдаче с пометкой «описание недоступно».

noindex — про индекс

<meta name="robots" content="noindex, follow">
<meta name="googlebot" content="noindex">           <!-- только для Google -->
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollow

Заголовок удобен для PDF, изображений и других файлов, где нет <head>, и задаётся на уровне сервера:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex";
}

Почему их нельзя совмещать

robots.txt:  Disallow: /old-page
/old-page:   <meta name="robots" content="noindex">

Робот не заходит на /old-page и не видит noindex. Правильный порядок для удаления: открыть страницу для обхода, поставить noindex, дождаться выпадения из индекса и только потом при желании закрыть в robots.txt.

Что выбрать

ЗадачаИнструмент
Не тратить обход на технические URLrobots.txt
Убрать страницу из выдачиnoindex
Страница удалена навсегда404 или 410
Склеить дублиrel="canonical" или 301
Страница переехала301
Скрыть приватный контентАвторизация (401/403)
Срочно скрыть URL из выдачи GoogleИнструмент «Удаления» в Search Console (временно, ~6 месяцев) + постоянное решение

Другие директивы robots

ЗначениеСмысл
noindexНе индексировать
nofollowНе переходить по ссылкам страницы
nonenoindex, nofollow
nosnippetНе показывать сниппет (и фрагменты в AI Overviews)
max-snippet:NОграничить длину сниппета
max-image-preview:largeРазрешить большие превью изображений
noimageindexНе индексировать изображения страницы
unavailable_after: датаУбрать из выдачи после даты

Для ссылок есть атрибуты: rel="nofollow", rel="sponsored" (реклама, платные ссылки), rel="ugc" (пользовательский контент).

Во frontend-приложениях

  • В SPA noindex, добавленный JavaScript'ом, Google увидит только после рендеринга; надёжнее отдавать его в серверном HTML или заголовке.
  • Нельзя ставить noindex в исходном HTML, рассчитывая, что JS его уберёт: Google может не дойти до рендеринга страницы с noindex.
  • Staging-окружения закрывают noindex через заголовок на уровне сервера или авторизацией.

Частые ошибки

  • Закрывать в robots.txt страницы, которые нужно убрать из индекса.
  • Оставить noindex из staging на production.
  • Ставить noindex на пагинацию и терять индексацию товаров на дальних страницах.
  • Добавлять noindex только на клиенте.

Что важно помнить

  • robots.txt — обход, noindex — индекс.
  • Для noindex страница должна быть доступна роботу.
  • Постоянный noindex со временем приводит к тому, что Google реже обходит страницу и перестаёт учитывать её ссылки.

Мини-шпаргалка

  • <meta name="robots" content="noindex"> или X-Robots-Tag.
  • Не совмещать noindex и Disallow.
  • Удалено — 404/410, переехало — 301, дубль — canonical.
  • Приватное — авторизация.

Связанные темы

Документация

Google Search Central: Block indexing with noindex, Google Search Central: Robots meta tag.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам