re:re:actable
Урок 013 минуты чтения

Как robots.txt влияет на crawling

На этой странице
Кратко

robots.txt — текстовый файл в корне хоста (https://example.com/robots.txt) с правилами обхода для роботов: User-agent (для кого), Disallow/Allow (какие пути), Sitemap (где карта сайта). Он экономит crawl budget и закрывает технические разделы, но не запрещает индексацию: URL, на который ведут ссылки, может попасть в выдачу без описания. Для удаления из индекса нужен noindex, а для защиты данных — авторизация. Нельзя закрывать CSS, JS и изображения, нужные для рендеринга.

Вопрос

Как работает robots.txt и как он влияет на обход сайта?

Расположение

https://example.com/robots.txt        ← для example.com
https://blog.example.com/robots.txt   ← у поддомена свой файл
http://example.com/robots.txt         ← у другого протокола — тоже свой

Файл должен отдавать 200. При 404 робот считает, что ограничений нет; при 5xx Google временно прекращает обход сайта.

Синтаксис

User-agent: *
Disallow: /admin/
Disallow: /cart
Disallow: /*?sessionid=
Disallow: /*.pdf$
Allow: /admin/public/
 
User-agent: Googlebot-Image
Disallow: /private-images/
 
Sitemap: https://example.com/sitemap.xml
ДирективаСмысл
User-agentРобот, к которому относится группа правил (* — все)
DisallowЗапрещённый префикс пути
AllowРазрешение внутри запрещённой зоны
*Любая последовательность символов
$Конец URL
SitemapАбсолютный URL карты сайта (можно несколько)

При конфликте Allow и Disallow побеждает более длинное (специфичное) правило. Робот выбирает самую специфичную группу User-agent и игнорирует остальные — правила из * к Googlebot не добавляются, если для него есть своя группа.

Что закрывают

  • Административные разделы, корзину, личный кабинет (в дополнение к авторизации).
  • Внутренний поиск и бесконечные комбинации фильтров и сортировок.
  • Параметры сессий и трекинга.
  • Технические эндпоинты, не нужные поиску.

Что закрывать нельзя

  • CSS, JS, изображения, шрифты, нужные для рендеринга, — поисковик увидит сломанную страницу.
  • /_next/, /_nuxt/, /assets/ во frontend-приложениях.
  • Страницы с noindex, которые нужно убрать из индекса, — робот не увидит директиву.
  • API, из которого клиент загружает контент страницы (если страница рендерится на клиенте).

Робот не обязан слушаться

robots.txt соблюдают добросовестные краулеры. Вредоносные боты его игнорируют, а сам файл публичен и показывает, где «интересное». Поэтому приватные данные защищают авторизацией, а не robots.txt.

Особенности поисковиков

  • Google не поддерживает Crawl-delay — скорость обхода регулирует сам по ответам сервера.
  • Яндекс поддерживает Clean-param для параметров URL — см. SEO под Яндекс.
  • Для ИИ-краулеров используют отдельные токены (GPTBot, Google-Extended) — см. AI-поиск.

Частые ошибки

  • Disallow: / на production после переноса со staging.
  • Закрыть ресурсы, нужные для рендеринга.
  • Пытаться убрать страницу из индекса через Disallow.
  • Опечатка в пути: правила чувствительны к регистру.

Что важно помнить

  • robots.txt управляет обходом, а не индексацией.
  • Самое специфичное правило выигрывает.
  • Изменения проверяют отчётом robots.txt в Search Console и анализатором в Яндекс Вебмастере.

Мини-шпаргалка

  • Корень хоста, статус 200.
  • User-agent, Disallow, Allow, Sitemap, *, $.
  • Не закрывать CSS, JS, изображения.
  • Не для удаления из индекса и не для защиты.

Связанные темы

Документация

Google Search Central: Introduction to robots.txt, Google Search Central: How Google interprets robots.txt.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам