Как robots.txt влияет на crawling
На этой странице
robots.txt — текстовый файл в корне хоста (https://example.com/robots.txt) с правилами обхода для роботов: User-agent (для кого), Disallow/Allow (какие пути), Sitemap (где карта сайта). Он экономит crawl budget и закрывает технические разделы, но не запрещает индексацию: URL, на который ведут ссылки, может попасть в выдачу без описания. Для удаления из индекса нужен noindex, а для защиты данных — авторизация. Нельзя закрывать CSS, JS и изображения, нужные для рендеринга.
Вопрос
Как работает robots.txt и как он влияет на обход сайта?
Расположение
https://example.com/robots.txt ← для example.com
https://blog.example.com/robots.txt ← у поддомена свой файл
http://example.com/robots.txt ← у другого протокола — тоже свойФайл должен отдавать 200. При 404 робот считает, что ограничений нет; при 5xx Google временно прекращает обход сайта.
Синтаксис
User-agent: *
Disallow: /admin/
Disallow: /cart
Disallow: /*?sessionid=
Disallow: /*.pdf$
Allow: /admin/public/
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://example.com/sitemap.xml| Директива | Смысл |
|---|---|
User-agent | Робот, к которому относится группа правил (* — все) |
Disallow | Запрещённый префикс пути |
Allow | Разрешение внутри запрещённой зоны |
* | Любая последовательность символов |
$ | Конец URL |
Sitemap | Абсолютный URL карты сайта (можно несколько) |
При конфликте Allow и Disallow побеждает более длинное (специфичное) правило. Робот выбирает самую специфичную группу User-agent и игнорирует остальные — правила из * к Googlebot не добавляются, если для него есть своя группа.
Что закрывают
- Административные разделы, корзину, личный кабинет (в дополнение к авторизации).
- Внутренний поиск и бесконечные комбинации фильтров и сортировок.
- Параметры сессий и трекинга.
- Технические эндпоинты, не нужные поиску.
Что закрывать нельзя
- CSS, JS, изображения, шрифты, нужные для рендеринга, — поисковик увидит сломанную страницу.
/_next/,/_nuxt/,/assets/во frontend-приложениях.- Страницы с
noindex, которые нужно убрать из индекса, — робот не увидит директиву. - API, из которого клиент загружает контент страницы (если страница рендерится на клиенте).
Робот не обязан слушаться
robots.txt соблюдают добросовестные краулеры. Вредоносные боты его игнорируют, а сам файл публичен и показывает, где «интересное». Поэтому приватные данные защищают авторизацией, а не robots.txt.
Особенности поисковиков
- Google не поддерживает
Crawl-delay— скорость обхода регулирует сам по ответам сервера. - Яндекс поддерживает
Clean-paramдля параметров URL — см. SEO под Яндекс. - Для ИИ-краулеров используют отдельные токены (
GPTBot,Google-Extended) — см. AI-поиск.
Частые ошибки
Disallow: /на production после переноса со staging.- Закрыть ресурсы, нужные для рендеринга.
- Пытаться убрать страницу из индекса через
Disallow. - Опечатка в пути: правила чувствительны к регистру.
Что важно помнить
- robots.txt управляет обходом, а не индексацией.
- Самое специфичное правило выигрывает.
- Изменения проверяют отчётом robots.txt в Search Console и анализатором в Яндекс Вебмастере.
Мини-шпаргалка
- Корень хоста, статус 200.
User-agent,Disallow,Allow,Sitemap,*,$.- Не закрывать CSS, JS, изображения.
- Не для удаления из индекса и не для защиты.
Связанные темы
- Чем noindex отличается от robots.txt
- Как работает sitemap.xml
- Что такое crawl budget и faceted navigation
Документация
Google Search Central: Introduction to robots.txt, Google Search Central: How Google interprets robots.txt.