re:re:actable
Урок 063 минуты чтения

Как отслеживать индексацию и ошибки

На этой странице
Кратко

Индексацию отслеживают по типам страниц: какие URL поисковик знает, какие проиндексировал и почему исключил остальные. Основные инструменты — отчёт «Индексирование страниц» и «Проверка URL» в Search Console, «Страницы в поиске» в Яндекс Вебмастере, отчёты по sitemap (сколько отправленных URL в индексе), логи сервера (что реально обходит робот), регулярный краулинг и алерты на всплески 404/5xx. Не каждая исключённая страница — проблема: корзина и сортировки и должны быть вне индекса. Проблема — когда выпадают важные посадочные.

Вопрос

Как отслеживать индексацию сайта и находить ошибки?

Источники

ИсточникЧто даёт
Search Console → Индексирование страницПричины исключения, примеры URL, динамика
Search Console → Проверка URLСтатус конкретной страницы, canonical, рендер
Отчёт SitemapОтправлено vs проиндексировано по разделам
Яндекс Вебмастер → Страницы в поискеДобавленные и исключённые с причинами
Логи сервераРеальные запросы Googlebot/YandexBot, коды ответов
КраулерТехнические ошибки по всему сайту
site:example.comОчень грубая оценка, не для аналитики

Причины исключения и действия

СтатусЧто делать
Обнаружена, не проиндексированаВнутренние ссылки, качество, скорость сервера, приоритет в sitemap
Просканирована, не проиндексированаУникальность и полезность контента, дубли, качество шаблона
Google выбрал другую каноническуюСогласовать canonical, ссылки, sitemap, редиректы
Исключено тегом noindexУбедиться, что задумано
Заблокировано в robots.txtУбедиться, что задумано
Ложная ошибка 404Вернуть 404 или наполнить страницу
Ошибка сервера (5xx)Мониторинг, нагрузка, таймауты SSR
Страница с переадресациейНормально для старых URL, обновить внутренние ссылки

Когда волноваться

Нормально, если исключены: корзина, оформление заказа, внутренний поиск, сортировки, параметры, дубли с canonical, служебные страницы.

Проблема, если исключены: категории, товары, статьи, посадочные; если число проиндексированных страниц резко упало; если растёт число 5xx или «Ложных 404».

Мониторинг после релиза

  • Ежедневно первые 1–2 недели: 404/5xx в логах и Search Console.
  • Еженедельно: отчёт «Индексирование» по разделам (через отдельные sitemap).
  • Алерты: всплеск 5xx, noindex на важных шаблонах (автотест), изменение robots.txt.

Логи сервера

66.249.66.1 - - [24/Oct/2026:10:15:02 +0300] "GET /products/keychron-k2 HTTP/1.1" 200 54321 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; ...)"

Анализ логов показывает, какие разделы робот обходит часто, а какие игнорирует, сколько запросов уходит на параметры и ошибки. Настоящий Googlebot проверяют обратным DNS-запросом — User-Agent легко подделать.

Частые ошибки

  • Считать каждую исключённую страницу проблемой.
  • Смотреть общее число без разбивки по разделам.
  • Злоупотреблять «Запросить индексирование» вместо исправления причин.
  • Не проверять индексацию после миграций и крупных релизов.

Что важно помнить

  • Индексацию оценивают по типам страниц.
  • Важные URL: 200, индексируемы, канонические, в sitemap, с внутренними ссылками.
  • Логи сервера — правда о поведении робота.

Мини-шпаргалка

  • «Индексирование страниц» + «Проверка URL».
  • Отдельные sitemap по разделам.
  • Вебмастер для Яндекса.
  • Логи с проверкой Googlebot.
  • Excluded ≠ ошибка.

Связанные темы

Документация

Search Console Help: Page indexing report, Google Search Central: Verifying Googlebot.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам