Как отслеживать индексацию и ошибки
На этой странице
Индексацию отслеживают по типам страниц: какие URL поисковик знает, какие проиндексировал и почему исключил остальные. Основные инструменты — отчёт «Индексирование страниц» и «Проверка URL» в Search Console, «Страницы в поиске» в Яндекс Вебмастере, отчёты по sitemap (сколько отправленных URL в индексе), логи сервера (что реально обходит робот), регулярный краулинг и алерты на всплески 404/5xx. Не каждая исключённая страница — проблема: корзина и сортировки и должны быть вне индекса. Проблема — когда выпадают важные посадочные.
Вопрос
Как отслеживать индексацию сайта и находить ошибки?
Источники
| Источник | Что даёт |
|---|---|
| Search Console → Индексирование страниц | Причины исключения, примеры URL, динамика |
| Search Console → Проверка URL | Статус конкретной страницы, canonical, рендер |
| Отчёт Sitemap | Отправлено vs проиндексировано по разделам |
| Яндекс Вебмастер → Страницы в поиске | Добавленные и исключённые с причинами |
| Логи сервера | Реальные запросы Googlebot/YandexBot, коды ответов |
| Краулер | Технические ошибки по всему сайту |
site:example.com | Очень грубая оценка, не для аналитики |
Причины исключения и действия
| Статус | Что делать |
|---|---|
| Обнаружена, не проиндексирована | Внутренние ссылки, качество, скорость сервера, приоритет в sitemap |
| Просканирована, не проиндексирована | Уникальность и полезность контента, дубли, качество шаблона |
| Google выбрал другую каноническую | Согласовать canonical, ссылки, sitemap, редиректы |
| Исключено тегом noindex | Убедиться, что задумано |
| Заблокировано в robots.txt | Убедиться, что задумано |
| Ложная ошибка 404 | Вернуть 404 или наполнить страницу |
| Ошибка сервера (5xx) | Мониторинг, нагрузка, таймауты SSR |
| Страница с переадресацией | Нормально для старых URL, обновить внутренние ссылки |
Когда волноваться
Нормально, если исключены: корзина, оформление заказа, внутренний поиск, сортировки, параметры, дубли с canonical, служебные страницы.
Проблема, если исключены: категории, товары, статьи, посадочные; если число проиндексированных страниц резко упало; если растёт число 5xx или «Ложных 404».
Мониторинг после релиза
- Ежедневно первые 1–2 недели: 404/5xx в логах и Search Console.
- Еженедельно: отчёт «Индексирование» по разделам (через отдельные sitemap).
- Алерты: всплеск 5xx,
noindexна важных шаблонах (автотест), изменение robots.txt.
Логи сервера
66.249.66.1 - - [24/Oct/2026:10:15:02 +0300] "GET /products/keychron-k2 HTTP/1.1" 200 54321 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; ...)"Анализ логов показывает, какие разделы робот обходит часто, а какие игнорирует, сколько запросов уходит на параметры и ошибки. Настоящий Googlebot проверяют обратным DNS-запросом — User-Agent легко подделать.
Частые ошибки
- Считать каждую исключённую страницу проблемой.
- Смотреть общее число без разбивки по разделам.
- Злоупотреблять «Запросить индексирование» вместо исправления причин.
- Не проверять индексацию после миграций и крупных релизов.
Что важно помнить
- Индексацию оценивают по типам страниц.
- Важные URL: 200, индексируемы, канонические, в sitemap, с внутренними ссылками.
- Логи сервера — правда о поведении робота.
Мини-шпаргалка
- «Индексирование страниц» + «Проверка URL».
- Отдельные sitemap по разделам.
- Вебмастер для Яндекса.
- Логи с проверкой Googlebot.
- Excluded ≠ ошибка.
Связанные темы
- Как работает sitemap.xml
- Как читать Google Search Console
- Как не сломать SEO при редизайне или миграции
Документация
Search Console Help: Page indexing report, Google Search Central: Verifying Googlebot.