Как работает поисковая система
На этой странице
Путь страницы в выдачу состоит из этапов: discovery (поисковик узнаёт об URL из ссылок, sitemap, редиректов), crawling (робот скачивает страницу с учётом robots.txt и статус-кода), rendering (для JS-сайтов — выполнение JavaScript и получение итогового DOM), indexing (анализ контента, выбор канонической версии, решение сохранить страницу в индексе), ranking (выбор и упорядочивание результатов под запрос) и serving (показ с учётом языка, региона, устройства и формирование сниппета). Проблема на раннем этапе обнуляет все последующие: нельзя ранжировать страницу, которой нет в индексе.
Вопрос
Как поисковая система находит, индексирует и показывает страницы?
Этапы
Discovery → Crawling → Rendering → Indexing → Ranking → ServingDiscovery — обнаружение
Поисковик узнаёт об URL из внутренних и внешних ссылок, sitemap.xml, редиректов, ранее известных адресов, отправки через Search Console или IndexNow. Страница без входящих ссылок и вне sitemap («сирота») может так и остаться неизвестной.
Crawling — обход
GET /blog/seo-basics HTTP/1.1
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Важны: доступность сервера и скорость ответа, правила robots.txt, статус-код, отсутствие бесконечных URL (фильтры, календари, параметры сессий). Google обходит сайты преимущественно мобильным роботом (mobile-first indexing).
Rendering — рендеринг
Для страниц, контент которых формирует JavaScript, Google ставит страницу в очередь на рендеринг в headless Chromium. Проблемы возникают, если JS падает, контент появляется только после действия пользователя, API недоступен роботу, а ссылки не являются <a href>. Подробнее — в уроке Как Google обрабатывает JavaScript.
Indexing — индексация
Поисковик анализирует HTML, текст, заголовки, изображения, ссылки, structured data и мета-директивы, группирует дубли и выбирает каноническую версию. Страница может быть обойдена, но не проиндексирована: noindex, canonical на другой URL, дубль, низкое качество, soft 404.
Ranking — ранжирование
По запросу система выбирает лучшие ответы, учитывая релевантность и соответствие намерению, качество и полезность контента, авторитетность и доверие, удобство страницы (мобильность, скорость, HTTPS), свежесть, местоположение пользователя.
Serving — показ
Для конкретного пользователя поисковик решает, какую языковую версию показать, какой сниппет сформировать, показывать ли rich result, блок с картой, видео или AI-ответ.
Где что ломается
| Этап | Типичная проблема | Инструмент проверки |
|---|---|---|
| Discovery | Страница-сирота, нет в sitemap | Краулер сайта, sitemap |
| Crawling | Disallow, 5xx, медленный сервер | robots.txt, логи сервера, Search Console |
| Rendering | Пустой HTML, ошибка JS | URL Inspection, curl |
| Indexing | noindex, canonical, дубли | Отчёт «Индексирование страниц» |
| Ranking | Не закрыт intent, слабый контент | Анализ выдачи, Search Console |
| Serving | Неверная локаль, плохой сниппет | hreflang, title/description |
Частые ошибки
- Улучшать контент страницы, которая закрыта от индексации.
- Ждать, что поисковик сам найдёт страницу без ссылок.
- Считать, что обход гарантирует индексацию.
Что важно помнить
- Диагностику начинают с ранних этапов: доступна ли страница и есть ли она в индексе.
- Индексация — решение поисковика, а не автоматическое следствие обхода.
- Яндекс устроен похоже, но со своими особенностями — см. SEO под Яндекс.
Мини-шпаргалка
- Discovery — узнал URL.
- Crawling — скачал.
- Rendering — выполнил JS.
- Indexing — сохранил в индекс.
- Ranking — выбрал для запроса.
- Serving — показал пользователю.
Связанные темы
- Как robots.txt влияет на crawling
- Чем noindex отличается от robots.txt
- Что такое canonical и duplicate content
Документация
Google Search Central: How Google Search works, Google Search Central: Google crawlers.