re:re:actable
Урок 023 минуты чтения

Как работает поисковая система

На этой странице
Кратко

Путь страницы в выдачу состоит из этапов: discovery (поисковик узнаёт об URL из ссылок, sitemap, редиректов), crawling (робот скачивает страницу с учётом robots.txt и статус-кода), rendering (для JS-сайтов — выполнение JavaScript и получение итогового DOM), indexing (анализ контента, выбор канонической версии, решение сохранить страницу в индексе), ranking (выбор и упорядочивание результатов под запрос) и serving (показ с учётом языка, региона, устройства и формирование сниппета). Проблема на раннем этапе обнуляет все последующие: нельзя ранжировать страницу, которой нет в индексе.

Вопрос

Как поисковая система находит, индексирует и показывает страницы?

Этапы

Discovery → Crawling → Rendering → Indexing → Ranking → Serving

Discovery — обнаружение

Поисковик узнаёт об URL из внутренних и внешних ссылок, sitemap.xml, редиректов, ранее известных адресов, отправки через Search Console или IndexNow. Страница без входящих ссылок и вне sitemap («сирота») может так и остаться неизвестной.

Crawling — обход

GET /blog/seo-basics HTTP/1.1
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Важны: доступность сервера и скорость ответа, правила robots.txt, статус-код, отсутствие бесконечных URL (фильтры, календари, параметры сессий). Google обходит сайты преимущественно мобильным роботом (mobile-first indexing).

Rendering — рендеринг

Для страниц, контент которых формирует JavaScript, Google ставит страницу в очередь на рендеринг в headless Chromium. Проблемы возникают, если JS падает, контент появляется только после действия пользователя, API недоступен роботу, а ссылки не являются <a href>. Подробнее — в уроке Как Google обрабатывает JavaScript.

Indexing — индексация

Поисковик анализирует HTML, текст, заголовки, изображения, ссылки, structured data и мета-директивы, группирует дубли и выбирает каноническую версию. Страница может быть обойдена, но не проиндексирована: noindex, canonical на другой URL, дубль, низкое качество, soft 404.

Ranking — ранжирование

По запросу система выбирает лучшие ответы, учитывая релевантность и соответствие намерению, качество и полезность контента, авторитетность и доверие, удобство страницы (мобильность, скорость, HTTPS), свежесть, местоположение пользователя.

Serving — показ

Для конкретного пользователя поисковик решает, какую языковую версию показать, какой сниппет сформировать, показывать ли rich result, блок с картой, видео или AI-ответ.

Где что ломается

ЭтапТипичная проблемаИнструмент проверки
DiscoveryСтраница-сирота, нет в sitemapКраулер сайта, sitemap
CrawlingDisallow, 5xx, медленный серверrobots.txt, логи сервера, Search Console
RenderingПустой HTML, ошибка JSURL Inspection, curl
Indexingnoindex, canonical, дублиОтчёт «Индексирование страниц»
RankingНе закрыт intent, слабый контентАнализ выдачи, Search Console
ServingНеверная локаль, плохой сниппетhreflang, title/description

Частые ошибки

  • Улучшать контент страницы, которая закрыта от индексации.
  • Ждать, что поисковик сам найдёт страницу без ссылок.
  • Считать, что обход гарантирует индексацию.

Что важно помнить

  • Диагностику начинают с ранних этапов: доступна ли страница и есть ли она в индексе.
  • Индексация — решение поисковика, а не автоматическое следствие обхода.
  • Яндекс устроен похоже, но со своими особенностями — см. SEO под Яндекс.

Мини-шпаргалка

  • Discovery — узнал URL.
  • Crawling — скачал.
  • Rendering — выполнил JS.
  • Indexing — сохранил в индекс.
  • Ranking — выбрал для запроса.
  • Serving — показал пользователю.

Связанные темы

Документация

Google Search Central: How Google Search works, Google Search Central: Google crawlers.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам