re:re:actable
Урок 084 минуты чтения

Что такое crawl budget и faceted navigation

На этой странице
Кратко

Crawl budget — сколько URL поисковик готов и может обойти на сайте за период. Он зависит от ёмкости (как быстро и стабильно отвечает сервер) и спроса (насколько URL популярны и как часто меняются). Для сайтов до десятков тысяч страниц это редко проблема. Для магазинов и маркетплейсов главный враг — faceted navigation: фильтры, сортировки и их комбинации порождают миллионы URL, на обход которых уходит бюджет, а важные страницы обходятся реже. Решение — индексировать только полезные фильтры, остальные закрывать от обхода и не плодить на них ссылки.

Вопрос

Что такое crawl budget и как фильтры каталога влияют на обход сайта?

Из чего складывается

crawl budget = ёмкость обхода (сервер выдерживает) × спрос на обход (URL стоит обходить)
Что повышаетЧто тратит впустую
Быстрые стабильные ответы сервера5xx и таймауты — Google снижает скорость
Популярные, часто обновляемые страницыБесконечные фильтры и сортировки
Хорошая перелинковкаЦепочки редиректов
Актуальный sitemapSoft 404 и дубли
Параметры сессий и трекинга
«Календари» и другие бесконечные пространства URL

Faceted navigation

/laptops
/laptops?brand=apple
/laptops?brand=apple&ram=16
/laptops?brand=apple&ram=16&color=silver
/laptops?brand=apple&ram=16&color=silver&sort=price&page=3

10 фильтров по 5 значений с сортировкой и пагинацией дают сотни тысяч комбинаций с почти одинаковым контентом.

Какие фильтры индексировать

Индексируются комбинации, у которых есть спрос, уникальный набор товаров и ценность как посадочная страница:

✓ /laptops/apple            ← «ноутбуки apple» ищут
✓ /laptops/gaming           ← «игровые ноутбуки»
✗ /laptops?ram=16&color=silver&sort=price_desc

Индексируемым фильтрам дают «чистый» URL, уникальные title, h1 и описание, ссылки из навигации и место в sitemap.

Инструменты управления

ИнструментЭффект
robots.txt Disallow для параметровЭкономит обход, но URL может остаться известным
noindexУбирает из индекса, но обход продолжается
canonical на базовую страницуСклеивает сигналы, обход продолжается
Не ставить <a href> на мусорные комбинацииРобот не узнаёт о них (фильтры через форму или button с изменением состояния)
Clean-param (Яндекс)Яндекс склеивает и не обходит параметры
Нормализация порядка параметров?b=1&a=2 и ?a=2&b=1 → один URL
404 для бессмысленных комбинацийПустые и невалидные фильтры не живут как страницы

Google рекомендует для фильтров, которые не нужно индексировать, закрывать их в robots.txt и не отдавать на них индексируемые ссылки.

Как понять, что проблема есть

  • Отчёт «Статистика сканирования» в Search Console: много запросов к URL с параметрами, а важные страницы обходятся редко.
  • Новые товары долго не появляются в индексе.
  • Анализ логов сервера: какие URL реально запрашивает Googlebot (проверенный по reverse DNS) и как часто.

Частые ошибки

  • Ссылки <a href> на каждую комбинацию фильтров.
  • Индексировать все фильтры «для охвата» — тысячи тонких дублей.
  • Закрыть в robots.txt полезные посадочные фильтры.
  • Медленный сервер и 5xx — бюджет падает для всего сайта.

Что важно помнить

  • Crawl budget важен в основном для больших сайтов (сотни тысяч URL и больше).
  • Управление фильтрами — продуктовое и SEO-решение: какие комбинации заслуживают своей страницы.
  • Лучший способ сэкономить бюджет — не порождать мусорные URL вообще.

Мини-шпаргалка

  • Бюджет = ёмкость сервера × спрос на URL.
  • Фильтры — главный пожиратель бюджета.
  • Индексировать фильтры со спросом, остальное — robots.txt/без ссылок.
  • Нормализация параметров, Clean-param для Яндекса.
  • Логи сервера — правда о том, что обходит робот.

Связанные темы

Документация

Google Search Central: Crawl budget management, Google Search Central: Faceted navigation.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам