Что такое crawl budget и faceted navigation
На этой странице
Crawl budget — сколько URL поисковик готов и может обойти на сайте за период. Он зависит от ёмкости (как быстро и стабильно отвечает сервер) и спроса (насколько URL популярны и как часто меняются). Для сайтов до десятков тысяч страниц это редко проблема. Для магазинов и маркетплейсов главный враг — faceted navigation: фильтры, сортировки и их комбинации порождают миллионы URL, на обход которых уходит бюджет, а важные страницы обходятся реже. Решение — индексировать только полезные фильтры, остальные закрывать от обхода и не плодить на них ссылки.
Вопрос
Что такое crawl budget и как фильтры каталога влияют на обход сайта?
Из чего складывается
crawl budget = ёмкость обхода (сервер выдерживает) × спрос на обход (URL стоит обходить)| Что повышает | Что тратит впустую |
|---|---|
| Быстрые стабильные ответы сервера | 5xx и таймауты — Google снижает скорость |
| Популярные, часто обновляемые страницы | Бесконечные фильтры и сортировки |
| Хорошая перелинковка | Цепочки редиректов |
| Актуальный sitemap | Soft 404 и дубли |
| Параметры сессий и трекинга | |
| «Календари» и другие бесконечные пространства URL |
Faceted navigation
/laptops
/laptops?brand=apple
/laptops?brand=apple&ram=16
/laptops?brand=apple&ram=16&color=silver
/laptops?brand=apple&ram=16&color=silver&sort=price&page=310 фильтров по 5 значений с сортировкой и пагинацией дают сотни тысяч комбинаций с почти одинаковым контентом.
Какие фильтры индексировать
Индексируются комбинации, у которых есть спрос, уникальный набор товаров и ценность как посадочная страница:
✓ /laptops/apple ← «ноутбуки apple» ищут
✓ /laptops/gaming ← «игровые ноутбуки»
✗ /laptops?ram=16&color=silver&sort=price_descИндексируемым фильтрам дают «чистый» URL, уникальные title, h1 и описание, ссылки из навигации и место в sitemap.
Инструменты управления
| Инструмент | Эффект |
|---|---|
robots.txt Disallow для параметров | Экономит обход, но URL может остаться известным |
noindex | Убирает из индекса, но обход продолжается |
| canonical на базовую страницу | Склеивает сигналы, обход продолжается |
Не ставить <a href> на мусорные комбинации | Робот не узнаёт о них (фильтры через форму или button с изменением состояния) |
Clean-param (Яндекс) | Яндекс склеивает и не обходит параметры |
| Нормализация порядка параметров | ?b=1&a=2 и ?a=2&b=1 → один URL |
| 404 для бессмысленных комбинаций | Пустые и невалидные фильтры не живут как страницы |
Google рекомендует для фильтров, которые не нужно индексировать, закрывать их в robots.txt и не отдавать на них индексируемые ссылки.
Как понять, что проблема есть
- Отчёт «Статистика сканирования» в Search Console: много запросов к URL с параметрами, а важные страницы обходятся редко.
- Новые товары долго не появляются в индексе.
- Анализ логов сервера: какие URL реально запрашивает Googlebot (проверенный по reverse DNS) и как часто.
Частые ошибки
- Ссылки
<a href>на каждую комбинацию фильтров. - Индексировать все фильтры «для охвата» — тысячи тонких дублей.
- Закрыть в robots.txt полезные посадочные фильтры.
- Медленный сервер и 5xx — бюджет падает для всего сайта.
Что важно помнить
- Crawl budget важен в основном для больших сайтов (сотни тысяч URL и больше).
- Управление фильтрами — продуктовое и SEO-решение: какие комбинации заслуживают своей страницы.
- Лучший способ сэкономить бюджет — не порождать мусорные URL вообще.
Мини-шпаргалка
- Бюджет = ёмкость сервера × спрос на URL.
- Фильтры — главный пожиратель бюджета.
- Индексировать фильтры со спросом, остальное — robots.txt/без ссылок.
- Нормализация параметров,
Clean-paramдля Яндекса. - Логи сервера — правда о том, что обходит робот.
Связанные темы
- Что такое canonical и duplicate content
- Как управлять пагинацией, фильтрами и сортировками
- Как делать SEO для e-commerce и каталогов
Документация
Google Search Central: Crawl budget management, Google Search Central: Faceted navigation.