Что такое robots metadata
На этой странице
Robots metadata - инструкции в метатегах страницы для поддерживающих их поисковых роботов: например, не добавлять страницу в индекс или ограничить отображение ее содержимого.
Вопрос
Как попросить поисковик не показывать служебную страницу и почему это не способ защиты данных?
Основная идея
Поисковый индекс - база страниц, из которой поисковик формирует результаты. Некоторые публично доступные страницы, например вход или результаты внутреннего поиска, не обязательно должны появляться в этой базе.
Директива noindex просит не включать страницу в индекс. nofollow отдельно относится к обработке ссылок на ней. Это разные задачи: запрет индексации страницы не требует автоматически запрещать работу со всеми ее ссылками.
В App Router настройки описываются через поле robots объекта Metadata. Next.js преобразует их в метатег документа.
Пример: страница входа вне индекса
// app/login/page.tsx
import type { Metadata } from "next";
export const metadata: Metadata = {
title: "Вход в аккаунт",
robots: {
index: false,
follow: true,
},
};
export default function Page() {
return (
<main>
<h1>Вход в аккаунт</h1>
<p>Учебная страница для формы авторизации.</p>
</main>
);
}В результате появится инструкция:
<meta name="robots" content="noindex, follow" />Она просит совместимый поисковик не показывать саму страницу в выдаче, сохраняя возможность обработки ссылок. Код примера не выполняет вход и не ограничивает доступ: это отдельные задачи приложения.
Что важно помнить
Robots metadata не является авторизацией. Посетитель, знающий адрес, по-прежнему может открыть публичную страницу, а недобросовестный робот может игнорировать инструкции. Закрытые данные защищают серверными проверками доступа.
robots.txt регулирует обход адресов до загрузки страницы. Если запретить обход URL через robots.txt, поисковик может не прочитать его noindex. Поэтому это не взаимозаменяемые настройки.
index: true не гарантирует попадание в поиск, а noindex не удаляет страницу из выдачи мгновенно: поисковику нужно увидеть обновленную инструкцию. Поддержка дополнительных директив зависит от конкретного поисковика.
Мини-шпаргалка
index: falseформируетnoindex.followуправляет отдельной инструкцией о ссылках.- Robots metadata должна быть прочитана роботом.
- Конфиденциальность обеспечивает проверка доступа на сервере.