Тестирование с AI-ассистентами: возможности и риски
На этой странице
AI-ассистенты (Copilot, Claude, Cursor и агенты в IDE и CI) заметно ускоряют работу с тестами: генерируют черновики тестов по коду и требованиям, предлагают граничные случаи, пишут фабрики данных, page objects и MSW-хэндлеры, объясняют падения по логам и трассам, помогают мигрировать с Jest/Enzyme на Vitest/RTL. В Playwright появились агенты (планировщик, генератор и «лечащий» агент для упавших тестов), которые строят план тестирования по живому приложению и исправляют сломанные локаторы. Но у сгенерированных тестов типичные проблемы: они фиксируют текущее поведение вместо требуемого (если в коде баг, AI напишет тест, который этот баг закрепит), проверяют детали реализации, содержат лишние моки, слабые утверждения (toBeTruthy, toBeDefined), дублируют друг друга и раздувают набор. Правило: AI — помощник, ответственность за тест — на инженере. Пиши требования и сценарии сам (или ревьюй их особенно внимательно), проси тесты поведения по твоим правилам, проверяй, что каждый тест может упасть (сломай код — тест краснеет), и следи за качеством через ревью и мутационное тестирование.
Вопрос
Как эффективно использовать AI-ассистентов для написания тестов и какие риски у сгенерированных тестов?
Где AI полезен
| Задача | Как использовать |
|---|---|
| Черновик тестов для чистой функции | Дать требования + сигнатуру, попросить таблицу граничных случаев |
| Тест-дизайн | «Перечисли классы эквивалентности и границы для правил скидок» — проверить и дополнить |
| Шаблонный код | Фабрики, renderWithProviders, page objects, MSW-хэндлеры из OpenAPI |
| Разбор падения | Лог, трасса, дифф → гипотезы о причине flaky-теста |
| Миграции | Enzyme → RTL, Jest → Vitest, Cypress → Playwright |
| Покрытие | «Какие ветки этой функции не покрыты тестами?» по отчёту coverage |
| E2E | Codegen + агенты Playwright для черновика сценария и починки локаторов |
Типичные проблемы сгенерированных тестов
// Сгенерированный тест: выглядит солидно, проверяет мало
it("renders correctly", () => {
const { container } = render(<Checkout />);
expect(container).toBeTruthy(); // всегда true
expect(container).toMatchSnapshot(); // огромный снимок, никто не читает
});
it("calls setState", () => {
const spy = vi.spyOn(React, "useState"); // деталь реализации
render(<Checkout />);
expect(spy).toHaveBeenCalled();
});
it("calculates total", () => {
expect(calcTotal(items)).toBe(items.reduce((s, i) => s + i.price, 0)); // повторяет реализацию (и её баг с qty)
});| Проблема | Как заметить |
|---|---|
| Закрепление бага | Ожидаемые значения взяты из текущего вывода кода, а не из требований |
| Слабые утверждения | toBeTruthy, toBeDefined, not.toThrow без проверки результата |
| Логика в тесте | Ожидание вычисляется тем же алгоритмом |
| Моки своих модулей | Тест проверяет порядок вызовов моков |
| Снимки «на всякий случай» | Большие toMatchSnapshot |
| Дубли | Пять тестов проверяют одно и то же разными словами |
| Выдуманные API | Методы библиотек, которых нет в твоей версии |
Как просить
Плохо: «Напиши тесты для Checkout.tsx»
Хорошо: «Напиши интеграционные тесты для <Checkout /> на Vitest + React Testing Library + user-event.
Правила проекта: используй renderWithProviders из @/test/utils, сеть — через MSW (server.use),
запросы — getByRole/getByLabelText, без снимков, без моков наших модулей.
Сценарии (из требований):
1. бесплатная доставка от 5 000 ₽, иначе 390 ₽;
2. при ошибке 500 при оформлении — сообщение и кнопка «Повторить», данные формы сохраняются;
3. кнопка «Оформить» заблокирована во время отправки.
Ожидаемые значения бери из требований, а не из текущей реализации.»Ещё лучше — хранить правила тестирования проекта в файле инструкций для ассистента (CLAUDE.md, .cursor/rules, copilot-instructions.md), чтобы они применялись автоматически.
Проверка сгенерированного теста
- Тест проверяет требование, а не текущий вывод кода?
- Сломай код (или поменяй ожидаемое значение) — тест краснеет с понятным сообщением?
- Нет лишних моков, только границы (сеть, время)?
- Запросы по ролям и подписям, без хрупких селекторов?
- Нет дублей с существующими тестами?
- API библиотек существует в версии проекта (тест запускается)?
Мутационное тестирование (Stryker) — объективная проверка: выжившие мутанты показывают, где AI-тесты ничего не проверяют.
Тестирование AI-функций продукта
Если продукт сам использует LLM (чат, генерация, поиск), появляются особые задачи:
| Что | Как тестировать |
|---|---|
| UI стриминга, остановка, повтор, ошибки | Обычные тесты: мок потокового ответа (MSW с ReadableStream) |
| Структурированный вывод | Валидация схемой (Zod) — unit-тесты парсинга и обработки невалидного ответа |
| Инструменты (tool calling) | Тесты прав и подтверждений как у любых серверных действий |
| Качество ответов модели | Не детерминированные unit-тесты, а evals: набор примеров + оценка (правила, эталоны, LLM-as-judge), отслеживание метрики между версиями промптов |
| Безопасность | Тестовые сценарии prompt injection, утечки данных, санитизация вывода |
// Мок стримингового ответа модели для теста UI
server.use(http.post("/api/chat", () => {
const encoder = new TextEncoder();
const stream = new ReadableStream({
start(controller) {
for (const chunk of ["Привет", ", ", "Анна!"]) controller.enqueue(encoder.encode(chunk));
controller.close();
},
});
return new HttpResponse(stream, { headers: { "Content-Type": "text/plain; charset=utf-8" } });
}));
// …
expect(await screen.findByText("Привет, Анна!")).toBeInTheDocument();Что важно помнить
- AI ускоряет рутину тестирования, но ответственность за тесты — на инженере.
- Главный риск — тесты, закрепляющие текущий (возможно, ошибочный) вывод кода.
- Давай требования, правила проекта и ограничения; проверяй, что тест может упасть.
- Слабые утверждения, лишние моки и снимки — признаки плохих сгенерированных тестов.
- AI-функции продукта: детерминированные тесты UI и схем + evals для качества ответов.
Мини-шпаргалка
- Промпт: стек + правила + сценарии из требований + «ожидания из требований».
- Правила тестирования — в файле инструкций ассистента.
- Чек-лист: требование, падает ли, моки, локаторы, дубли, существующие API.
- Stryker как проверка силы тестов.