re:re:actable
Урок 045 минут чтения

Тестирование с AI-ассистентами: возможности и риски

На этой странице
Кратко

AI-ассистенты (Copilot, Claude, Cursor и агенты в IDE и CI) заметно ускоряют работу с тестами: генерируют черновики тестов по коду и требованиям, предлагают граничные случаи, пишут фабрики данных, page objects и MSW-хэндлеры, объясняют падения по логам и трассам, помогают мигрировать с Jest/Enzyme на Vitest/RTL. В Playwright появились агенты (планировщик, генератор и «лечащий» агент для упавших тестов), которые строят план тестирования по живому приложению и исправляют сломанные локаторы. Но у сгенерированных тестов типичные проблемы: они фиксируют текущее поведение вместо требуемого (если в коде баг, AI напишет тест, который этот баг закрепит), проверяют детали реализации, содержат лишние моки, слабые утверждения (toBeTruthy, toBeDefined), дублируют друг друга и раздувают набор. Правило: AI — помощник, ответственность за тест — на инженере. Пиши требования и сценарии сам (или ревьюй их особенно внимательно), проси тесты поведения по твоим правилам, проверяй, что каждый тест может упасть (сломай код — тест краснеет), и следи за качеством через ревью и мутационное тестирование.

Вопрос

Как эффективно использовать AI-ассистентов для написания тестов и какие риски у сгенерированных тестов?

Где AI полезен

ЗадачаКак использовать
Черновик тестов для чистой функцииДать требования + сигнатуру, попросить таблицу граничных случаев
Тест-дизайн«Перечисли классы эквивалентности и границы для правил скидок» — проверить и дополнить
Шаблонный кодФабрики, renderWithProviders, page objects, MSW-хэндлеры из OpenAPI
Разбор паденияЛог, трасса, дифф → гипотезы о причине flaky-теста
МиграцииEnzyme → RTL, Jest → Vitest, Cypress → Playwright
Покрытие«Какие ветки этой функции не покрыты тестами?» по отчёту coverage
E2ECodegen + агенты Playwright для черновика сценария и починки локаторов

Типичные проблемы сгенерированных тестов

// Сгенерированный тест: выглядит солидно, проверяет мало
it("renders correctly", () => {
  const { container } = render(<Checkout />);
  expect(container).toBeTruthy();                              // всегда true
  expect(container).toMatchSnapshot();                         // огромный снимок, никто не читает
});
 
it("calls setState", () => {
  const spy = vi.spyOn(React, "useState");                     // деталь реализации
  render(<Checkout />);
  expect(spy).toHaveBeenCalled();
});
 
it("calculates total", () => {
  expect(calcTotal(items)).toBe(items.reduce((s, i) => s + i.price, 0)); // повторяет реализацию (и её баг с qty)
});
ПроблемаКак заметить
Закрепление багаОжидаемые значения взяты из текущего вывода кода, а не из требований
Слабые утвержденияtoBeTruthy, toBeDefined, not.toThrow без проверки результата
Логика в тестеОжидание вычисляется тем же алгоритмом
Моки своих модулейТест проверяет порядок вызовов моков
Снимки «на всякий случай»Большие toMatchSnapshot
ДублиПять тестов проверяют одно и то же разными словами
Выдуманные APIМетоды библиотек, которых нет в твоей версии

Как просить

Плохо:  «Напиши тесты для Checkout.tsx»
 
Хорошо: «Напиши интеграционные тесты для <Checkout /> на Vitest + React Testing Library + user-event.
        Правила проекта: используй renderWithProviders из @/test/utils, сеть — через MSW (server.use),
        запросы — getByRole/getByLabelText, без снимков, без моков наших модулей.
        Сценарии (из требований):
        1. бесплатная доставка от 5 000 ₽, иначе 390 ₽;
        2. при ошибке 500 при оформлении — сообщение и кнопка «Повторить», данные формы сохраняются;
        3. кнопка «Оформить» заблокирована во время отправки.
        Ожидаемые значения бери из требований, а не из текущей реализации.»

Ещё лучше — хранить правила тестирования проекта в файле инструкций для ассистента (CLAUDE.md, .cursor/rules, copilot-instructions.md), чтобы они применялись автоматически.

Проверка сгенерированного теста

  • Тест проверяет требование, а не текущий вывод кода?
  • Сломай код (или поменяй ожидаемое значение) — тест краснеет с понятным сообщением?
  • Нет лишних моков, только границы (сеть, время)?
  • Запросы по ролям и подписям, без хрупких селекторов?
  • Нет дублей с существующими тестами?
  • API библиотек существует в версии проекта (тест запускается)?

Мутационное тестирование (Stryker) — объективная проверка: выжившие мутанты показывают, где AI-тесты ничего не проверяют.

Тестирование AI-функций продукта

Если продукт сам использует LLM (чат, генерация, поиск), появляются особые задачи:

ЧтоКак тестировать
UI стриминга, остановка, повтор, ошибкиОбычные тесты: мок потокового ответа (MSW с ReadableStream)
Структурированный выводВалидация схемой (Zod) — unit-тесты парсинга и обработки невалидного ответа
Инструменты (tool calling)Тесты прав и подтверждений как у любых серверных действий
Качество ответов моделиНе детерминированные unit-тесты, а evals: набор примеров + оценка (правила, эталоны, LLM-as-judge), отслеживание метрики между версиями промптов
БезопасностьТестовые сценарии prompt injection, утечки данных, санитизация вывода
// Мок стримингового ответа модели для теста UI
server.use(http.post("/api/chat", () => {
  const encoder = new TextEncoder();
  const stream = new ReadableStream({
    start(controller) {
      for (const chunk of ["Привет", ", ", "Анна!"]) controller.enqueue(encoder.encode(chunk));
      controller.close();
    },
  });
  return new HttpResponse(stream, { headers: { "Content-Type": "text/plain; charset=utf-8" } });
}));
// …
expect(await screen.findByText("Привет, Анна!")).toBeInTheDocument();

Что важно помнить

  • AI ускоряет рутину тестирования, но ответственность за тесты — на инженере.
  • Главный риск — тесты, закрепляющие текущий (возможно, ошибочный) вывод кода.
  • Давай требования, правила проекта и ограничения; проверяй, что тест может упасть.
  • Слабые утверждения, лишние моки и снимки — признаки плохих сгенерированных тестов.
  • AI-функции продукта: детерминированные тесты UI и схем + evals для качества ответов.

Мини-шпаргалка

  • Промпт: стек + правила + сценарии из требований + «ожидания из требований».
  • Правила тестирования — в файле инструкций ассистента.
  • Чек-лист: требование, падает ли, моки, локаторы, дубли, существующие API.
  • Stryker как проверка силы тестов.

Документация

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам