re:re:actable
Урок 055 минут чтения

Нестабильные тесты: причины, отладка и Trace Viewer

На этой странице
Кратко

Flaky-тест иногда проходит, иногда падает без изменений в коде. Это хуже отсутствия теста: команда перестаёт доверять CI, нажимает «перезапустить» и пропускает настоящие баги. Типичные причины: гонки и ожидания (waitForTimeout, проверка без автоожидания, клик до гидрации), общие данные между параллельными тестами, зависимость от порядка тестов, время и случайность (даты, таймзоны, анимации), внешние сервисы и сеть, нестабильные локаторы (.nth(3), CSS-классы), ресурсы CI (медленная машина, таймауты). Лечат причину, а не симптом: web-first утверждения, изоляция данных, фиксированное время, моки внешних сервисов, ожидание конкретного события. Инструменты Playwright: Trace Viewer (покадровая запись действий, DOM-снимки, сеть, консоль), UI mode, --repeat-each и --retries для воспроизведения, отчёт с пометкой flaky (упал, потом прошёл на ретрае). Ретраи в CI допустимы как страховка, но каждый flaky-тест должен попадать в список на исправление (или в карантин с владельцем).

Вопрос

Почему тесты бывают нестабильными и как находить и исправлять такие тесты? Как пользоваться Trace Viewer?

Причины и лечение

ПричинаПримерИсправление
Жёсткое ожиданиеwaitForTimeout(1000)await expect(locator).toBeVisible()
Проверка без повторовexpect(await loc.isVisible()).toBe(true)await expect(loc).toBeVisible()
Клик до гидрацииКнопка в SSR-HTML уже есть, обработчик ещё нетДождаться признака готовности (элемент, который рендерится только на клиенте), или сделать форму рабочей без JS (Server Action)
Общие данныеДва теста меняют одного пользователяПользователь/данные на тест или воркер
Порядок тестовТест B использует заказ, созданный тестом AКаждый тест готовит своё; fullyParallel: true выявит зависимость
Время«Сегодня» в UI, таймзона CIpage.clock.setFixedTime(...), timezoneId в конфиге
АнимацииКлик по движущемуся элементуАвтоожидание стабильности; reducedMotion: "reduce"
Внешние сервисыЧат поддержки перекрывает кнопкуБлокировать через page.route
Нестрогие локаторы.nth(2), текст, который встречается дваждыРоль + имя, filter, within-область
Виртуализация/ленивая загрузкаЭлемент вне экрана не отрендеренСкролл через scrollIntoViewIfNeeded или поиск через UI
Ресурсы CIТаймауты на медленной машинеМеньше воркеров, шардирование, адекватные таймауты
Утечка состоянияlocalStorage с прошлого тестаНовый контекст на тест (по умолчанию)

Управление временем

test("баннер акции показывается до конца распродажи", async ({ page }) => {
  await page.clock.setFixedTime(new Date("2026-11-28T10:00:00+03:00"));
  await page.goto("/");
  await expect(page.getByText("Чёрная пятница — до 30 ноября")).toBeVisible();
});
 
test("сессия истекает через 30 минут бездействия", async ({ page }) => {
  await page.clock.install();
  await page.goto("/account");
  await page.clock.fastForward("31:00");
  await expect(page.getByRole("dialog", { name: "Сессия истекла" })).toBeVisible();
});

Воспроизведение

pnpm exec playwright test cart.spec.ts --repeat-each=20          # прогнать 20 раз
pnpm exec playwright test --repeat-each=10 --workers=8           # нагрузка как в CI
pnpm exec playwright test --retries=2                            # отчёт пометит flaky
pnpm exec playwright test --ui                                   # пошаговый просмотр
pnpm exec playwright test --debug                                # Playwright Inspector, пауза
PWDEBUG=console pnpm exec playwright test                        # playwright-объект в DevTools
await page.pause();   // точка остановки в тесте при --debug или --headed

Trace Viewer

// playwright.config.ts
use: {
  trace: "on-first-retry",          // запись при первом ретрае упавшего теста (дёшево и полезно)
  screenshot: "only-on-failure",
  video: "retain-on-failure",
},
pnpm exec playwright show-trace test-results/cart-chromium-retry1/trace.zip
# или открыть trace.zip на trace.playwright.dev (обрабатывается локально в браузере)

Что видно в трассе:

ПанельЧто даёт
ActionsКаждое действие и утверждение со временем выполнения
Before / After snapshotsDOM до и после действия — можно инспектировать элементы
NetworkЗапросы, статусы, тела ответов
ConsoleОшибки и логи страницы
SourceСтрока теста для каждого шага
ErrorsСообщение и место падения

Типичная находка: «кликнули по кнопке, но в снимке before её перекрывал cookie-баннер» или «запрос вернул 500, а тест ждал текст».

Политика в команде

1. Тест упал и прошёл на ретрае → отчёт помечает flaky
2. Flaky-тест → задача с владельцем, срок исправления
3. Если мешает работе → карантин: test.fixme() / тег @quarantine, исключённый из блокирующего прогона
4. Карантин не навсегда: еженедельный разбор, удаление или исправление
5. Метрика: доля flaky-прогонов (цель — около нуля)
test.fixme("иногда падает на webkit — JIRA-1234", async ({ page }) => { /* … */ });
test("оплата @quarantine", async ({ page }) => { /* … */ });
// CI: playwright test --grep-invert @quarantine

Ретраи (retries: 2 в CI) — страховка от редких сбоев инфраструктуры, но не способ «починить» тест. Если тест стабильно проходит только с ретраем — это баг (в тесте или в приложении: гонка в UI бывает и у пользователей).

Нестабильность в unit/интеграционных тестах

Те же принципы: фейковые таймеры, сброс моков и стора, findBy вместо setTimeout, отсутствие общих мутабельных данных, фиксированные TZ и локаль. Vitest: --sequence.shuffle перемешивает порядок тестов и выявляет зависимости.

Что важно помнить

  • Flaky-тесты разрушают доверие к CI — их лечат в первую очередь.
  • Главные причины: ручные ожидания, общие данные, время, внешние сервисы, хрупкие локаторы.
  • --repeat-each, --ui, --debug и Trace Viewer для поиска причины.
  • trace: "on-first-retry" — трасса есть всегда, когда нужна.
  • Ретраи — страховка; карантин — с владельцем и сроком.

Мини-шпаргалка

  • await expect(loc)... вместо waitForTimeout.
  • page.clock.setFixedTime / install / fastForward.
  • --repeat-each=20, --retries=2, --ui, --debug, page.pause().
  • trace: "on-first-retry", show-trace.
  • test.fixme, @quarantine + --grep-invert.

Документация

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам