Нестабильные тесты: причины, отладка и Trace Viewer
На этой странице
Flaky-тест иногда проходит, иногда падает без изменений в коде. Это хуже отсутствия теста: команда перестаёт доверять CI, нажимает «перезапустить» и пропускает настоящие баги. Типичные причины: гонки и ожидания (waitForTimeout, проверка без автоожидания, клик до гидрации), общие данные между параллельными тестами, зависимость от порядка тестов, время и случайность (даты, таймзоны, анимации), внешние сервисы и сеть, нестабильные локаторы (.nth(3), CSS-классы), ресурсы CI (медленная машина, таймауты). Лечат причину, а не симптом: web-first утверждения, изоляция данных, фиксированное время, моки внешних сервисов, ожидание конкретного события. Инструменты Playwright: Trace Viewer (покадровая запись действий, DOM-снимки, сеть, консоль), UI mode, --repeat-each и --retries для воспроизведения, отчёт с пометкой flaky (упал, потом прошёл на ретрае). Ретраи в CI допустимы как страховка, но каждый flaky-тест должен попадать в список на исправление (или в карантин с владельцем).
Вопрос
Почему тесты бывают нестабильными и как находить и исправлять такие тесты? Как пользоваться Trace Viewer?
Причины и лечение
| Причина | Пример | Исправление |
|---|---|---|
| Жёсткое ожидание | waitForTimeout(1000) | await expect(locator).toBeVisible() |
| Проверка без повторов | expect(await loc.isVisible()).toBe(true) | await expect(loc).toBeVisible() |
| Клик до гидрации | Кнопка в SSR-HTML уже есть, обработчик ещё нет | Дождаться признака готовности (элемент, который рендерится только на клиенте), или сделать форму рабочей без JS (Server Action) |
| Общие данные | Два теста меняют одного пользователя | Пользователь/данные на тест или воркер |
| Порядок тестов | Тест B использует заказ, созданный тестом A | Каждый тест готовит своё; fullyParallel: true выявит зависимость |
| Время | «Сегодня» в UI, таймзона CI | page.clock.setFixedTime(...), timezoneId в конфиге |
| Анимации | Клик по движущемуся элементу | Автоожидание стабильности; reducedMotion: "reduce" |
| Внешние сервисы | Чат поддержки перекрывает кнопку | Блокировать через page.route |
| Нестрогие локаторы | .nth(2), текст, который встречается дважды | Роль + имя, filter, within-область |
| Виртуализация/ленивая загрузка | Элемент вне экрана не отрендерен | Скролл через scrollIntoViewIfNeeded или поиск через UI |
| Ресурсы CI | Таймауты на медленной машине | Меньше воркеров, шардирование, адекватные таймауты |
| Утечка состояния | localStorage с прошлого теста | Новый контекст на тест (по умолчанию) |
Управление временем
test("баннер акции показывается до конца распродажи", async ({ page }) => {
await page.clock.setFixedTime(new Date("2026-11-28T10:00:00+03:00"));
await page.goto("/");
await expect(page.getByText("Чёрная пятница — до 30 ноября")).toBeVisible();
});
test("сессия истекает через 30 минут бездействия", async ({ page }) => {
await page.clock.install();
await page.goto("/account");
await page.clock.fastForward("31:00");
await expect(page.getByRole("dialog", { name: "Сессия истекла" })).toBeVisible();
});Воспроизведение
pnpm exec playwright test cart.spec.ts --repeat-each=20 # прогнать 20 раз
pnpm exec playwright test --repeat-each=10 --workers=8 # нагрузка как в CI
pnpm exec playwright test --retries=2 # отчёт пометит flaky
pnpm exec playwright test --ui # пошаговый просмотр
pnpm exec playwright test --debug # Playwright Inspector, пауза
PWDEBUG=console pnpm exec playwright test # playwright-объект в DevToolsawait page.pause(); // точка остановки в тесте при --debug или --headedTrace Viewer
// playwright.config.ts
use: {
trace: "on-first-retry", // запись при первом ретрае упавшего теста (дёшево и полезно)
screenshot: "only-on-failure",
video: "retain-on-failure",
},pnpm exec playwright show-trace test-results/cart-chromium-retry1/trace.zip
# или открыть trace.zip на trace.playwright.dev (обрабатывается локально в браузере)Что видно в трассе:
| Панель | Что даёт |
|---|---|
| Actions | Каждое действие и утверждение со временем выполнения |
| Before / After snapshots | DOM до и после действия — можно инспектировать элементы |
| Network | Запросы, статусы, тела ответов |
| Console | Ошибки и логи страницы |
| Source | Строка теста для каждого шага |
| Errors | Сообщение и место падения |
Типичная находка: «кликнули по кнопке, но в снимке before её перекрывал cookie-баннер» или «запрос вернул 500, а тест ждал текст».
Политика в команде
1. Тест упал и прошёл на ретрае → отчёт помечает flaky
2. Flaky-тест → задача с владельцем, срок исправления
3. Если мешает работе → карантин: test.fixme() / тег @quarantine, исключённый из блокирующего прогона
4. Карантин не навсегда: еженедельный разбор, удаление или исправление
5. Метрика: доля flaky-прогонов (цель — около нуля)test.fixme("иногда падает на webkit — JIRA-1234", async ({ page }) => { /* … */ });
test("оплата @quarantine", async ({ page }) => { /* … */ });
// CI: playwright test --grep-invert @quarantineРетраи (retries: 2 в CI) — страховка от редких сбоев инфраструктуры, но не способ «починить» тест. Если тест стабильно проходит только с ретраем — это баг (в тесте или в приложении: гонка в UI бывает и у пользователей).
Нестабильность в unit/интеграционных тестах
Те же принципы: фейковые таймеры, сброс моков и стора, findBy вместо setTimeout, отсутствие общих мутабельных данных, фиксированные TZ и локаль. Vitest: --sequence.shuffle перемешивает порядок тестов и выявляет зависимости.
Что важно помнить
- Flaky-тесты разрушают доверие к CI — их лечат в первую очередь.
- Главные причины: ручные ожидания, общие данные, время, внешние сервисы, хрупкие локаторы.
--repeat-each,--ui,--debugи Trace Viewer для поиска причины.trace: "on-first-retry"— трасса есть всегда, когда нужна.- Ретраи — страховка; карантин — с владельцем и сроком.
Мини-шпаргалка
await expect(loc)...вместоwaitForTimeout.page.clock.setFixedTime / install / fastForward.--repeat-each=20,--retries=2,--ui,--debug,page.pause().trace: "on-first-retry",show-trace.test.fixme,@quarantine+--grep-invert.