Покрытие кода и мутационное тестирование
На этой странице
Покрытие кода (code coverage) показывает, какие строки, ветки, функции и выражения выполнились во время тестов. В Vitest оно собирается провайдером V8 (по умолчанию, быстро и точно с Vitest 4) или Istanbul. Покрытие полезно, чтобы найти непротестированные места (ветка обработки ошибки ни разу не выполнялась), но оно не доказывает качество: тест может выполнить строку и ничего не проверить. Поэтому погоня за 100% вредна — появляются тесты ради цифры. Разумная практика: смотреть покрытие веток (branches) критичных модулей, следить за покрытием изменённого кода в PR (diff coverage), задать умеренные пороги, чтобы покрытие не падало. Качество самих тестов измеряет мутационное тестирование (Stryker): инструмент вносит в код маленькие ошибки — «мутанты» (> → >=, && → ||, удаление вызова, true → false) — и прогоняет тесты. Если тесты упали, мутант «убит»; если остались зелёными — мутант «выжил», и это место фактически не проверено. Mutation score — доля убитых мутантов. Мутационное тестирование медленное, поэтому его запускают для критичной логики (цены, права, расчёты) или инкрементально.
Вопрос
Что показывает покрытие кода и почему 100% покрытия не гарантирует качество? Что такое мутационное тестирование?
Метрики покрытия
| Метрика | Что считает | Пример непокрытого |
|---|---|---|
| Statements | Выполненные выражения | Код после return в ветке ошибки |
| Lines | Выполненные строки | — |
| Functions | Вызванные функции | Обработчик, который ни разу не вызвали |
| Branches | Пройденные ветки if/else, ?:, &&, ??, case | else при ошибке сети |
Branches — самая информативная: 100% строк при 50% веток означает, что половина сценариев не проверена.
Настройка в Vitest
pnpm add -D @vitest/coverage-v8
pnpm vitest run --coverage// vitest.config.ts
test: {
coverage: {
provider: "v8",
include: ["src/**/*.{ts,tsx}"], // учитывать и файлы, не импортированные тестами
exclude: ["src/**/*.stories.tsx", "src/**/*.test.*", "src/**/types.ts", "src/test/**"],
reporter: ["text", "html", "lcov", "json-summary"], // html — локально, lcov — для сервисов и PR
thresholds: {
lines: 80,
branches: 75,
"src/entities/pricing/**": { branches: 95, lines: 95 }, // строже для критичного модуля
},
},
},coverage/index.html показывает код с подсветкой: красные строки и жёлтые ветки — кандидаты на тесты.
Почему 100% — не цель
export function applyDiscount(total: number, percent: number) {
if (percent < 0 || percent > 100) throw new RangeError("Некорректная скидка");
return Math.round(total * (1 - percent / 100));
}
// 100% строк и веток, но тест ничего не проверяет
it("applyDiscount", () => {
applyDiscount(1000, 10);
try { applyDiscount(1000, 200); } catch {}
});| Проблема погони за 100% | Последствие |
|---|---|
| Тесты без утверждений ради строк | Ложная уверенность |
| Тесты тривиального кода (геттеры, константы) | Время без пользы |
| Тесты деталей реализации, чтобы дотянуться до ветки | Хрупкость |
Отключение кода из отчёта (/* v8 ignore */) ради цифры | Обман метрики |
«Покрытие хорошо показывает, что не протестировано, и плохо — что протестировано».
Покрытие изменений в PR
Полезнее общего процента — покрытие нового и изменённого кода: Codecov/Coveralls/SonarQube комментируют PR («patch coverage 62%, 4 непокрытые строки в pricing.ts»). Так команда не обязана покрывать старый код, но новый пишет с тестами.
Мутационное тестирование
Исходный код: if (percent < 0 || percent > 100) throw …
Мутант 1: if (percent <= 0 || percent > 100) throw … ← граница
Мутант 2: if (percent < 0 && percent > 100) throw … ← логический оператор
Мутант 3: (удалён throw)
Мутант 4: return Math.round(total * (1 + percent / 100)) ← арифметика
Тесты упали → мутант убит ✓ (тесты заметили бы такой баг)
Тесты прошли → мутант выжил ✗ (это поведение фактически не проверено)// Тесты, которые убивают мутантов: конкретные значения и границы
it.each([
[1000, 0, 1000], // убивает «<=» вместо «<» (0 — валидно)
[1000, 100, 0], // граница сверху
[1000, 10, 900], // убивает «1 +» вместо «1 -»
[999, 15, 849], // округление: 849.15 → 849
])("applyDiscount(%i, %i) = %i", (total, percent, expected) => {
expect(applyDiscount(total, percent)).toBe(expected);
});
it.each([-1, 101])("отклоняет скидку %i", (percent) => {
expect(() => applyDiscount(1000, percent)).toThrow(RangeError); // убивает удаление throw и «&&»
});Stryker
pnpm add -D @stryker-mutator/core @stryker-mutator/vitest-runner// stryker.config.json
{
"testRunner": "vitest",
"mutate": ["src/entities/pricing/**/*.ts", "!src/**/*.test.ts"],
"reporters": ["html", "clear-text", "progress"],
"thresholds": { "high": 85, "low": 70, "break": 60 },
"incremental": true
}pnpm stryker run
# Mutation score: 87% (killed 104, survived 12, timeout 3, no coverage 2)| Статус мутанта | Значение |
|---|---|
| Killed | Тесты поймали — хорошо |
| Survived | Тесты не заметили — добавить проверку |
| No coverage | Код вообще не выполняется тестами |
| Timeout | Мутант зациклил код — обычно считается убитым |
| Equivalent | Мутант не меняет поведение — можно игнорировать |
Мутационное тестирование медленное (тесты прогоняются для каждого мутанта), поэтому: ограничивай mutate критичными модулями, используй incremental, запускай по расписанию или для изменённых файлов.
Что важно помнить
- Покрытие показывает выполненный, а не проверенный код.
- Ветки информативнее строк; смотри покрытие изменений в PR.
- Пороги — умеренные и строже для критичных модулей; 100% — не цель.
- Мутационное тестирование оценивает силу тестов: выжившие мутанты = непроверенное поведение.
- Stryker — для критичной логики, инкрементально.
Мини-шпаргалка
vitest run --coverage,provider: "v8",thresholds,include.- Statements · Lines · Functions · Branches.
- Mutation score = убитые / все мутанты.
stryker runсvitest-runner,mutate,incremental.