re:re:actable
Урок 034 минуты чтения

Что такое проблема N+1

На этой странице
Кратко

Проблема N+1 — один запрос получает список из N сущностей, а затем для каждой выполняется ещё по запросу за связанными данными: 1 + N обращений к базе вместо одного-двух. На 20 элементах это незаметно локально, но в продакшене каждый запрос — сетевой round-trip, и страница из 100 постов делает 101 запрос. Чаще всего N+1 появляется неявно: ленивые связи ORM (post.author в цикле), GraphQL-резолверы полей, await внутри map. Решения: JOIN или агрегация в JSON, второй запрос с IN/= ANY по собранным id (так работают include в Prisma, relations/leftJoinAndSelect в TypeORM), DataLoader для батчинга в GraphQL. Обнаруживают по логам запросов, APM и счётчику запросов на HTTP-запрос в тестах.

Вопрос

Что такое проблема N+1 и как её решить?

Как выглядит

// 1 запрос
const posts = await db.query("SELECT id, title, author_id FROM posts ORDER BY created_at DESC LIMIT 20");
 
// + 20 запросов
for (const post of posts.rows) {
  const { rows } = await db.query("SELECT name FROM users WHERE id = $1", [post.author_id]);
  post.author = rows[0];
}
SELECT ... FROM posts LIMIT 20
SELECT name FROM users WHERE id = 7
SELECT name FROM users WHERE id = 3
SELECT name FROM users WHERE id = 7      ← тот же автор ещё раз
... ×20

Решение 1: JOIN

SELECT p.id, p.title, u.id AS author_id, u.name AS author_name
FROM posts p
JOIN users u ON u.id = p.author_id
ORDER BY p.created_at DESC
LIMIT 20;

Решение 2: второй запрос по списку id

const posts = (await db.query("SELECT id, title, author_id FROM posts ORDER BY created_at DESC LIMIT 20")).rows;
const authorIds = [...new Set(posts.map((p) => p.author_id))];
const authors = (await db.query("SELECT id, name FROM users WHERE id = ANY($1::bigint[])", [authorIds])).rows;
const byId = new Map(authors.map((a) => [a.id, a]));
posts.forEach((p) => (p.author = byId.get(p.author_id)));

2 запроса вместо 21. Этот подход лучше JOIN для one-to-many (комментарии к постам): нет размножения строк поста.

Решение 3: JSON-агрегация

SELECT p.id, p.title,
       COALESCE((SELECT json_agg(json_build_object('id', c.id, 'body', c.body) ORDER BY c.created_at)
                 FROM comments c WHERE c.post_id = p.id), '[]') AS comments
FROM posts p
ORDER BY p.created_at DESC
LIMIT 20;

В ORM

// Prisma — 2 запроса (posts + users WHERE id IN (...))
const posts = await prisma.post.findMany({ take: 20, include: { author: true } });
 
// TypeORM
const posts = await repo.find({ take: 20, relations: { author: true } });
 
// ✗ ленивая загрузка в цикле — снова N+1
for (const p of posts) console.log((await p.author).name);

GraphQL и DataLoader

const userLoader = new DataLoader(async (ids: readonly number[]) => {
  const { rows } = await db.query("SELECT * FROM users WHERE id = ANY($1)", [ids]);
  const map = new Map(rows.map((u) => [u.id, u]));
  return ids.map((id) => map.get(id) ?? null);   // порядок как у ids
});
 
// резолвер поля Post.author
author: (post) => userLoader.load(post.authorId)

DataLoader собирает все load() за один тик event loop в один батч-запрос. Создаётся на каждый HTTP-запрос, чтобы кеш не протекал между пользователями.

Как обнаружить

  • Логирование SQL в dev (prisma: log: ['query'], logging: true в TypeORM).
  • APM (Datadog, Sentry Performance, OpenTelemetry) — много одинаковых коротких запросов в одном трейсе.
  • pg_stat_statements — запрос с огромным calls и маленьким временем.
  • Тест, который проверяет число запросов на эндпоинт.

Частые ошибки

  • await внутри for/map с запросом к базе.
  • Ленивая загрузка связей в шаблонах и сериализаторах.
  • «Исправить» N+1 одним гигантским JOIN нескольких one-to-many — взрыв строк.
  • DataLoader как глобальный синглтон.

Что важно помнить

  • N+1 = запрос на каждый элемент списка.
  • Лечится JOIN, батч-запросом по IN/ANY или DataLoader.
  • Обнаруживается по логам и метрикам числа запросов.

Мини-шпаргалка

  • WHERE id = ANY($1::bigint[]).
  • Prisma include, TypeORM relations.
  • json_agg для вложенных списков.
  • DataLoader на запрос.

Документация

Prisma: Query optimization, DataLoader.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам