re:re:actable
Урок 114 минуты чтения

Как сделать очередь задач через SELECT FOR UPDATE SKIP LOCKED

На этой странице
Кратко

PostgreSQL можно использовать как надёжную очередь задач без отдельного брокера: задачи хранятся в таблице, а воркеры забирают их запросом SELECT … FOR UPDATE SKIP LOCKED. FOR UPDATE блокирует выбранные строки, а SKIP LOCKED заставляет другие воркеры пропускать уже заблокированные строки вместо ожидания — так несколько воркеров параллельно берут разные задачи без дублей и без очередей ожидания. Задача создаётся в той же транзакции, что и бизнес-изменение (это основа паттерна transactional outbox), поэтому не теряется. Нужно предусмотреть повторы с задержкой, таймаут «зависших» задач, индекс по условию выборки и очистку выполненных. Готовые библиотеки: pg-boss, Graphile Worker, River (Go), Oban (Elixir).

Вопрос

Как реализовать очередь задач на PostgreSQL через SKIP LOCKED?

Таблица задач

CREATE TABLE jobs (
  id          bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  queue       text        NOT NULL DEFAULT 'default',
  payload     jsonb       NOT NULL,
  status      text        NOT NULL DEFAULT 'pending'
                          CHECK (status IN ('pending', 'running', 'done', 'failed')),
  attempts    int         NOT NULL DEFAULT 0,
  run_at      timestamptz NOT NULL DEFAULT now(),
  locked_at   timestamptz,
  last_error  text,
  created_at  timestamptz NOT NULL DEFAULT now()
);
 
CREATE INDEX jobs_pending_idx ON jobs (queue, run_at) WHERE status = 'pending';

Забрать задачи

UPDATE jobs
SET status = 'running', locked_at = now(), attempts = attempts + 1
WHERE id IN (
  SELECT id FROM jobs
  WHERE queue = $1 AND status = 'pending' AND run_at <= now()
  ORDER BY run_at
  LIMIT 10
  FOR UPDATE SKIP LOCKED
)
RETURNING id, payload, attempts;

Два воркера одновременно выполнят этот запрос и получат разные задачи: строки, заблокированные первым, второй просто пропустит.

Завершить или повторить

-- успех
UPDATE jobs SET status = 'done' WHERE id = $1;
 
-- ошибка: повтор с экспоненциальной задержкой или окончательный провал
UPDATE jobs
SET status     = CASE WHEN attempts >= 5 THEN 'failed' ELSE 'pending' END,
    run_at     = now() + (interval '1 second' * power(2, attempts)),
    last_error = $2,
    locked_at  = NULL
WHERE id = $1;

Зависшие задачи

-- воркер упал во время выполнения — вернуть задачу в очередь
UPDATE jobs SET status = 'pending', locked_at = NULL
WHERE status = 'running' AND locked_at < now() - interval '10 minutes';

Альтернатива — держать транзакцию открытой на время выполнения задачи (блокировка снимется автоматически при падении), но это годится только для коротких задач.

Transactional outbox

BEGIN;
INSERT INTO orders (user_id, total) VALUES ($1, $2) RETURNING id;
INSERT INTO jobs (queue, payload) VALUES ('emails', jsonb_build_object('type', 'order_created', 'order_id', 42));
COMMIT;

Письмо гарантированно будет отправлено, если и только если заказ сохранён. При отправке напрямую из кода после COMMIT письмо может потеряться при падении процесса, а до COMMIT — уйти для откатившегося заказа.

Мгновенное пробуждение воркеров

NOTIFY jobs_emails;          -- после вставки задачи (или в триггере)
LISTEN jobs_emails;          -- воркер ждёт уведомления вместо частого опроса

Когда хватит PostgreSQL, а когда нужен брокер

PostgreSQL-очередьRabbitMQ / Kafka / SQS
Сотни–тысячи задач в секундуДесятки тысяч и больше
Нужна транзакционность с бизнес-даннымиНужен fan-out многим потребителям, стриминг, replay
Нет желания поддерживать ещё одну системуЕсть инфраструктура и команда

Частые ошибки

  • FOR UPDATE без SKIP LOCKED — воркеры ждут друг друга.
  • Нет индекса по условию выборки — каждый опрос сканирует всю таблицу.
  • Не чистить выполненные задачи — таблица и индексы раздуваются (удалять пачками или партиционировать).
  • Неидемпотентные обработчики — задача может выполниться повторно после сбоя.

Что важно помнить

  • FOR UPDATE SKIP LOCKED распределяет строки между воркерами без ожиданий.
  • Задача в той же транзакции, что и данные, — гарантия доставки (outbox).
  • Обработчики должны быть идемпотентными: доставка «как минимум один раз».

Мини-шпаргалка

  • SELECT ... FOR UPDATE SKIP LOCKED LIMIT n.
  • UPDATE ... WHERE id IN (subquery) RETURNING ....
  • run_at + backoff для повторов.
  • Частичный индекс WHERE status = 'pending'.
  • LISTEN / NOTIFY.

Документация

PostgreSQL: SELECT Locking Clause, pg-boss, Graphile Worker.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам