Как сделать очередь задач через SELECT FOR UPDATE SKIP LOCKED
На этой странице
PostgreSQL можно использовать как надёжную очередь задач без отдельного брокера: задачи хранятся в таблице, а воркеры забирают их запросом SELECT … FOR UPDATE SKIP LOCKED. FOR UPDATE блокирует выбранные строки, а SKIP LOCKED заставляет другие воркеры пропускать уже заблокированные строки вместо ожидания — так несколько воркеров параллельно берут разные задачи без дублей и без очередей ожидания. Задача создаётся в той же транзакции, что и бизнес-изменение (это основа паттерна transactional outbox), поэтому не теряется. Нужно предусмотреть повторы с задержкой, таймаут «зависших» задач, индекс по условию выборки и очистку выполненных. Готовые библиотеки: pg-boss, Graphile Worker, River (Go), Oban (Elixir).
Вопрос
Как реализовать очередь задач на PostgreSQL через SKIP LOCKED?
Таблица задач
CREATE TABLE jobs (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
queue text NOT NULL DEFAULT 'default',
payload jsonb NOT NULL,
status text NOT NULL DEFAULT 'pending'
CHECK (status IN ('pending', 'running', 'done', 'failed')),
attempts int NOT NULL DEFAULT 0,
run_at timestamptz NOT NULL DEFAULT now(),
locked_at timestamptz,
last_error text,
created_at timestamptz NOT NULL DEFAULT now()
);
CREATE INDEX jobs_pending_idx ON jobs (queue, run_at) WHERE status = 'pending';Забрать задачи
UPDATE jobs
SET status = 'running', locked_at = now(), attempts = attempts + 1
WHERE id IN (
SELECT id FROM jobs
WHERE queue = $1 AND status = 'pending' AND run_at <= now()
ORDER BY run_at
LIMIT 10
FOR UPDATE SKIP LOCKED
)
RETURNING id, payload, attempts;Два воркера одновременно выполнят этот запрос и получат разные задачи: строки, заблокированные первым, второй просто пропустит.
Завершить или повторить
-- успех
UPDATE jobs SET status = 'done' WHERE id = $1;
-- ошибка: повтор с экспоненциальной задержкой или окончательный провал
UPDATE jobs
SET status = CASE WHEN attempts >= 5 THEN 'failed' ELSE 'pending' END,
run_at = now() + (interval '1 second' * power(2, attempts)),
last_error = $2,
locked_at = NULL
WHERE id = $1;Зависшие задачи
-- воркер упал во время выполнения — вернуть задачу в очередь
UPDATE jobs SET status = 'pending', locked_at = NULL
WHERE status = 'running' AND locked_at < now() - interval '10 minutes';Альтернатива — держать транзакцию открытой на время выполнения задачи (блокировка снимется автоматически при падении), но это годится только для коротких задач.
Transactional outbox
BEGIN;
INSERT INTO orders (user_id, total) VALUES ($1, $2) RETURNING id;
INSERT INTO jobs (queue, payload) VALUES ('emails', jsonb_build_object('type', 'order_created', 'order_id', 42));
COMMIT;Письмо гарантированно будет отправлено, если и только если заказ сохранён. При отправке напрямую из кода после COMMIT письмо может потеряться при падении процесса, а до COMMIT — уйти для откатившегося заказа.
Мгновенное пробуждение воркеров
NOTIFY jobs_emails; -- после вставки задачи (или в триггере)
LISTEN jobs_emails; -- воркер ждёт уведомления вместо частого опросаКогда хватит PostgreSQL, а когда нужен брокер
| PostgreSQL-очередь | RabbitMQ / Kafka / SQS |
|---|---|
| Сотни–тысячи задач в секунду | Десятки тысяч и больше |
| Нужна транзакционность с бизнес-данными | Нужен fan-out многим потребителям, стриминг, replay |
| Нет желания поддерживать ещё одну систему | Есть инфраструктура и команда |
Частые ошибки
FOR UPDATEбезSKIP LOCKED— воркеры ждут друг друга.- Нет индекса по условию выборки — каждый опрос сканирует всю таблицу.
- Не чистить выполненные задачи — таблица и индексы раздуваются (удалять пачками или партиционировать).
- Неидемпотентные обработчики — задача может выполниться повторно после сбоя.
Что важно помнить
FOR UPDATE SKIP LOCKEDраспределяет строки между воркерами без ожиданий.- Задача в той же транзакции, что и данные, — гарантия доставки (outbox).
- Обработчики должны быть идемпотентными: доставка «как минимум один раз».
Мини-шпаргалка
SELECT ... FOR UPDATE SKIP LOCKED LIMIT n.UPDATE ... WHERE id IN (subquery) RETURNING ....run_at+ backoff для повторов.- Частичный индекс
WHERE status = 'pending'. LISTEN/NOTIFY.
Документация
PostgreSQL: SELECT Locking Clause, pg-boss, Graphile Worker.