Как работают DISTINCT и удаление дублей
На этой странице
DISTINCT убирает из результата повторяющиеся строки, сравнивая весь набор выбранных выражений, а не отдельный столбец; NULL при этом считаются равными. Внутри агрегата count(DISTINCT x) считает уникальные значения. В PostgreSQL есть DISTINCT ON (выражения) — оставить первую строку каждой группы согласно ORDER BY. DISTINCT требует сортировки или хеширования, поэтому не бесплатен, и его не используют, чтобы «замаскировать» дубли от неправильного JOIN, — сначала нужно понять, откуда они. Удаление дублей из таблицы делают через ROW_NUMBER() или DISTINCT ON и уникальный индекс, чтобы они не появились снова.
Вопрос
Как работает DISTINCT и как убирать дубли в результате и в таблице?
DISTINCT по набору столбцов
SELECT DISTINCT status FROM orders; -- уникальные статусы
SELECT DISTINCT user_id, status FROM orders; -- уникальные пары (user_id, status)
SELECT count(DISTINCT user_id) FROM orders; -- сколько разных покупателейDISTINCT ON (PostgreSQL)
-- последний заказ каждого пользователя
SELECT DISTINCT ON (user_id) user_id, id, total, created_at
FROM orders
ORDER BY user_id, created_at DESC, id DESC;ORDER BY должен начинаться с выражений из DISTINCT ON, дальше — порядок выбора «первой» строки. Это краткая альтернатива ROW_NUMBER() = 1 для задачи top-1 per group.
DISTINCT не лечит неправильный JOIN
-- пользователи с хотя бы одним заказом
SELECT DISTINCT u.id, u.email
FROM users u
JOIN orders o ON o.user_id = u.id; -- работает, но сначала строит все пары, потом схлопывает
SELECT u.id, u.email
FROM users u
WHERE EXISTS (SELECT 1 FROM orders o WHERE o.user_id = u.id); -- ✓ точнее выражает задачуЕсли дубли появились неожиданно, проверьте условие ON: возможно, связь неполная (не учтён tenant_id) или соединение идёт по неуникальному столбцу.
DISTINCT и GROUP BY
SELECT DISTINCT status FROM orders;
SELECT status FROM orders GROUP BY status; -- тот же результатGROUP BY нужен, когда по группам считают агрегаты.
Удаление дублей из таблицы
-- оставить по одному email (самый ранний), остальные удалить
DELETE FROM subscribers s
USING (
SELECT id, row_number() OVER (PARTITION BY lower(email) ORDER BY created_at, id) AS rn
FROM subscribers
) d
WHERE s.id = d.id AND d.rn > 1;
-- и запретить новые
CREATE UNIQUE INDEX subscribers_email_uniq ON subscribers (lower(email));Частые ошибки
- Ждать, что
DISTINCTприменяется к одному столбцу, когда выбрано несколько. - Ставить
DISTINCTпосле каждогоJOIN«на всякий случай». DISTINCTвместе сORDER BYпо столбцу, которого нет в выборке, — ошибка в PostgreSQL.- Удалить дубли, но не добавить уникальное ограничение.
Что важно помнить
DISTINCTсравнивает всю строку результата.DISTINCT ON— удобный top-1 per group в PostgreSQL.- Дубли от
JOINлечат правильной формулировкой запроса (EXISTS), а неDISTINCT.
Мини-шпаргалка
SELECT DISTINCT a, b.count(DISTINCT x).DISTINCT ON (key) ... ORDER BY key, ....- Существование —
EXISTS. - Удаление дублей —
row_number()+UNIQUE.
Документация
PostgreSQL: SELECT DISTINCT, PostgreSQL: Aggregate Expressions.