re:re:actable
Урок 063 минуты чтения

Как работают DISTINCT и удаление дублей

На этой странице
Кратко

DISTINCT убирает из результата повторяющиеся строки, сравнивая весь набор выбранных выражений, а не отдельный столбец; NULL при этом считаются равными. Внутри агрегата count(DISTINCT x) считает уникальные значения. В PostgreSQL есть DISTINCT ON (выражения) — оставить первую строку каждой группы согласно ORDER BY. DISTINCT требует сортировки или хеширования, поэтому не бесплатен, и его не используют, чтобы «замаскировать» дубли от неправильного JOIN, — сначала нужно понять, откуда они. Удаление дублей из таблицы делают через ROW_NUMBER() или DISTINCT ON и уникальный индекс, чтобы они не появились снова.

Вопрос

Как работает DISTINCT и как убирать дубли в результате и в таблице?

DISTINCT по набору столбцов

SELECT DISTINCT status FROM orders;              -- уникальные статусы
SELECT DISTINCT user_id, status FROM orders;     -- уникальные пары (user_id, status)
SELECT count(DISTINCT user_id) FROM orders;      -- сколько разных покупателей

DISTINCT ON (PostgreSQL)

-- последний заказ каждого пользователя
SELECT DISTINCT ON (user_id) user_id, id, total, created_at
FROM orders
ORDER BY user_id, created_at DESC, id DESC;

ORDER BY должен начинаться с выражений из DISTINCT ON, дальше — порядок выбора «первой» строки. Это краткая альтернатива ROW_NUMBER() = 1 для задачи top-1 per group.

DISTINCT не лечит неправильный JOIN

-- пользователи с хотя бы одним заказом
SELECT DISTINCT u.id, u.email
FROM users u
JOIN orders o ON o.user_id = u.id;      -- работает, но сначала строит все пары, потом схлопывает
 
SELECT u.id, u.email
FROM users u
WHERE EXISTS (SELECT 1 FROM orders o WHERE o.user_id = u.id);  -- ✓ точнее выражает задачу

Если дубли появились неожиданно, проверьте условие ON: возможно, связь неполная (не учтён tenant_id) или соединение идёт по неуникальному столбцу.

DISTINCT и GROUP BY

SELECT DISTINCT status FROM orders;
SELECT status FROM orders GROUP BY status;       -- тот же результат

GROUP BY нужен, когда по группам считают агрегаты.

Удаление дублей из таблицы

-- оставить по одному email (самый ранний), остальные удалить
DELETE FROM subscribers s
USING (
  SELECT id, row_number() OVER (PARTITION BY lower(email) ORDER BY created_at, id) AS rn
  FROM subscribers
) d
WHERE s.id = d.id AND d.rn > 1;
 
-- и запретить новые
CREATE UNIQUE INDEX subscribers_email_uniq ON subscribers (lower(email));

Частые ошибки

  • Ждать, что DISTINCT применяется к одному столбцу, когда выбрано несколько.
  • Ставить DISTINCT после каждого JOIN «на всякий случай».
  • DISTINCT вместе с ORDER BY по столбцу, которого нет в выборке, — ошибка в PostgreSQL.
  • Удалить дубли, но не добавить уникальное ограничение.

Что важно помнить

  • DISTINCT сравнивает всю строку результата.
  • DISTINCT ON — удобный top-1 per group в PostgreSQL.
  • Дубли от JOIN лечат правильной формулировкой запроса (EXISTS), а не DISTINCT.

Мини-шпаргалка

  • SELECT DISTINCT a, b.
  • count(DISTINCT x).
  • DISTINCT ON (key) ... ORDER BY key, ....
  • Существование — EXISTS.
  • Удаление дублей — row_number() + UNIQUE.

Документация

PostgreSQL: SELECT DISTINCT, PostgreSQL: Aggregate Expressions.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам