re:re:actable
Урок 031 минута чтения

Как устроен worker pool в приложении?

На этой странице
Кратко

Worker pool - набор заранее созданных workers, между которыми приложение распределяет CPU-bound задачи. Pool нужен, чтобы не создавать новый worker на каждую маленькую операцию.

Вопрос

Как устроен worker pool в приложении и зачем он нужен?

Почему не создавать worker каждый раз?

Создание worker имеет стоимость:

  • запуск отдельного JS-контекста;
  • загрузка кода;
  • передача данных;
  • память под worker;
  • планирование задач.

Поэтому для потока задач лучше держать pool.

Идея

main thread
  task queue
    -> worker 1
    -> worker 2
    -> worker 3

Основной поток принимает задачи, кладет их в очередь, свободный worker забирает следующую.

Упрощенный интерфейс

const result = await pool.run({
  type: 'resize-image',
  file: 'photo.png',
});

Внутри pool:

  • следит за свободными workers;
  • ограничивает параллелизм;
  • возвращает Promise;
  • обрабатывает ошибки;
  • перезапускает упавшие workers.

Когда нужен pool?

  • обработка изображений;
  • парсинг больших файлов;
  • CPU-heavy валидация;
  • криптографические вычисления;
  • генерация отчетов;
  • ML-инференс на CPU.

Что важно помнить

  • Пул заранее создает несколько workers и раздает им задачи из очереди.
  • Создание worker на каждую задачу дорого — пул переиспользует потоки.
  • Размер пула обычно связан с числом ядер (os.availableParallelism()).
  • Готовая реализация — Piscina; важно ограничить очередь и обрабатывать ошибки workers.

Мини-шпаргалка

  • Worker pool переиспользует workers.
  • Pool ограничивает параллелизм.
  • Не создавай worker на каждую мелкую задачу.
  • Для I/O worker pool приложения обычно не нужен.
  • В production лучше взять готовую библиотеку или тщательно тестировать свой pool.

Документация

Node.js: Worker threads, Piscina.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам