Урок 031 минута чтения
Как устроен worker pool в приложении?
На этой странице
Кратко
Worker pool - набор заранее созданных workers, между которыми приложение распределяет CPU-bound задачи. Pool нужен, чтобы не создавать новый worker на каждую маленькую операцию.
Вопрос
Как устроен worker pool в приложении и зачем он нужен?
Почему не создавать worker каждый раз?
Создание worker имеет стоимость:
- запуск отдельного JS-контекста;
- загрузка кода;
- передача данных;
- память под worker;
- планирование задач.
Поэтому для потока задач лучше держать pool.
Идея
main thread
task queue
-> worker 1
-> worker 2
-> worker 3Основной поток принимает задачи, кладет их в очередь, свободный worker забирает следующую.
Упрощенный интерфейс
const result = await pool.run({
type: 'resize-image',
file: 'photo.png',
});Внутри pool:
- следит за свободными workers;
- ограничивает параллелизм;
- возвращает Promise;
- обрабатывает ошибки;
- перезапускает упавшие workers.
Когда нужен pool?
- обработка изображений;
- парсинг больших файлов;
- CPU-heavy валидация;
- криптографические вычисления;
- генерация отчетов;
- ML-инференс на CPU.
Что важно помнить
- Пул заранее создает несколько workers и раздает им задачи из очереди.
- Создание worker на каждую задачу дорого — пул переиспользует потоки.
- Размер пула обычно связан с числом ядер (
os.availableParallelism()). - Готовая реализация — Piscina; важно ограничить очередь и обрабатывать ошибки workers.
Мини-шпаргалка
- Worker pool переиспользует workers.
- Pool ограничивает параллелизм.
- Не создавай worker на каждую мелкую задачу.
- Для I/O worker pool приложения обычно не нужен.
- В production лучше взять готовую библиотеку или тщательно тестировать свой pool.
Документация
Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.