Что такое pipe и backpressure?
На этой странице
pipe соединяет readable stream с writable stream, а backpressure защищает приложение от ситуации, когда источник данных пишет быстрее, чем получатель успевает обрабатывать.
Вопрос
Что такое pipe и backpressure в Node.js streams?
Что делает pipe?
pipe передает данные из одного stream в другой.
import { createReadStream, createWriteStream } from 'node:fs';
createReadStream('input.txt')
.pipe(createWriteStream('output.txt'));Это проще и надежнее, чем вручную слушать data и вызывать write.
Цепочка pipe
import { createReadStream, createWriteStream } from 'node:fs';
import { createGzip } from 'node:zlib';
createReadStream('input.txt')
.pipe(createGzip())
.pipe(createWriteStream('input.txt.gz'));Файл читается, сжимается и записывается без загрузки всего файла в память.
Что такое backpressure?
Backpressure - это механизм обратного давления. Он нужен, когда writable stream не успевает принимать данные.
Без backpressure источник может быстро создать слишком много чанков, и память процесса начнет расти.
Readable слишком быстрый -> Writable не успевает -> очередь в памяти растетpipe умеет учитывать backpressure: если приемник перегружен, чтение временно замедляется.
pipeline
Для production-кода часто удобнее pipeline, потому что он корректно обрабатывает ошибки в цепочке.
import { pipeline } from 'node:stream/promises';
import { createReadStream, createWriteStream } from 'node:fs';
import { createGzip } from 'node:zlib';
await pipeline(
createReadStream('input.txt'),
createGzip(),
createWriteStream('input.txt.gz'),
);Что важно помнить
- Backpressure — механизм, который замедляет источник, когда приемник не успевает.
write()возвращаетfalse, когда буфер заполнен; продолжать нужно после событияdrain.highWaterMarkзадает порог буфера.pipeне пробрасывает ошибки — предпочитайтеpipeline.
Мини-шпаргалка
pipeсоединяет streams.- Backpressure защищает память от переполнения.
pipeавтоматически управляет потоком данных.pipelineудобнее для обработки ошибок.- Streams нужны, когда данные большие или идут по сети.
Документация
Node.js: Backpressuring in Streams, Node.js: stream.pipeline.