re:re:actable
Урок 032 минуты чтения

Что такое pipe и backpressure?

На этой странице
Кратко

pipe соединяет readable stream с writable stream, а backpressure защищает приложение от ситуации, когда источник данных пишет быстрее, чем получатель успевает обрабатывать.

Вопрос

Что такое pipe и backpressure в Node.js streams?

Что делает pipe?

pipe передает данные из одного stream в другой.

import { createReadStream, createWriteStream } from 'node:fs';
 
createReadStream('input.txt')
  .pipe(createWriteStream('output.txt'));

Это проще и надежнее, чем вручную слушать data и вызывать write.

Цепочка pipe

import { createReadStream, createWriteStream } from 'node:fs';
import { createGzip } from 'node:zlib';
 
createReadStream('input.txt')
  .pipe(createGzip())
  .pipe(createWriteStream('input.txt.gz'));

Файл читается, сжимается и записывается без загрузки всего файла в память.

Что такое backpressure?

Backpressure - это механизм обратного давления. Он нужен, когда writable stream не успевает принимать данные.

Без backpressure источник может быстро создать слишком много чанков, и память процесса начнет расти.

Readable слишком быстрый -> Writable не успевает -> очередь в памяти растет

pipe умеет учитывать backpressure: если приемник перегружен, чтение временно замедляется.

pipeline

Для production-кода часто удобнее pipeline, потому что он корректно обрабатывает ошибки в цепочке.

import { pipeline } from 'node:stream/promises';
import { createReadStream, createWriteStream } from 'node:fs';
import { createGzip } from 'node:zlib';
 
await pipeline(
  createReadStream('input.txt'),
  createGzip(),
  createWriteStream('input.txt.gz'),
);

Что важно помнить

  • Backpressure — механизм, который замедляет источник, когда приемник не успевает.
  • write() возвращает false, когда буфер заполнен; продолжать нужно после события drain.
  • highWaterMark задает порог буфера.
  • pipe не пробрасывает ошибки — предпочитайте pipeline.

Мини-шпаргалка

  • pipe соединяет streams.
  • Backpressure защищает память от переполнения.
  • pipe автоматически управляет потоком данных.
  • pipeline удобнее для обработки ошибок.
  • Streams нужны, когда данные большие или идут по сети.

Документация

Node.js: Backpressuring in Streams, Node.js: stream.pipeline.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам