re:re:actable
Урок 023 минуты чтения

Что такое Stream в Node.js и какие бывают типы streams

На этой странице
Кратко

Stream - это интерфейс для работы с данными по частям. Вместо того чтобы загружать весь файл, запрос или ответ в память, Node.js может читать и передавать данные маленькими порциями.

В Node.js есть четыре основных типа streams: readable, writable, duplex и transform. Они отличаются направлением потока данных и тем, можно ли данные изменять по пути.

Вопрос

Что такое Stream в Node.js, зачем он нужен и какие бывают типы streams?

Зачем нужны streams?

Если файл весит 5 ГБ, readFile попытается прочитать его целиком. Stream позволяет обработать данные постепенно.

import { createReadStream } from 'node:fs';
 
const stream = createReadStream('big.log', 'utf8');
 
stream.on('data', (chunk) => {
  console.log('Получен кусок:', chunk.length);
});
 
stream.on('end', () => {
  console.log('Чтение завершено');
});

Главная идея

Stream похож на ленту данных:

[chunk] -> [chunk] -> [chunk] -> обработчик

Ты работаешь не со всем объемом сразу, а с текущим фрагментом.

Async iteration

Современный способ читать stream:

import { createReadStream } from 'node:fs';
 
const stream = createReadStream('big.log', 'utf8');
 
for await (const chunk of stream) {
  console.log(chunk.length);
}

Такой код проще, чем обработчики data, end и error.

Почему streams важны для backend?

Streams используются в:

  • чтении и записи файлов;
  • HTTP request и response;
  • загрузке файлов;
  • проксировании;
  • архивации и сжатии;
  • работе с большими JSON/CSV/log-файлами.

Четыре типа streams

ТипЧто делаетПример
ReadableИз него читают данныеfs.createReadStream
WritableВ него пишут данныеfs.createWriteStream
DuplexМожно и читать, и писатьTCP socket
TransformИзменяет данные между входом и выходомgzip, crypto

Readable

import { createReadStream } from 'node:fs';
 
const readable = createReadStream('input.txt', 'utf8');
 
readable.on('data', (chunk) => {
  console.log(chunk);
});

Writable

import { createWriteStream } from 'node:fs';
 
const writable = createWriteStream('output.txt');
 
writable.write('Первая строка\n');
writable.write('Вторая строка\n');
writable.end();

Transform

Transform stream получает данные, преобразует их и передает дальше.

import { createReadStream, createWriteStream } from 'node:fs';
import { createGzip } from 'node:zlib';
 
createReadStream('app.log')
  .pipe(createGzip())
  .pipe(createWriteStream('app.log.gz'));

Собеседовательный ответ

Если коротко: readable - источник, writable - приемник, duplex - двусторонний канал, transform - двусторонний stream, который меняет данные.

Что важно помнить

  • Streams обрабатывают данные частями и экономят память при больших объемах.
  • Четыре типа: Readable, Writable, Duplex, Transform.
  • Для соединения потоков используйте pipeline из node:stream/promises — он обрабатывает ошибки и закрывает потоки.
  • Readable streams поддерживают for await...of.

Мини-шпаргалка

  • Stream обрабатывает данные частями.
  • Streams экономят память.
  • chunk часто является Buffer.
  • Streams особенно важны для больших файлов и сетевых данных.
  • Читать stream можно через события или for await.
  • Readable - читаем.
  • Writable - пишем.
  • Duplex - читаем и пишем независимо.
  • Transform - читаем, меняем, пишем.
  • pipe соединяет streams в цепочку.

Документация

Node.js: Stream, Node.js: stream.pipeline.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам