Что такое Stream в Node.js и какие бывают типы streams
На этой странице
Stream - это интерфейс для работы с данными по частям. Вместо того чтобы загружать весь файл, запрос или ответ в память, Node.js может читать и передавать данные маленькими порциями.
В Node.js есть четыре основных типа streams: readable, writable, duplex и transform. Они отличаются направлением потока данных и тем, можно ли данные изменять по пути.
Вопрос
Что такое Stream в Node.js, зачем он нужен и какие бывают типы streams?
Зачем нужны streams?
Если файл весит 5 ГБ, readFile попытается прочитать его целиком. Stream позволяет обработать данные постепенно.
import { createReadStream } from 'node:fs';
const stream = createReadStream('big.log', 'utf8');
stream.on('data', (chunk) => {
console.log('Получен кусок:', chunk.length);
});
stream.on('end', () => {
console.log('Чтение завершено');
});Главная идея
Stream похож на ленту данных:
[chunk] -> [chunk] -> [chunk] -> обработчикТы работаешь не со всем объемом сразу, а с текущим фрагментом.
Async iteration
Современный способ читать stream:
import { createReadStream } from 'node:fs';
const stream = createReadStream('big.log', 'utf8');
for await (const chunk of stream) {
console.log(chunk.length);
}Такой код проще, чем обработчики data, end и error.
Почему streams важны для backend?
Streams используются в:
- чтении и записи файлов;
- HTTP request и response;
- загрузке файлов;
- проксировании;
- архивации и сжатии;
- работе с большими JSON/CSV/log-файлами.
Четыре типа streams
| Тип | Что делает | Пример |
|---|---|---|
Readable | Из него читают данные | fs.createReadStream |
Writable | В него пишут данные | fs.createWriteStream |
Duplex | Можно и читать, и писать | TCP socket |
Transform | Изменяет данные между входом и выходом | gzip, crypto |
Readable
import { createReadStream } from 'node:fs';
const readable = createReadStream('input.txt', 'utf8');
readable.on('data', (chunk) => {
console.log(chunk);
});Writable
import { createWriteStream } from 'node:fs';
const writable = createWriteStream('output.txt');
writable.write('Первая строка\n');
writable.write('Вторая строка\n');
writable.end();Transform
Transform stream получает данные, преобразует их и передает дальше.
import { createReadStream, createWriteStream } from 'node:fs';
import { createGzip } from 'node:zlib';
createReadStream('app.log')
.pipe(createGzip())
.pipe(createWriteStream('app.log.gz'));Собеседовательный ответ
Если коротко: readable - источник, writable - приемник, duplex - двусторонний канал, transform - двусторонний stream, который меняет данные.
Что важно помнить
- Streams обрабатывают данные частями и экономят память при больших объемах.
- Четыре типа: Readable, Writable, Duplex, Transform.
- Для соединения потоков используйте
pipelineизnode:stream/promises— он обрабатывает ошибки и закрывает потоки. - Readable streams поддерживают
for await...of.
Мини-шпаргалка
- Stream обрабатывает данные частями.
- Streams экономят память.
chunkчасто являетсяBuffer.- Streams особенно важны для больших файлов и сетевых данных.
- Читать stream можно через события или
for await. Readable- читаем.Writable- пишем.Duplex- читаем и пишем независимо.Transform- читаем, меняем, пишем.pipeсоединяет streams в цепочку.