Урок 041 минута чтения
Как читать большой файл построчно?
На этой странице
Кратко
Большой файл нельзя без необходимости загружать целиком в память. В Node.js для построчного чтения удобно соединить fs.createReadStream и readline.createInterface.
Вопрос
Как прочитать большой файл построчно без загрузки в память?
Пример
import { createReadStream } from 'node:fs';
import { createInterface } from 'node:readline';
const fileStream = createReadStream('big.log', 'utf8');
const rl = createInterface({
input: fileStream,
crlfDelay: Infinity,
});
let count = 0;
for await (const line of rl) {
if (line.includes('ERROR')) {
count += 1;
}
}
console.log(count);Почему не readFile?
const text = await readFile('big.log', 'utf8');Такой код держит весь файл в памяти. Для маленьких конфигов это нормально, для гигабайтных логов - нет.
crlfDelay
crlfDelay: Infinity помогает корректно обрабатывать переносы строк \r\n, которые часто встречаются на Windows.
Практические сценарии
- анализ логов;
- импорт CSV;
- обработка больших текстовых файлов;
- фильтрация строк;
- подсчет статистики.
Что важно помнить
readline.createInterface({ input: createReadStream(path), crlfDelay: Infinity })+for await.- Память остается постоянной независимо от размера файла.
- Обрабатывайте ошибки потока: несуществующий файл даст
ENOENT. - Для очень быстрых сценариев есть
filehandle.readLines().
Мини-шпаргалка
- Большие файлы читай через stream.
- Для строк используй
readline. for await...ofделает код читаемым.crlfDelay: Infinityполезен для переносов Windows.- Не держи весь огромный файл в памяти без необходимости.
Документация
Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.