re:re:actable
Урок 041 минута чтения

Как читать большой файл построчно?

На этой странице
Кратко

Большой файл нельзя без необходимости загружать целиком в память. В Node.js для построчного чтения удобно соединить fs.createReadStream и readline.createInterface.

Вопрос

Как прочитать большой файл построчно без загрузки в память?

Пример

import { createReadStream } from 'node:fs';
import { createInterface } from 'node:readline';
 
const fileStream = createReadStream('big.log', 'utf8');
 
const rl = createInterface({
  input: fileStream,
  crlfDelay: Infinity,
});
 
let count = 0;
 
for await (const line of rl) {
  if (line.includes('ERROR')) {
    count += 1;
  }
}
 
console.log(count);

Почему не readFile?

const text = await readFile('big.log', 'utf8');

Такой код держит весь файл в памяти. Для маленьких конфигов это нормально, для гигабайтных логов - нет.

crlfDelay

crlfDelay: Infinity помогает корректно обрабатывать переносы строк \r\n, которые часто встречаются на Windows.

Практические сценарии

  • анализ логов;
  • импорт CSV;
  • обработка больших текстовых файлов;
  • фильтрация строк;
  • подсчет статистики.

Что важно помнить

  • readline.createInterface({ input: createReadStream(path), crlfDelay: Infinity }) + for await.
  • Память остается постоянной независимо от размера файла.
  • Обрабатывайте ошибки потока: несуществующий файл даст ENOENT.
  • Для очень быстрых сценариев есть filehandle.readLines().

Мини-шпаргалка

  • Большие файлы читай через stream.
  • Для строк используй readline.
  • for await...of делает код читаемым.
  • crlfDelay: Infinity полезен для переносов Windows.
  • Не держи весь огромный файл в памяти без необходимости.

Документация

Node.js: Readline — Example: Read file stream line-by-line.

Дочитали до конца?
Отметьте урок — прогресс сохранится в браузере.

Поиск

Поиск по урокам