萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 腳本程式專題 >> JavaScript

Java 讀取大文件(200MB+)高效方案:MappedByteBuffer 內存映射實戰

問題

需從 200MB+ 文本文件提取有用數據,一次性讀入記憶體易導致 OOM,傳統逐行讀取又太慢。

方案:FileChannel + MappedByteBuffer(記憶體映射)

將文件直接映射到進程虛擬記憶體,OS 負責分頁調度,適合大文件隨機/順序讀取,最大 2GB(32 位 JVM 限制),64 位 JVM 可更大。

核心代碼


import java.io.*;
import java.nio.*;
import java.nio.channels.*;

public class LargeMappedFiles {
    static int length = 0x8FFFFFF; // 128 MB 示範,實際可設為文件大小

    public static void main(String[] args) throws Exception {
        // 1. 開啟 RandomAccessFile 取得 Channel
        FileChannel channel = new RandomAccessFile("test.dat", "rw").getChannel();

        // 2. 映射為 READ_WRITE 模式(亦可 READ_ONLY)
        MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, length);

        // 3. 寫入測試資料
        for (int i = 0; i < length; i++) buffer.put((byte) 'x');
        System.out.println("Finished writing");

        // 4. 讀取驗證(中間 6 字節)
        for (int i = length/2; i < length/2 + 6; i++)
            System.out.print((char) buffer.get(i));
    }
}

關鍵 API 說明

類/方法用途
RandomAccessFile支援隨機存取的文件操作,提供 getChannel()
FileChannel.map(mode, position, size)建立記憶體映射緩衝區,mode:READ_ONLY/READ_WRITE/PRIVATE(Copy-on-write)
MappedByteBuffer繼承 ByteBuffer,直接操作映射記憶體,讀寫自動同步到磁碟
buffer.force()強制將緩衝區修改刷新到磁碟(READ_WRITE 模式下)

實戰讀取大文本文件並逐行處理


public void processLargeFile(String filePath) throws IOException {
    try (FileChannel channel = FileChannel.open(Paths.get(filePath), StandardOpenOption.READ)) {
        long fileSize = channel.size();
        MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, fileSize);
        Charset charset = StandardCharsets.UTF_8;
        CharsetDecoder decoder = charset.newDecoder();
        CharBuffer charBuffer = decoder.decode(buffer); // 一次解碼全文(視記憶體而定)

        // 逐行處理(簡易示範,大文件建議自寫行分割器避免全量 CharBuffer)
        String[] lines = charBuffer.toString().split("\n");
        for (String line : lines) {
            if (isUseful(line)) extractData(line);
        }
    }
}

注意事項與替代方案

  • 32 位 JVM 限制 2GB,超大文件需分段映射或用 64 位 JVM。
  • MappedByteBuffer 釋放依賴 GC,可能延遲釋放文件鎖;可用 sun.misc.Cleaner(內部 API)或 Java 9+ MemorySegment 手動釋放。
  • 順序讀取大文本時,BufferedReader + readLine() 記憶體佔用極低、速度尚可,往往更簡單安全。
  • Java 20+ 引入 Foreign Function & Memory API (JEP 454) 提供更安全的堆外記憶體操作。

選型建議

  • 需隨機存取、頻繁修改大文件 → MappedByteBuffer。
  • 單純順序讀取、提取數據 → BufferedReader / Scanner / Files.lines() (Stream)。
  • 超大文件(>2GB)或需精確控制生命週期 → Java 9+ MemorySegment / Foreign Memory API。
copyright © 萬盛學電腦網 all rights reserved