需從 200MB+ 文本文件提取有用數據,一次性讀入記憶體易導致 OOM,傳統逐行讀取又太慢。
將文件直接映射到進程虛擬記憶體,OS 負責分頁調度,適合大文件隨機/順序讀取,最大 2GB(32 位 JVM 限制),64 位 JVM 可更大。
import java.io.*;
import java.nio.*;
import java.nio.channels.*;
public class LargeMappedFiles {
static int length = 0x8FFFFFF; // 128 MB 示範,實際可設為文件大小
public static void main(String[] args) throws Exception {
// 1. 開啟 RandomAccessFile 取得 Channel
FileChannel channel = new RandomAccessFile("test.dat", "rw").getChannel();
// 2. 映射為 READ_WRITE 模式(亦可 READ_ONLY)
MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, length);
// 3. 寫入測試資料
for (int i = 0; i < length; i++) buffer.put((byte) 'x');
System.out.println("Finished writing");
// 4. 讀取驗證(中間 6 字節)
for (int i = length/2; i < length/2 + 6; i++)
System.out.print((char) buffer.get(i));
}
}
| 類/方法 | 用途 |
|---|---|
RandomAccessFile | 支援隨機存取的文件操作,提供 getChannel() |
FileChannel.map(mode, position, size) | 建立記憶體映射緩衝區,mode:READ_ONLY/READ_WRITE/PRIVATE(Copy-on-write) |
MappedByteBuffer | 繼承 ByteBuffer,直接操作映射記憶體,讀寫自動同步到磁碟 |
buffer.force() | 強制將緩衝區修改刷新到磁碟(READ_WRITE 模式下) |
public void processLargeFile(String filePath) throws IOException {
try (FileChannel channel = FileChannel.open(Paths.get(filePath), StandardOpenOption.READ)) {
long fileSize = channel.size();
MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, fileSize);
Charset charset = StandardCharsets.UTF_8;
CharsetDecoder decoder = charset.newDecoder();
CharBuffer charBuffer = decoder.decode(buffer); // 一次解碼全文(視記憶體而定)
// 逐行處理(簡易示範,大文件建議自寫行分割器避免全量 CharBuffer)
String[] lines = charBuffer.toString().split("\n");
for (String line : lines) {
if (isUseful(line)) extractData(line);
}
}
}
MappedByteBuffer 釋放依賴 GC,可能延遲釋放文件鎖;可用 sun.misc.Cleaner(內部 API)或 Java 9+ MemorySegment 手動釋放。BufferedReader + readLine() 記憶體佔用極低、速度尚可,往往更簡單安全。Foreign Function & Memory API (JEP 454) 提供更安全的堆外記憶體操作。MappedByteBuffer。BufferedReader / Scanner / Files.lines() (Stream)。MemorySegment / Foreign Memory API。