处理大文件时,直接一次性读取或写入容易导致内存溢出。C# 中的 FileStream 配合分块读写可以高效安全地操作大文件。关键在于避免将整个文件加载到内存中,而是通过缓冲区逐步处理。
使用 FileStream 分块读取大文件
通过指定缓冲区大小,逐段读取文件内容,适合处理 GB 级别的文件。
设置合适的缓冲区大小(如 4KB ~ 64KB),平衡性能与内存占用 使用 Read 方法循环读取,直到返回值为 0,表示文件结束 可配合 StreamReader 或 BinaryReader 处理文本或二进制数据示例代码:
using (var fs = new FileStream("largefile.txt", FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize: 4096, useAsync: false))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = fs.Read(buffer, 0, buffer.Length)) > 0)
{
// 处理 buffer 中的 bytesRead 个字节
ProcessChunk(buffer, bytesRead);
}
}
使用 FileStream 分块写入大文件
写入时同样应避免一次性写入全部数据,采用缓冲写入方式更稳定。
打开文件时使用 FileMode.Create 创建新文件 每次写入一个数据块,及时释放内存 useAsync 可设为 true 实现异步写入(需配合异步模式)示例代码:
using (var fs = new FileStream("output.dat", FileMode.Create, FileAccess.Write, FileShare.None, bufferSize: 8192))
{
foreach (var chunk in GetFileChunks())
{
fs.Write(chunk, 0, chunk.Length);
}
}
提升性能的关键技巧
合理配置参数和使用模式能显著提升大文件处理效率。
bufferSize 建议设为 4096 的倍数,通常 8KB~64KB 范围内效果较好 对超大文件(>2GB),确保使用 long 类型获取长度,避免 int 溢出 若需频繁随机访问,可结合 Position 属性跳转位置 useAsync 设为 true 时,配合 async/await 可提升 I/O 并发能力 避免在循环中创建大量临时对象,减少 GC 压力基本上就这些。正确使用 FileStream 分块读写,再大的文件也能平稳处理。
