如何使用Golang实现大文件读取_结合bufio Reader优化内存使用

Go读大文件应避免os.ReadFile，改用bufio.Reader流式分块读取以防止OOM；可自定义缓冲区大小，按行用ReadString、二进制用Read、简单文本用Scanner，并注意关文件、复用缓冲、判EOF及调优缓冲大小。

Go语言中读取大文件时，直接使用os.ReadFile或一次性io.ReadAll会将整个文件加载到内存，极易导致OOM。正确做法是结合bufio.Reader进行流式、分块读取，控制内存占用的同时保持较高IO效率。

用bufio.Reader逐块读取，避免全量加载

bufio.Reader内部维护一个固定大小的缓冲区（默认4KB），调用Read、ReadString、ReadBytes等方法时，它自动按需从底层io.Reader（如*os.File）填充缓冲区，减少系统调用次数，提升性能。

关键点：

• 缓冲区大小可自定义（如64KB或1MB），需根据文件特征和可用内存权衡；太大未必更快，还可能浪费内存
• 不要误以为bufio.Reader会“预读全部内容”——它只缓存当前需要的部分
• 每次Read返回实际读取字节数，需检查err == io.EOF判断是否读完

按行处理日志类大文件（推荐ReadString）

对于按行组织的文本文件（如日志、CSV），用reader.ReadString('\n')最自然。它会持续读取直到遇到换行符，并把整行（含\n）返回。

示例片段：

f, _ := os.Open("access.log")
defer f.Close()
r := bufio.NewReaderSize(f, 1<<16) // 64KB buffer
for {
    line, err := r.ReadString('\n')
    if err == io.EOF {
        if len(line) > 0 { // 处理最后一行无换行符的情况
            processLine(line)
        }
        break
    }
    if err != nil {
        log.Fatal(err)
    }
    processLine(line)
}

按固定块读取二进制或结构化数据

若文件是二进制格式（如自定义协议、数据库导出块）或需精细控制读取粒度，用reader.Read(buf)更合适。

建议写法：

• 复用字节切片（buf := make([]byte, 1即1MB），避免频繁分配
• 循环中用n, err := r.Read(buf)，仅处理buf[:n]部分
• 注意：Read不保证填满buf，尤其在接近文件末尾时

配合Scanner简化文本解析（适合简单场景）

bufio.Scanner是对bufio.Reader的封装，内置行分割逻辑，API更简洁，且默认限制单行最大64KB（防恶意超长行），适合大多数文本处理。

示例：

f, _ := os.Open("data.txt")
scanner := bufio.NewScanner(f)
scanner.Buffer(make([]byte, 1<<16), 1<<20) // 扩大token缓冲区和最大行长
for scanner.Scan() {
    line := scanner.Text() // 不含\n
    processLine(line)
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

注意：Scanner不适合读取含\x00的二进制数据，也不支持回退；复杂解析仍推荐Reader。

不复杂但容易忽略：关闭文件、复用缓冲区、检查EOF与其它错误、合理设置缓冲区大小——这四点做好，Golang读大文件既稳又快。