正确做法是分块读取大文件：设置缓冲区、循环read()、优先行迭代；超大文件随机访问用mmap；写入时批量处理并显式flush；跨平台需指定UTF-8编码和newline参数；流式数据用生成器+itertools实现内存恒定。
分块读取大文件，避免内存爆炸
直
接用 read() 读取几个GB的文件会瞬间占满内存，甚至导致程序崩溃。正确做法是按固定大小分块读取，每次只处理一小段：
- 用 open(..., buffering=8192) 设置系统级缓冲区（默认8KB，可调大到64KB或1MB提升吞吐）
- 循环调用 file.read(chunk_size)，推荐 chunk_size = 8192 或 65536（8KB–64KB之间较均衡）
- 对文本文件，优先用 for line in file: —— Python底层已做行缓冲，比 readlines() 更省内存
二进制模式 + mmap 加速超大文件随机访问
当需要频繁跳转读取文件某一段（比如解析日志中的特定偏移记录），mmap 比 seek+read 快得多：
- 导入 import mmap，用 mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) 映射文件
- 像操作字节数组一样切片： data[1024:2048]，无需手动 seek 和 read
- 注意：仅适用于只读场景；Windows下需确保文件打开时未被其他进程独占写入
写入性能关键：减少系统调用与磁盘刷写
频繁调用 write() 会引发大量系统调用和磁盘 I/O，拖慢速度：
- 用 io.BufferedWriter 包装文件对象，或直接设置 buffering=8192（避免 buffering=1 的行缓冲，它会强制 flush）
- 批量拼接内容再写入，而不是逐行 write；若必须逐行，用 print(..., file=f) 替代 f.write(line+'\n')
- 写完后显式调用 f.flush()（必要时加 os.fsync(f.fileno()) 确保落盘，但慎用——它会阻塞）
编码与换行符陷阱：跨平台安全读写
在 Windows/macOS/Linux 间传递文本文件时，编码和换行符不一致极易引发乱码或逻辑错误：
- 始终显式指定 encoding='utf-8'，避免依赖系统默认编码（如Windows的cp1252）
- 写文本时用 newline='' 参数（open(..., newline='')），让Python统一处理 \n → \r\n 转换，防止双换行
- 读取时若不确定换行符，可用 line.rstrip('\r\n') 安全去尾，而非只用 strip()
用生成器处理流式数据，实现内存恒定
真正处理“无限”或“动态增长”的文件（如实时日志、网络响应流），应放弃一次性加载思路：
- 定义生成器函数：def read_large_file(path):，内部用 for line in open(...) yield 处理后的结果
- 配合 itertools.islice 取前N条、filter 做条件筛选，全程不构建大列表
- 结合 concurrent.futures.ThreadPoolExecutor 对每块数据并行处理（注意GIL限制，CPU密集型建议用 multiprocessing）
不复杂但容易忽略
接用 read() 读取几个GB的文件会瞬间占满内存，甚至导致程序崩溃。正确做法是按固定大小分块读取，每次只处理一小段：