Python大规模并行运算核心是选对工具：I/O密集用asyncio或ThreadPoolExecutor；CPU密集用multiprocessing、joblib或numba；超大规模用dask或ray，并需规避GIL、序列化开销与资源争抢。
Python 做大规模并行运算，核心不是“换语言”，而是选对工具、分清场景、避开 GIL 陷阱。关键在：I/O 密集用 asyncio 或 concurrent.futures.ThreadPoolExecutor；CPU 密集必须绕过 GIL，靠 multiprocessing、joblib 或 numba + multiprocessing；超大规模（百核以上/分布式）则上 dask 或 ray。
用 multiprocessing 处理 CPU 密集型任务
Python 的全局解释器锁（GIL）让多线程无法真正并行执行 CPU 计算，但 multiprocessing 启动独立进程，彻底绕过 GIL。适合数值计算、图像处理、模型推理等场景。
- 用 Pool.map() 替代 for 循环：自动分配任务、收集结果，代码简洁
- 避免传大对象：进程间通过 pickle 序列化通信，大数据建议用 mmap 或共享内存（shared_memory 模块）
- 控制进程数：别盲目设 processes=os.cpu_count()，留 1–2 核给系统和其他服务更稳
用 joblib 快速加速科学计算流水线
如果你常用 scikit-learn、numpy、pandas，joblib 是最顺手的并行工具。它专为科学计算优化：支持函数级缓存（memory）、智能序列化、透明的多进程调度。
- 一行启用并行：Parallel(n_jobs=-1)(delayed(func)(x) for x in data)，n_jobs=-1 表示用满所有逻辑核
- 加缓存省重复计算：Memory(location='./cache').cache(func)，特别适合交叉验证、网格搜索
- 注意：func 必须是模块顶层函数（不能是类方法或 lambda），否则无法被子进程导入
用 dask 处理超大规模数据（远超内存）
当数据大到装不进单机内存，或需跨机器扩展时，dask 是 Python 生态最成熟的方案。它提供类似 pandas/numpy 的接口，但底层是惰性计算图 + 自动并行调度。
- 读大文件不用全载入：dd.read_csv('*.csv') 返回延迟对象，只在 .compute() 时真正执行
- 轻松切分任务：dask.delayed 可包装任意函数，组合成 DAG，支持复杂依赖
- 本地集群够用？启动 Client(processes=True) 即可利用多核；要上集群，只需改一两行配置连到 dask-scheduler
避坑提醒：哪些情况「并行」反而更慢？
并行不是银弹。以下情况开多进程/线程可能拖慢整体速度：
- 任务太小（如每次计算仅几毫秒）：进程/线程启停和通信开销 > 节省时间
- 频繁同步或共享状态（如多个进程争抢写同一个文件或数据库连接）：锁竞争严重，变成串行
- 数据序列化成本高（比如传一个带大量闭包或非标准对象的函数）：pickle 耗时甚至超过计算本身
- 没限制资源：同时跑几十个进程把内存打满，触发系统 swap，整机卡死
基本上就这些。选工具前先问自己：任务类型（CPU/I/O）、数据规模（内存内/外）、扩展需求（单机/集群）、团队熟悉度。
不复杂但容易忽略——真正快的并行，是“刚刚好”的并行。
不复杂但容易忽略——真正快的并行，是“刚刚好”的并行。