`from concurrent.futures import ThreadPoolExecutor` 是 Python 标准库中用于简化多线程编程的模块导入语句
from concurrent.futures import ThreadPoolExecutor是 Python 标准库中用于简化多线程编程的模块导入语句。它提供了高级接口如ThreadPoolExecutor来异步执行可调用对象自动管理线程池的创建、复用与销毁避免手动操作threading.Thread的复杂性。典型用法示例fromconcurrent.futuresimportThreadPoolExecutorimporttimedeftask(n):time.sleep(1)# 模拟I/O或耗时操作returnn**2# 使用上下文管理器自动关闭线程池withThreadPoolExecutor(max_workers3)asexecutor:futures[executor.submit(task,i)foriinrange(5)]results[f.result()forfinfutures]print(results)# [0, 1, 4, 9, 16]注意事项适用于 I/O 密集型任务如网络请求、文件读写不适用于 CPU 密集型任务此时应优先考虑ProcessPoolExecutormax_workers默认为min(32, (os.cpu_count() or 1) 4)合理设置可避免资源争用提交任务使用submit()返回Future对象或map()返回迭代器保持顺序线程安全需自行保障如共享变量需加锁。ThreadPoolExecutor和ProcessPoolExecutor都属于concurrent.futures模块提供的高级并发执行器但它们底层机制、适用场景和限制有本质区别✅核心区别维度ThreadPoolExecutorProcessPoolExecutor并发基础基于多线程共享同一进程的内存空间基于多进程每个进程拥有独立内存空间GIL 影响受 Python 全局解释器锁GIL限制 →无法真正并行执行 CPU 密集型代码绕过 GIL →可实现真正的并行计算多核 CPU 利用启动开销小线程创建/切换快大进程 fork/启动慢需序列化参数和结果数据共享线程间可直接共享变量需注意线程安全如加锁进程间不共享内存参数和返回值需可序列化pickle通信通过 IPC如管道适用对象适合 I/O 密集型任务HTTP 请求、文件读写、数据库查询等适合 CPU 密集型任务数值计算、图像处理、加密解密等异常传播异常在.result()时抛出类型保留完整异常同样延迟到.result()抛出但部分上下文如局部栈帧可能丢失✅典型适用场景举例✅ThreadPoolExecutor并发发起 100 个 API 请求requests.get批量读取多个本地小文件异步日志写入或缓存刷新✅ProcessPoolExecutor使用 NumPy 对大型数组做矩阵乘法多进程渲染图像帧如视频转码并行训练多个轻量 ML 模型非分布式场景⚠️ 注意ProcessPoolExecutor中的函数必须是顶层可导入的不能是 lambda、嵌套函数或__main__中未保护的函数否则pickle失败Windows 下需在if __name__ __main__:保护内启动防止递归创建进程内存占用更高频繁跨进程传递大数据如大列表、DataFrame会显著降低性能。# ✅ 正确示例CPU 密集型fromconcurrent.futuresimportProcessPoolExecutorimportmathdefcpu_bound_task(n):returnsum(i*iforiinrange(n))if__name____main__:withProcessPoolExecutor()asexecutor:resultslist(executor.map(cpu_bound_task,[10**6]*4))
