影刀RPA Python多线程加速让采集速度提升10倍的实战方案作者林焱用requests采集数据一次请求0.3秒1000个URL就是300秒5分钟。但如果你开10个线程同时请求同样1000个URL只需要30秒。这就是多线程的核心价值。影刀的流程是单线程执行但Python代码块里可以开多线程——这篇文章讲清楚怎么安全地加速你的采集流程。什么时候需要多线程并不是所有场景都适合多线程。先判断你的场景适合多线程每个请求相互独立比如采集1000个商品详情页、请求之间有大量IO等待、不需要共享状态不适合多线程请求之间有依赖关系比如先登录再操作、需要严格按顺序处理、目标网站有并发限制店群矩阵自动化突破运营极限最简单的多线程模板importrequestsfromconcurrent.futuresimportThreadPoolExecutor,as_completeddeffetch_one(url):单个URL的采集逻辑try:headers{User-Agent:Mozilla/5.0 ...}resprequests.get(url,headersheaders,timeout10)ifresp.status_code200:return{url:url,data:resp.text[:100]}else:return{url:url,error:f状态码{resp.status_code}}exceptExceptionase:return{url:url,error:str(e)}# 要采集的URL列表urls[fhttps://example.com/product/{i}foriinrange(1,101)]# 开10个线程并发采集results[]withThreadPoolExecutor(max_workers10)asexecutor:# 提交所有任务futures{executor.submit(fetch_one,url):urlforurlinurls}# 按完成顺序收集结果forfutureinas_completed(futures):results.append(future.result())ThreadPoolExecutor是Python内置的线程池不需要额外安装。max_workers10表示最多10个线程同时跑。as_completed会按任务完成顺序返回结果谁先完先拿谁的结果不等慢的。控制并发量避免被封开线程一时爽但开太多会导致IP被封一分钟发几百个请求服务器返回429Too Many Requests内存爆掉安全方案线程数 延时 重试importtimeimportrandomfromconcurrent.futuresimportThreadPoolExecutordefsafe_fetch(url,retry3):forattemptinrange(retry):try:time.sleep(random.uniform(0.5,1.5))# 随机延时resprequests.get(url,timeout10)ifresp.status_code200:returnresp.json()elifresp.status_code429:# 被限速wait5*(attempt1)print(f被限速等待{wait}秒后重试...)time.sleep(wait)else:returnNoneexceptExceptionase:ifattemptretry-1:returnNonetime.sleep(2)returnNoneurls[...]# 你的URL列表results[]withThreadPoolExecutor(max_workers5)asexecutor:# 别开太多5个就够了futures{executor.submit(safe_fetch,url):urlforurlinurls}forfutureinas_completed(futures):resultfuture.result()ifresult:results.append(result)把结果写回影刀变量多线程的结果是Python的列表/字典直接存到影刀的变量里就行# 多线程采集完后results是一个列表# 影刀里可以直接用这个变量写入Excel、发邮件等如果你需要在采集过程中实时写Excel注意openpyxl不是线程安全的多线程同时写会出问题。正确做法是采集线程只负责获取数据全部采集完之后在单线程里统一写入Excel。踩坑实录temu店群自动化报活动案例坑1多线程下的异常被吞掉executor.submit()提交的任务如果抛异常不会立即报错只有你调用future.result()时才会抛出。所以必须在result()那里用try/except包住。坑2变量作用域混乱在多线程函数里修改全局变量会导致数据错乱。正确的做法是每个线程返回自己的结果最后由主线程汇总。不要在多线程里修改共享变量。坑3requests.Session不是线程安全的不能用一个Session对象在多个线程间共享。每个线程应该用自己的requests调用。如果一定要用Session可以在每个线程的函数里创建独立的Sessiondeffetch_one(url):sessionrequests.Session()# 每个线程独立的Sessionrespsession.get(url)session.close()returnresp.json()坑4线程数开太多反而更慢Python因为有GIL全局解释器锁多线程主要适合IO密集型任务网络请求、文件读写。对于计算密集型任务多线程几乎没有加速效果。而且线程数超过CPU核心数之后上下文切换开销会拖慢整体速度。一般来说max_workers设置在5-20之间比较合理。写在最后多线程是采集提速的最简单方案。但记住快不是目的稳定才是。采集流程跑崩了比跑慢了更糟糕。永远先保证单线程跑通再逐步加线程数一边加一边观察目标网站的响应——合理的并发数是再快就要被封了的那个临界点。