文章目录
- 背景
- 我的做法（但证明不起效果）
背景
我有多个pytorch GPU模型，他们有不同的参数（也就是说不是共享的），但是相同的数据输入，想要并发运行。
不并发运行，当然就是循环喽。
results=[]
for i in range(m):results.append(models[i](batch))#一个接一个地运行
我想要并发，因为m有点大。像上面循环的话m=30以上速度就有点受不了了。我看过了，我的GPU还有很多空间，起码放上去10个模型同时跑没有问题。
我的做法（但证明不起效果）
我想到了多线程，如下：
class MyThread_forward(threading.Thread): #自定义线程类def __init__(self, model,batch):threading.Thread.__init__(self)self.model = model self.batch=batchdef run(self): self.result=self.model(self.batch) def get_result(self): return self.resultdef multi_thread_forward():threads=[]for i in range(self.args.m):#创建多个线程threads.append(MyThread_forward(self.models[i],batch))for thread in threads:#各个线程开始并发运行。thread.start()for thread in threads:#等待各个线程运行完毕再执行下面代码。thread.join() results= []for thread in threads:results.append(thread.get_result()) #每个线程返回结果(result)加入列表中return resultsmulti_thread_forward()#多线程运行。
结果就是不起效果好像，还是运行得很慢，咋回事捏。
