当前位置: 首页> 教育> 高考 > python_使用多线程来处理数据写入Excel文件_threading.Thread

python_使用多线程来处理数据写入Excel文件_threading.Thread

时间:2025/7/11 23:27:15来源:https://blog.csdn.net/gf1321111/article/details/140757368 浏览次数:0次

python_使用多线程来处理数据写入Excel文件

因为pandas的ExcelWriter不支持并发写入同一个文件,所以如果需要的话,后期还要合并。

import pandas as pd
from io import BytesIO
import threading
import multiprocessing
import time
import math# 假设我们有12万行的数据
data = pd.DataFrame({'A': range(120001),'B': range(120001),'C': range(120001)
})def write_to_excel(df, filename):with pd.ExcelWriter(filename) as writer:df.to_excel(writer, index=False)def thread_write(df, filename):thread = threading.Thread(target=write_to_excel, args=(df, filename))thread.start()return threaddef test_threading(data):threads = []# 分割数据split_size=30000#向上取整num_threads = math.ceil(120001/split_size)data_splits = [data[i:i + split_size] for i in range(0, len(data), split_size)]filenames = [f'D:\\desktop\\new\\thread_{i}.xlsx' for i in range(num_threads)]start_time = time.time()for i in range(num_threads):threads.append(thread_write(data_splits[i], filenames[i]))for thread in threads:#join方法用于等待线程完成thread.join()print(f"Threaded execution took {time.time() - start_time:.2f} seconds")# 模拟主函数入口
if __name__ == '__main__':test_threading(data)
关键字:python_使用多线程来处理数据写入Excel文件_threading.Thread

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: