最近使用python对一些数据进行处理,大概涉及几十万个数据,两台电脑跑了1天1夜才处理完所有的数据,在实现任务的过程中,深知自己的痛点和不足,现在任务已经完成,准备下手对多线程相关进行透彻研究
程序加速的方式:
- 多线程并发
- 多CPU并行
- 多机器并行
涉及技术与库:
- threading
- multiprocessing
- hadoop/hive/spark
博主分享了使用Python处理大量数据时遇到的效率问题,通过一天一夜的运算才完成任务。为提升效率,博主计划深入研究多线程并发技术,包括多CPU并行和多机器并行,并提及了threading、multiprocessing以及hadoop/hive/spark等工具。参考资源为2021年的一部Python并发编程教程视频。
最近使用python对一些数据进行处理,大概涉及几十万个数据,两台电脑跑了1天1夜才处理完所有的数据,在实现任务的过程中,深知自己的痛点和不足,现在任务已经完成,准备下手对多线程相关进行透彻研究
程序加速的方式:
涉及技术与库:
560
2610
1366
421
448

被折叠的 条评论
为什么被折叠?
