python进程池来运行多进程

1. 任务需求

很多情况下我们处理数据时,因为数据比较多,所以需要浪费很多时间,而如果我们用的是服务器的话,那么cpu的线程数一般比较高,所以我们可以开启多个线程同时工作,可以加快我们的处理速度。

2. 简单例子

现在我们来看一个简单例子,看看怎么使用python的进程池。
首先就是导入进程池的包:

from multiprocessing import Pool

然后我们需要将我们需要处理的事情封装成一个函数,这里处理一个简单的任务:

def multi_pool_test(i):
    return (i+1)*10

然后就可以直接程序化:

pool = Pool(processes=3) # processes为开启的线程数
results = []
for i in range(100):
    print (i)
    result = pool.apply_async(multi_pool_test,(i,))
    results.append(result)
pool.close()
pool.join()
results = [result.get() for result in results] #.get读取结果
print (results)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值