python joblib多进程执行任务

人生之路坎坎坷坷,跌跌撞撞在所难免。但是,不论跌了多少次,你都必须坚强勇敢地站起来。任何时候,无论你面临着生命的何等困惑抑或经受着多少挫折,无论道路多艰难,希望变得如何渺茫,请你不要绝望,再试一次,坚持到底,成功终将属于勇不言败的你。

导读:本篇文章讲解 python joblib多进程执行任务,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

Joblib是一个可以简单地将Python代码转换为并行计算模式的软件包,它可非常简单并行我们的程序,从而提高计算速度。

Joblib是一组用于在Python中提供轻量级流水线的工具。 它具有以下功能:

透明的磁盘缓存功能和“懒惰”执行模式,简单的并行计算
Joblib对numpy大型数组进行了特定的优化,简单,快速。

from joblib import Parallel, delayed

def func(param1, param2):
	return param1 + param2
	
res_list = Parallel(n_jobs=job_num)(delayed(func)(param1, param2) for param1 in param1_list)

解释

使用joblib库的Parallel,delayed。其中n_jobs代表并行的进程数,一般不超过设备CPU的个数,func是执行的子函数,传入的参数param1可以来自一个参数list或者任何可迭代对象,也可以传入固定的参数例如param2。
函数的返回值按照遍历的参数list的顺序依次以列表的形式返回到reslist中。

其他

joblib还具有快速磁盘缓存和快速压缩的功能。使用joblib.dump和joblib.load可以提高大数据的读取和存储效率。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/133482.html

(0)
飞熊的头像飞熊bm

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!