Python 并发编程的有三种方式
多线程 Thread、 多进程Process、 多协程Coroutine
CPU 密集型 (CPU-bound) bound 限制
CPU 密集型也叫计算密集型,是指I/O 在很短的时间就可以完成,CPU 需要大量的计算和处理 , 特点就是CPU 占用率相当高。
例如:压缩解压缩、加密解密、正则表达式搜索
IO 密集型(I/O bound)
IO 密集型指的是系统运作大部分的状况是CPU 在等I/O( 硬盘/ 内存) 的读写操作、 CPU 占用率仍然较低。
例如: 文件处理程序、网络爬虫程序、读写数据库程序
进程、线程、 多协程 对比
- 多进程 Process (multiprocessing)
优点: 可以利用多核CPU 并行计算
缺点: 占用资源最多,可以启动数目比线程少
适用于: CPU 密集型计算
- 多进程 Thread (threading )
优点: 相比进程, 更加轻量级, 占用资源少
缺点:
相比进程: 多线程只能并发执行,不能利用CPU(GIL)
相比协程: 启动数目有限制, 占用内存资源, 有线程切换开销
适用于: I/O 密集型计算。 同时运行的任务数目要求不多。
- 多协程 Coroutine(asyncio)
优点: 内存开销少,启动协程数量最多
缺点 支持的库有限制(alohttp vs request)、代码实现复杂
适用于: I/O 密集型计算、需要超多任务执行运行、但有现成的库支持的场景。
怎么根据任务选择对应的技术
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/77074.html