Python并发编程:化繁为简,通过线程池轻松实现多线程编程
bigegpt 2024-12-19 11:31 5 浏览
引言
虽然Python的threading模块提供了各种多线程编程的组件支持,比如前面介绍过的Thread、Lock、Condition、Queue、Semaphore等,在各个典型的并发需求中,都能够提供很好的技术支持。
但是,要真正实现系统的多线程编程,除了技术特性的支持,还需要真正实现更加便捷的多线程任务的全生命周期管理,简化线程任务的提交、状态获取、结果获取等,屏蔽并发资源管理的复杂性等。
为了更加轻松便捷地进行多线程编程,Python提供了线程池的支持,可以帮我们更好地实现上述多线程编程的相关诉求。
本文就来简单介绍一下Python中线程池的基本使用,本文的主要内容有:
1、多线程解决方案的完整诉求
2、Python中对线程池的支持
3、线程池使用的代码示例
多线程解决方案的完整诉求
虽然,基于前面的文章中关于Python中threading模块的常用组件的介绍,我们能够进行一些简单的并发编程的实现。但是,一个工业级的并发编程实践,除了满足基础的并发特性、线程通信与同步外,更重要的是能够真实满足业务的诉求。
一个完整的多线程解决方案的诉求,主要有:
1、提供并发特性和线程通信同步的支持
能够实现并发、甚至并行,从而提高用户体验、提高作业效率的并发特性支持。任务并发的同时要保证作业的准确性,所以,需要有线程间的通信以及同步机制的支持。
这方面可以说是多线程编程的最基础、最核心的部分。前面的文章中,关于threading模块的各种组件的介绍,基本上都是在围绕着这些特性。
2、简便的任务提交以及结果管理
并发任务的提交应该更加简洁,多线程编程中,开发者应当更加专注于业务逻辑中,可并发的业务需求的识别及业务规则的代码实现。而无需关心如何进行线程的创建以及如何实现任务的提交。
并发任务的结果需要进行自动化管理,更便捷的获取线程执行结果,而不是多线程的无序、失控的执行状态。
3、状态跟踪及异常处理
并发任务的执行状态,应当是可以轻松进行感知、管理的。
并发过程中对异常的定位及处理,应该更加便捷,而不是增加调试的复杂性。
4、任务的执行与资源调度相分离
关注业务逻辑的实现,更大的精力应该在于业务需求的理解、业务需求中可并行逻辑的拆解,业务需求的最终编码实现。
并发编程中的线程资源的申请、释放,相应执行资源的调度管理等的复杂性,应该对开发者屏蔽(应用开发者,如果是底层组件的设计者,则应该更加关注这块内容)
基于这些并发编程的完整诉求,显然,threading模块的组件就显得有些乏力了,好在Python中提供了线程池的支持,可以更好地满足这些诉求,提供更加简洁的并发编程的实现。
Python中对线程池的支持
Python中的concurrent.futures包中的ThreadPoolExecutor、Future和as_completed提供了关于线程池的支持。
关于线程池的相关操作,主要有:
1、任务的提交
任务提交是线程池的核心功能,用户可以通过submit()方法将任务提交给线程池,也可以通过map()方法进行批量的任务提交。方法会返回Future对象,用于进行任务的执行状态的跟踪和结果的获取。
2、任务状态的跟踪
Future对象提供了跟踪任务状态的方法,主要有:
1)done()方法:返回布尔值,用于标识任务是否执行完成
2)running()方法:返回布尔值,用于表示当前任务是否正在运行
3)cancel()方法:尝试取消任务,如果任务还没有开始执行,则可以取消成功,返回True。如果任务已经在运行中,则会返回False
3、任务结果的获取
一旦任务完成,用户可以通过Future对象获取结果或者处理异常,有两个方法:
1)result(timeout=None):返回任务的结果。如果任务已经完成,返回其结果。如果任务抛出异常,则重新引发该异常。可以通过timeout参数设置等待的最大时间(单位:秒)。
2)exception(timeout=None):如果任务抛出异常,则返回该异常;如果任务成功完成,则返回None。
4、线程池的控制
通过初始化方法可以创建一个线程池,通过shutdown()方法,可以关闭线程池并释放资源,wait参数控制是否等待所有已提交的任务完成后再关闭。
线程池使用的代码示例
接下来,通过代码示例来演示线程池的使用。
from concurrent.futures import ThreadPoolExecutor, as_completed
def fibonacci(n):
print(f'开始计算Fibonacci的第{n}项……')
if n == 1:
return 0
if n == 2:
return 1
fib = [0] * (n + 1)
fib[1] = 0
fib[2] = 1
for i in range(3, n + 1):
fib[i] = fib[i - 1] + fib[i - 2]
print(f'Fibonacci的第{n}项计算完成')
return n, fib[n]
if __name__ == '__main__':
executor = ThreadPoolExecutor(max_workers=4)
tasks = [executor.submit(fibonacci, n) for n in range(100, 150, 10)]
for future in as_completed(tasks):
data = future.result()
print(f'Fibonacci序列的第{data[0]}项为{data[1]}')
执行结果:
对上述代码做个简要说明:
1、上述代码实现了一个通过线程池计算斐波那契数列的任务,分别计算第100、110、120、130、140项的数值。
2、代码首先创建了一个能够最大同时并发运行4个线程任务的线程池。
3、通过submit()方法提交了计算斐波那契数列的任务。
4、通过列表推导式获得了所有submit()方法的返回值,所以tasks是一个Future对象的列表。
5、通过as_completed()方法对Future对象列表进行包装,获取一个迭代器,当Future对象完成时,会返回该Future对象。
6、通过Future的result()方法,获取到任务运行的结果。
总结
本文首先介绍了一个完整的并发编程的解决方案应该具备的能力,然后引出了Python中通过线程池提供的一个更加完整的多线程编程的解决方案的支持,并简单介绍了线程池的常用方法。最后通过一个并发计算斐波那契数列的计算的示例,演示了线程池的使用。
以上就是本文的全部内容,感谢您的拨冗阅读。
相关推荐
- 了解Linux目录,那你就了解了一半的Linux系统
-
大到公司或者社群再小到个人要利用Linux来开发产品的人实在是多如牛毛,每个人都用自己的标准来配置文件或者设置目录,那么未来的Linux则就是一团乱麻,也对管理造成许多麻烦。后来,就有所谓的FHS(F...
- Linux命令,这些操作要注意!(linux命令?)
-
刚玩Linux的人总觉得自己在演黑客电影,直到手滑输错命令把公司服务器删库,这才发现命令行根本不是随便乱用的,而是“生死簿”。今天直接上干货,告诉你哪些命令用好了封神!喜欢的一键三连,谢谢观众老爷!!...
- Linux 命令速查手册:这 30 个高频指令,拯救 90% 的运维小白!
-
在Linux系统的世界里,命令行是强大的武器。对于运维小白而言,掌握一些高频使用的Linux命令,能极大提升工作效率,轻松应对各种系统管理任务。今天,就为大家奉上精心整理的30个Linu...
- linux必学的60个命令(linux必学的20个命令)
-
以下是Linux必学的20个基础命令:1.cd:切换目录2.ls:列出文件和目录3.mkdir:创建目录4.rm:删除文件或目录5.cp:复制文件或目录6.mv:移动/重命名文件或目录7....
- 提高工作效率的--Linux常用命令,能够决解95%以上的问题
-
点击上方关注,第一时间接受干货转发,点赞,收藏,不如一次关注评论区第一条注意查看回复:Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf为什么要学习Linux命令?1、因为Li...
- 15 个实用 Linux 命令(linux命令用法及举例)
-
Linux命令行是系统管理员、开发者和技术爱好者的强大工具。掌握实用命令不仅能提高效率,还能解锁Linux系统的无限潜力,本文将深入介绍15个实用Linux命令。ls-列出目录内容l...
- Linux 常用命令集合(linux常用命令全集)
-
系统信息arch显示机器的处理器架构(1)uname-m显示机器的处理器架构(2)uname-r显示正在使用的内核版本dmidecode-q显示硬件系统部件-(SMBIOS/DM...
- Linux的常用命令就是记不住,怎么办?
-
1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...
- Linux常用文件操作命令(linux常用文件操作命令有哪些)
-
ls命令在Linux维护工作中,经常使用ls这个命令,这是最基本的命令,来写几条常用的ls命令。先来查看一下使用的ls版本#ls--versionls(GNUcoreutils)8.4...
- Linux 常用命令(linux常用命令)
-
日志排查类操作命令查看日志cat/var/log/messages、tail-fxxx.log搜索关键词grep"error"xxx.log多条件过滤`grep-E...
- 简单粗暴收藏版:Linux常用命令大汇总
-
号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部下午好,我的网工朋友在Linux系统中,命令行界面(CLI)是管理员和开发人员最常用的工具之一。通过命令行,用户可...
- 「Linux」linux常用基本命令(linux常用基本命令和用法)
-
Linux中许多常用命令是必须掌握的,这里将我学linux入门时学的一些常用的基本命令分享给大家一下,希望可以帮助你们。总结送免费学习资料(包含视频、技术学习路线图谱、文档等)1、显示日期的指令:d...
- Linux的常用命令就是记不住,怎么办?于是推出了这套教程
-
1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...
- Linux的30个常用命令汇总,运维大神必掌握技能!
-
以下是Linux系统中最常用的30个命令,精简版覆盖日常操作核心需求,适合快速掌握:一、文件/目录操作1.`ls`-列出目录内容`ls-l`(详细信息)|`ls-a`(显示隐藏文件)...
- Linux/Unix 系统中非常常用的命令
-
Linux/Unix系统中非常常用的命令,它们是进行文件操作、文本处理、权限管理等任务的基础。下面是对这些命令的简要说明:**文件操作类:*****`ls`(list):**列出目录内容,显...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- resize函数 (64)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- mybatis大于等于 (64)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- logstashinput (65)
- hadoop端口 (65)
- vue阻止冒泡 (67)
- oracle时间戳转换日期 (64)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)