百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Python并发编程:化繁为简,通过线程池轻松实现多线程编程

bigegpt 2024-12-19 11:31 5 浏览

引言

虽然Python的threading模块提供了各种多线程编程的组件支持,比如前面介绍过的Thread、Lock、Condition、Queue、Semaphore等,在各个典型的并发需求中,都能够提供很好的技术支持。

但是,要真正实现系统的多线程编程,除了技术特性的支持,还需要真正实现更加便捷的多线程任务的全生命周期管理,简化线程任务的提交、状态获取、结果获取等,屏蔽并发资源管理的复杂性等。

为了更加轻松便捷地进行多线程编程,Python提供了线程池的支持,可以帮我们更好地实现上述多线程编程的相关诉求。

本文就来简单介绍一下Python中线程池的基本使用,本文的主要内容有:

1、多线程解决方案的完整诉求

2、Python中对线程池的支持

3、线程池使用的代码示例


多线程解决方案的完整诉求

虽然,基于前面的文章中关于Python中threading模块的常用组件的介绍,我们能够进行一些简单的并发编程的实现。但是,一个工业级的并发编程实践,除了满足基础的并发特性、线程通信与同步外,更重要的是能够真实满足业务的诉求。

一个完整的多线程解决方案的诉求,主要有:

1、提供并发特性和线程通信同步的支持

能够实现并发、甚至并行,从而提高用户体验、提高作业效率的并发特性支持。任务并发的同时要保证作业的准确性,所以,需要有线程间的通信以及同步机制的支持。

这方面可以说是多线程编程的最基础、最核心的部分。前面的文章中,关于threading模块的各种组件的介绍,基本上都是在围绕着这些特性。

2、简便的任务提交以及结果管理

并发任务的提交应该更加简洁,多线程编程中,开发者应当更加专注于业务逻辑中,可并发的业务需求的识别及业务规则的代码实现。而无需关心如何进行线程的创建以及如何实现任务的提交。

并发任务的结果需要进行自动化管理,更便捷的获取线程执行结果,而不是多线程的无序、失控的执行状态。

3、状态跟踪及异常处理

并发任务的执行状态,应当是可以轻松进行感知、管理的。

并发过程中对异常的定位及处理,应该更加便捷,而不是增加调试的复杂性。

4、任务的执行与资源调度相分离

关注业务逻辑的实现,更大的精力应该在于业务需求的理解、业务需求中可并行逻辑的拆解,业务需求的最终编码实现。

并发编程中的线程资源的申请、释放,相应执行资源的调度管理等的复杂性,应该对开发者屏蔽(应用开发者,如果是底层组件的设计者,则应该更加关注这块内容)


基于这些并发编程的完整诉求,显然,threading模块的组件就显得有些乏力了,好在Python中提供了线程池的支持,可以更好地满足这些诉求,提供更加简洁的并发编程的实现。


Python中对线程池的支持

Python中的concurrent.futures包中的ThreadPoolExecutor、Future和as_completed提供了关于线程池的支持。

关于线程池的相关操作,主要有:

1、任务的提交

任务提交是线程池的核心功能,用户可以通过submit()方法将任务提交给线程池,也可以通过map()方法进行批量的任务提交。方法会返回Future对象,用于进行任务的执行状态的跟踪和结果的获取。

2、任务状态的跟踪

Future对象提供了跟踪任务状态的方法,主要有:

1)done()方法:返回布尔值,用于标识任务是否执行完成

2)running()方法:返回布尔值,用于表示当前任务是否正在运行

3)cancel()方法:尝试取消任务,如果任务还没有开始执行,则可以取消成功,返回True。如果任务已经在运行中,则会返回False

3、任务结果的获取

一旦任务完成,用户可以通过Future对象获取结果或者处理异常,有两个方法:

1)result(timeout=None):返回任务的结果。如果任务已经完成,返回其结果。如果任务抛出异常,则重新引发该异常。可以通过timeout参数设置等待的最大时间(单位:秒)。

2)exception(timeout=None):如果任务抛出异常,则返回该异常;如果任务成功完成,则返回None。

4、线程池的控制

通过初始化方法可以创建一个线程池,通过shutdown()方法,可以关闭线程池并释放资源,wait参数控制是否等待所有已提交的任务完成后再关闭。


线程池使用的代码示例

接下来,通过代码示例来演示线程池的使用。

from concurrent.futures import ThreadPoolExecutor, as_completed


def fibonacci(n):
    print(f'开始计算Fibonacci的第{n}项……')
    if n == 1:
        return 0
    if n == 2:
        return 1
    fib = [0] * (n + 1)
    fib[1] = 0
    fib[2] = 1
    for i in range(3, n + 1):
        fib[i] = fib[i - 1] + fib[i - 2]
    print(f'Fibonacci的第{n}项计算完成')
    return n, fib[n]


if __name__ == '__main__':
    executor = ThreadPoolExecutor(max_workers=4)
    tasks = [executor.submit(fibonacci, n) for n in range(100, 150, 10)]
    for future in as_completed(tasks):
        data = future.result()
        print(f'Fibonacci序列的第{data[0]}项为{data[1]}')

执行结果:

对上述代码做个简要说明:

1、上述代码实现了一个通过线程池计算斐波那契数列的任务,分别计算第100、110、120、130、140项的数值。

2、代码首先创建了一个能够最大同时并发运行4个线程任务的线程池。

3、通过submit()方法提交了计算斐波那契数列的任务。

4、通过列表推导式获得了所有submit()方法的返回值,所以tasks是一个Future对象的列表。

5、通过as_completed()方法对Future对象列表进行包装,获取一个迭代器,当Future对象完成时,会返回该Future对象。

6、通过Future的result()方法,获取到任务运行的结果。


总结

本文首先介绍了一个完整的并发编程的解决方案应该具备的能力,然后引出了Python中通过线程池提供的一个更加完整的多线程编程的解决方案的支持,并简单介绍了线程池的常用方法。最后通过一个并发计算斐波那契数列的计算的示例,演示了线程池的使用。

以上就是本文的全部内容,感谢您的拨冗阅读。

相关推荐

了解Linux目录,那你就了解了一半的Linux系统

大到公司或者社群再小到个人要利用Linux来开发产品的人实在是多如牛毛,每个人都用自己的标准来配置文件或者设置目录,那么未来的Linux则就是一团乱麻,也对管理造成许多麻烦。后来,就有所谓的FHS(F...

Linux命令,这些操作要注意!(linux命令?)

刚玩Linux的人总觉得自己在演黑客电影,直到手滑输错命令把公司服务器删库,这才发现命令行根本不是随便乱用的,而是“生死簿”。今天直接上干货,告诉你哪些命令用好了封神!喜欢的一键三连,谢谢观众老爷!!...

Linux 命令速查手册:这 30 个高频指令,拯救 90% 的运维小白!

在Linux系统的世界里,命令行是强大的武器。对于运维小白而言,掌握一些高频使用的Linux命令,能极大提升工作效率,轻松应对各种系统管理任务。今天,就为大家奉上精心整理的30个Linu...

linux必学的60个命令(linux必学的20个命令)

以下是Linux必学的20个基础命令:1.cd:切换目录2.ls:列出文件和目录3.mkdir:创建目录4.rm:删除文件或目录5.cp:复制文件或目录6.mv:移动/重命名文件或目录7....

提高工作效率的--Linux常用命令,能够决解95%以上的问题

点击上方关注,第一时间接受干货转发,点赞,收藏,不如一次关注评论区第一条注意查看回复:Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf为什么要学习Linux命令?1、因为Li...

15 个实用 Linux 命令(linux命令用法及举例)

Linux命令行是系统管理员、开发者和技术爱好者的强大工具。掌握实用命令不仅能提高效率,还能解锁Linux系统的无限潜力,本文将深入介绍15个实用Linux命令。ls-列出目录内容l...

Linux 常用命令集合(linux常用命令全集)

系统信息arch显示机器的处理器架构(1)uname-m显示机器的处理器架构(2)uname-r显示正在使用的内核版本dmidecode-q显示硬件系统部件-(SMBIOS/DM...

Linux的常用命令就是记不住,怎么办?

1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...

Linux常用文件操作命令(linux常用文件操作命令有哪些)

ls命令在Linux维护工作中,经常使用ls这个命令,这是最基本的命令,来写几条常用的ls命令。先来查看一下使用的ls版本#ls--versionls(GNUcoreutils)8.4...

Linux 常用命令(linux常用命令)

日志排查类操作命令查看日志cat/var/log/messages、tail-fxxx.log搜索关键词grep"error"xxx.log多条件过滤`grep-E&#...

简单粗暴收藏版:Linux常用命令大汇总

号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部下午好,我的网工朋友在Linux系统中,命令行界面(CLI)是管理员和开发人员最常用的工具之一。通过命令行,用户可...

「Linux」linux常用基本命令(linux常用基本命令和用法)

Linux中许多常用命令是必须掌握的,这里将我学linux入门时学的一些常用的基本命令分享给大家一下,希望可以帮助你们。总结送免费学习资料(包含视频、技术学习路线图谱、文档等)1、显示日期的指令:d...

Linux的常用命令就是记不住,怎么办?于是推出了这套教程

1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...

Linux的30个常用命令汇总,运维大神必掌握技能!

以下是Linux系统中最常用的30个命令,精简版覆盖日常操作核心需求,适合快速掌握:一、文件/目录操作1.`ls`-列出目录内容`ls-l`(详细信息)|`ls-a`(显示隐藏文件)...

Linux/Unix 系统中非常常用的命令

Linux/Unix系统中非常常用的命令,它们是进行文件操作、文本处理、权限管理等任务的基础。下面是对这些命令的简要说明:**文件操作类:*****`ls`(list):**列出目录内容,显...