一次说明白Python爬虫中多线程，多进程，异步IO编程
bigegpt 2024-12-19 11:31 5 浏览
图/文：迷神
我们在Python爬虫中，重要的是讲究速度，如果有10万或者100万Url地址，写过爬虫的都会知道，那估计是非常慢的。我们的Python爬虫一般IO密集型业务，Python爬虫程序需要发起网络请求，必然就有网络IO阻塞，通常请求一个URL耗时要几百毫秒到几秒，逐步执行，和我们CPU那么高性能比起来，那真是天壤之别。
比如，我们Python爬虫在单线程同步爬取过程中，一个个的爬取网站所有的URL，假设100个URL，平均每个URL请求的时间是1秒，那么在单线程同步场景下，最快也需要100秒钟，才能把所有的页面爬取下来。
在网页数据爬取以后，发现在数据量不大的时候，这种普通的程序还勉强，如果想极大提高速度，做到 快速爬虫，就需要使用多线程，多进程，异步IO编程了。不过，Python中有一个臭名昭著的GIL，导致做不到真正的并行运算，多核无法真正利用起来。多线程在切换线程，还有切换成本，以及线程的创建成本。如果使用多进程，虽然能利用多核处理的优势，但是多进程的创建本城比线程更高，而IO密集型任务，CPU不是瓶颈。
鉴于此，Python3.4 还是引入了异步 asyncio 模块，增加了异步编程，跟 JavaScript 的async/await 极为类似，大大方便了异步任务的处理。异步编程使得CPU不再需要再去等待耗时的操作，而是让出CPU时间给其他任务执行，可以极大提高完成所有的任务速度。
下面，我们通过具体的小例子，来看看多线程，多进程，异步IO编程的区别：
1、普通同步，单线程阻塞
单线程版本，所有的任务，按照顺序依次等待执行。
结果如下：
可以发现，总共5个任务，他们每个任务执行时间是1秒钟，单进程阻塞时，总共耗时是5秒多一点点。
2、多线程版本任务
简单来说就是在一个进程里面，可以执行多个任务，在这里的每一个任务就是一个线程。
执行结果：
换成多线程之后，5个线程各负责一个任务。我们看到执行结果：1.0039010047912598 已经明显比第一个快很多了。即使有GIL
多进程版本任务
多进程就是你的电脑允许运行多个程序，在同一段时间里面，可以 “同时” 执行多个任务。
执行结果：
执行结果：1.7484214305877686。是不是很奇怪，使用多进程，时间比多线程更慢，为什么？因为创建进程的成本是要比线程高的，虽然，它可以利用多核CPU的优势。
异步版本多个任务
最后，我们来看看异步模式下，怎么样。
执行结果：
发现使用asyncio所花的时间是最少的。asyncio可以实现单线程并发IO操作，它没有多线程和进程的创建成本，就是在单线程环境下，切换任务，当这个任务被阻塞时，立刻切换其他任务，当前面的任务完成时，在通知它，这样效率就极大的提高了。
最后，值得一说的就是一个不错的HTTP框架：aiohttp，它是一个基于asyncio实现的非常强大的HTTP框架，很值得学习哦。
相关推荐
- 了解Linux目录，那你就了解了一半的Linux系统
-
大到公司或者社群再小到个人要利用Linux来开发产品的人实在是多如牛毛，每个人都用自己的标准来配置文件或者设置目录，那么未来的Linux则就是一团乱麻，也对管理造成许多麻烦。后来，就有所谓的FHS（F...
- Linux命令，这些操作要注意!（linux命令?）
-
刚玩Linux的人总觉得自己在演黑客电影，直到手滑输错命令把公司服务器删库，这才发现命令行根本不是随便乱用的，而是“生死簿”。今天直接上干货，告诉你哪些命令用好了封神！喜欢的一键三连，谢谢观众老爷！！...
- Linux 命令速查手册:这 30 个高频指令，拯救 90% 的运维小白!
-
在Linux系统的世界里，命令行是强大的武器。对于运维小白而言，掌握一些高频使用的Linux命令，能极大提升工作效率，轻松应对各种系统管理任务。今天，就为大家奉上精心整理的30个Linu...
- linux必学的60个命令(linux必学的20个命令)
-
以下是Linux必学的20个基础命令：1.cd：切换目录2.ls：列出文件和目录3.mkdir：创建目录4.rm：删除文件或目录5.cp：复制文件或目录6.mv：移动/重命名文件或目录7....
- 提高工作效率的--Linux常用命令，能够决解95%以上的问题
-
点击上方关注，第一时间接受干货转发，点赞，收藏，不如一次关注评论区第一条注意查看回复：Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf为什么要学习Linux命令？1、因为Li...
- 15 个实用 Linux 命令（linux命令用法及举例）
-
Linux命令行是系统管理员、开发者和技术爱好者的强大工具。掌握实用命令不仅能提高效率，还能解锁Linux系统的无限潜力，本文将深入介绍15个实用Linux命令。ls-列出目录内容l...
- Linux 常用命令集合（linux常用命令全集）
-
系统信息arch显示机器的处理器架构(1)uname-m显示机器的处理器架构(2)uname-r显示正在使用的内核版本dmidecode-q显示硬件系统部件-(SMBIOS/DM...
- Linux的常用命令就是记不住，怎么办?
-
1.帮助命令1.1help命令#语法格式：命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...
- Linux常用文件操作命令（linux常用文件操作命令有哪些）
-
ls命令在Linux维护工作中，经常使用ls这个命令，这是最基本的命令，来写几条常用的ls命令。先来查看一下使用的ls版本#ls--versionls(GNUcoreutils)8.4...
- Linux 常用命令（linux常用命令）
-
日志排查类操作命令查看日志cat/var/log/messages、tail-fxxx.log搜索关键词grep"error"xxx.log多条件过滤`grep-E&#...
- 简单粗暴收藏版:Linux常用命令大汇总
-
号主：老杨丨11年资深网络工程师，更多网工提升干货，请关注公众号：网络工程师俱乐部下午好，我的网工朋友在Linux系统中，命令行界面（CLI）是管理员和开发人员最常用的工具之一。通过命令行，用户可...
- 「Linux」linux常用基本命令（linux常用基本命令和用法）
-
Linux中许多常用命令是必须掌握的，这里将我学linux入门时学的一些常用的基本命令分享给大家一下，希望可以帮助你们。总结送免费学习资料（包含视频、技术学习路线图谱、文档等）1、显示日期的指令：d...
- Linux的常用命令就是记不住，怎么办?于是推出了这套教程
-
1.帮助命令1.1help命令#语法格式：命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...
- Linux的30个常用命令汇总，运维大神必掌握技能!
-
以下是Linux系统中最常用的30个命令，精简版覆盖日常操作核心需求，适合快速掌握：一、文件/目录操作1.`ls`-列出目录内容`ls-l`（详细信息）|`ls-a`（显示隐藏文件）...
- Linux/Unix 系统中非常常用的命令
-
Linux/Unix系统中非常常用的命令，它们是进行文件操作、文本处理、权限管理等任务的基础。下面是对这些命令的简要说明：**文件操作类：*****`ls`(list):**列出目录内容，显...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- resize函数 (64)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- mybatis大于等于 (64)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- logstashinput (65)
- hadoop端口 (65)
- vue阻止冒泡 (67)
- oracle时间戳转换日期 (64)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)