百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

「从零开始Python爬虫」1.8.2 Scrapy的安装

bigegpt 2024-08-04 11:25 2 浏览

Scrapy是一个十分强大的爬虫框架,依赖的库比较多,至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台环境下,它所依赖的库也各不相同,所以在安装之前,最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。

相关链接

※官方网站:https://scrapy.org

※官方文档:https://docs.scrapy.org

※PyPI:https://pypi.python.org/pypi/Scrapy

※GitHub:https://github.com/scrapy/scrapy

※中文文档:http://scrapy-chs.readthedocs.io

Anaconda安装

这是一种比较简单的安装Scrapy的方法(尤其是对于Windows来说),如果你的Python是使用Anaconda安装的,或者还没有安装Python的话,可以使用此方法安装,这种方法简单、省力。当然,如果你的Python不是通过Anaconda安装的,可以继续看后面的内容。

关于Anaconda的安装方式,可以查看1.1节,在此不再赘述。

如果已经安装好了Anaconda,那么可以通过conda命令安装Scrapy,具体如下:

conda install Scrapy

#楼主分享一个坑:有个网络对国外IP的访问有限制,我用公司网络从Anaconda的服务器上无法下载,但换成手机热点就好了。

Windows下的安装

如果你的Python不是使用Anaconda安装的,可以参考如下方式来一步步安装Scrapy。

【安装lxml】

lxml的安装过程请参见1.3.1节,在此不再赘述,此库非常重要,请一定要安装成功。

【安装pyOpenSSL】

在官方网站下载wheel文件(详见https://pypi.python.org/pypi/pyOpenSSL#downloads)即可,如下图所示。

下载后利用pip安装即可:

pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl

【安装Twisted】

到http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

比如,对于Python 3.6版本、Windows 64位系统,则当前最新版本为Twisted?17.5.0?cp36?cp36m?win_amd64.whl,直接下载即可,如下图所示。

然后通过pip安装:

pip3 install Twisted?17.5.0?cp36?cp36m?win_amd64.whl

【安装PyWin32】

从官方网站下载对应版本的安装包即可,链接为:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/,如下图所示。

比如对于Python 3.6版本,可以选择下载pywin32-221.win-amd64-py3.6.exe,下载完毕之后双击安装即可。

注意,这里使用的是Build 221版本,随着时间推移,版本肯定会继续更新,最新的版本可以查看https://sourceforge.net/projects/pywin32/files/pywin32/,到时查找最新的版本安装即可。

【安装Scrapy】

安装好了以上的依赖库后,安装Scrapy就非常简单了,这里依然使用pip,命令如下:

pip3 install Scrapy

等待命令结束,如果没有报错,就证明Scrapy已经安装好了。

Linux下的安装

在Linux下的安装方式依然分为两类平台来介绍。

CentOS和Red Hat

在CentOS和Red Hat下,首先确保一些依赖库已经安装,运行如下命令:

sudo yum groupinstall -y development tools
sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

最后利用pip安装Scrapy即可:

pip3 install Scrapy

Ubuntu、Debian和Deepin

在Ubuntu、Debian和Deepin平台下,首先确保一些依赖库已经安装,运行如下命令:

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

然后利用pip安装Scrapy即可:

pip3 install Scrapy

运行完毕后,就完成Scrapy的安装了。

Mac下的安装

在Mac下,首先也是进行依赖库的安装。

在Mac上构建Scrapy的依赖库需要C编译器以及开发头文件,它一般由Xcode提供,具体命令如下:

xcode-select --install

随后利用pip安装Scrapy即可:

pip3 install Scrapy

验证安装

安装之后,在命令行下输入scrapy,如果出现类似如下图所示的结果,就证明Scrapy安装成功了。

常见错误

在安装过程中,常见的错误汇总如下。

pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))

这是six包版本过低出现的错误。six包是一个提供兼容Python 2和Python 3的库,这时升级six包即可:

sudo pip3 install -U six
c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory

这是在Linux下常出现的错误,缺少libffi库造成的。什么是libffi?FFI的全名是Foreign Function Interface,通常指的是允许以一种语言编写的代码调用另一种语言的代码。而libffi库只提供了最底层的、与架构相关的、完整的FFI。此时安装相应的库即可。

在Ubuntu和Debian下,直接执行如下命令即可:

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

在CentOS和Red Hat下,直接执行如下命令即可:

sudo yum install gcc libffi-devel python-devel openssl-devel
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build/cryptography/

这是缺少加密的相关组件,此时利用pip安装即可:

pip3 install cryptography
ImportError: No module named 'packaging'

这是因为缺少packaging包出现的错误,这个包提供了Python包的核心功能,此时利用pip安装即可。

ImportError: No module named '_cffi_backend'

这个错误表示缺少cffi包,直接使用pip安装即可:

pip3 install cffi
ImportError: No module named 'pyparsing'

这个错误表示缺少pyparsing包,直接使用pip安装即可:

pip3 install pyparsing appdirs

【上节】「从零开始Python爬虫」1.8.1 Pyspider的安装

相关推荐

无畏契约手游测试资格获取方法,安卓IOS下载教程

《无畏契约:源能行动》是拳头游戏与腾讯光子工作室联合开发的《无畏契约》正版手游,延续了端游的5v5战术射击核心玩法,并针对移动端进行了操作优化。游戏以快节奏的爆破模式为核心,融合角色技能系统、经济策略...

微软正在测试重新设计的Office图标 但您现在可以提前下载重制版本

今年4月,有消息称微软正在征求用户对一组Office图标7年来首次重制版的看法(上一次重制是在2018年末)。现在,有人决定自己动手,制作了一套微软的高分辨率图标包与用户共享以获得反馈。Reddi...

AB Download Manager:一款可以替代IDM的开源桌面下载管理器

软件介绍IDM下载器大家应该多少都知道一点,如果不知道的话只能自行百度了,但是IDM本身是需要付费的,而今天推荐的这款软件,在下载方面是和IDM差不多的,大概有90%的相似度,感兴趣的朋友可以体验一下...

《夺宝奇兵》PS5光盘仅20G:其余需联网下载

来源:游民星空【《夺宝奇兵》PS5光盘仅20G:其余需联网下载】据游戏测试账号“DoesItPlay1”在推特发布动态表示,《夺宝奇兵:古老之圈》PS5实体光盘只存储了20GB的游戏数据,其余内容需要...

薇姐聊诗词7:诗词创作韵部查询及检测工具

薇姐聊诗词7:诗词创作韵部查询及检测工具。·1、诗词创作中所用韵脚哪里找?平水韵:106部,分平声30部、上声29部、去声30部、入声17部,反映中古汉语语音体系。新韵:(中华新韵)14部,以普通话为...

阿里云国际站:怎样模拟高并发测试场景?

本文由【云老大】TG@yunlaoda360撰写一、使用JMeter安装JMeter:从JMeter官网下载并安装JMeter。创建测试计划:打开JMeter,创建一个新的测试计划。添加线程组...

Android Studio 新增 AI 驱动的测试和更智能的崩溃诊断功能

随着GoogleI/O2025大会的落幕,值得注意的是,谷歌在AndroidStudio中引入了几项新功能,旨在改善Android应用程序的开发流程。最新版本集成了更先进的AI工...

如何在本地测试PHP源码的网站

通常,我们测试自建网站或从网上获取的PHP源码时,若直接上传到服务器,出错后再修改会很麻烦,因此一般会选择先在本地电脑上进行测试。1、先下载喜欢的源码,很多网站提供下载,如源码论坛等。这些源码是现成...

显卡性能测试工具3DMark06的应用教程

显卡作为计算机的重要组成部分,也是主要的输出设备。在计算机系统中,图形处理性能的瓶颈往往在于显卡。若要评估显卡性能,用户可以借助专业的检测工具3DMark,判断显卡是否能满足当前需求,或者是否需要...

Downie4 安装教程(轻松获取视频素材)

效果一、准备工作下载软件链接:http://www.macfxb.cn二、开始安装1、双击运行软件,将其从左侧拖入右侧文件夹中,等待安装完毕2、应用程序显示软件图标,表示安装成功三、运行测试1、打开软...

如何使用瑞星杀毒软件的网速测试功能

下面为大家介绍瑞星杀毒软件的网速测试功能。1、打开安全工具,找到网速测试,点击下载后开启。2、打开网速测试页面,点击开始测试按钮。3、测试结束后,你就能知晓自己的网速了。(9744667)...

阿里云国际站:如何测试服务器真实带宽?

本文由【云老大】TG@yunlaoda360撰写基于命令行工具测试iperf/iperf3:服务器端:在服务器上安装iperf后,运行iperf-s或iperf3-s启动服务端,...

CentOS Docker 安装

Docker支持以下的64位CentOS版本:CentOS9(stream)更高版本...必须启用centos-extras仓库,该仓库默认启用,如果您禁用了它,需要重新启用。使用官...

Fast YOLO:用于实时嵌入式目标检测(附论文下载)

关注并星标从此不迷路计算机视觉研究院公众号ID|ComputerVisionGzq计算机视觉研究院专栏作者:Edison_G目标检测被认为是计算机视觉领域中最具挑战性的问题之一,因为它涉及场景中对象分...

aigc检测报告与查重监测报告

哈喽学妹学弟们!最近是不是都在忙着写论文呢?记得当初我写论文的时候,也被AIGC检测报告和查重监测报告搞得晕头转向。不过经过我的一番摸索,终于搞清楚了它们之间的区别和联系。来来来,学姐今天就来给你们传...