一、前言
最近在研究 python 爬虫,用到了一个叫 Scrapy 的爬虫框架。要用到这个框架要先安装 scrapy ,在安装过程中遇到各种坑,写篇博客记录一下这些坑,希望对大家有一定的帮助。
二、错误截图
三、解决方案
先执行以下命令安装 scrapy ,会出现 Twisted 安装不上的问题。
pip install scrapy
网上查了资料, Twisted 只能通过下载文件来安装,这里需要注意一下你下载的版本问题。下载链接:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
这么多个不知道下载哪个?你先执行以下命令,查看一下你的 python 版本。
python
可以看到博主的版本是3.8.2版本的。那么怎么找对应的 Twisted 呢?Twisted-20.3.0-cp38-win_amd64whl。你只需要看红色部分,cp38表示对应的是3.8版本的。amd64和win32的区别就是区分是64的操作系统还是32的操作系统。
博主的操作系统是64的,不过下载64的还是报一样的错误,尝试下载32的居然成功了。要自己灵活一点,这个不行,就换另一个试一下,总有一个适合你的。
出现Successfully说明安装成功了,再执行下面的命令安装 scrapy。
pip install scrapy
踩了这么多坑之后,终于安装成功了。
四、结尾
填坑之旅慢慢,且行且珍惜。想看博主更多精彩好文章,可以访问:http://wjshamrt.vip 。欢迎大家互踩哦。