当前位置: 代码迷 >> 综合 >> win7环境下安装爬虫框架 scrapy
  详细解决方案

win7环境下安装爬虫框架 scrapy

热度:105   发布时间:2023-10-23 15:43:00.0

环境

  • Windows7 64位
  • Python2.7.6 64位

Python的安装:

  • 打开http://www.python.org/getit/releases/2.7.6/页面,下载Python-2.7.6.amd64.msi 进行安装,安装完成后,需要配置环境变量,环境变量的配置可以参考该文章
  • 测试python是否安装成功,如果python成功安装并且配置好环境变量,那么在cmd中输入python,就能得到python版本的详细信息(如32位或64位)


easy_install的安装

保存ez_setup.py至本地,如D盘(如果失效了,可以参考下http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html)

在cmd中运行:

[html] view plain copy
  1. d:\>python ez_setup.py  
进行SetupTools的安装
在运行的时候会发生一个错误,该错误为"ascii codec can't decode byte 0xe8 in position 0:ordinal not in range(128)",大意为ascii编码不能解析byte 0xe8。

解决方法:找到并打开python根目录/Lib/mimetypes.py文件,在import urllib后,添加代码:

  1. reload(sys)  
  2. sys.setdefaultencoding('gbk'

win7环境下安装爬虫框架 scrapy

 把默认编码方式改为gbk(网上有写用utf8的,在这个脚本中是无效的,需要改成gbk格式)。重新执行python ez_setup.py,如果出现刷屏的安装信息,则说明安装成功了。此时,在python目录下多了一个Script文件夹,easy_install就在里面


Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载:http://pan.baidu.com/s/1mgBOGYG

 注意,下载依赖项之前一定要确认自己Python的位数。有可能你是64位的系统但装的却是32位的Python。所以先确认,不然安装依赖项的时候会出现诸多错误。

win7环境下安装爬虫框架 scrapy

确认好自己的Python位数   下面就开始按照自己的位数和系统去安装依赖。以下是win7 64位系统的范例。

  • 安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)
  • 安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)
  • 安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)
  • 安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)
  • 将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下,执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg
验证scrapy依赖项是否安装成功的方法:

cmd执行$ python进入python控制台

  • 执行import lxml,如果没报错,则说明lxml安装成功
  • 执行import twisted,如果没报错,则说明twisted安装成功
  • 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功
  • 执行import zope.interface,如果没报错,则说明zope.interface安装成功
  • 如果安装成功,那么在cmd中执行& python,然后执行import lxml,如果没有报错,则说明lxml安装成功。

安装Scrapy

  • 方法1: 控制台输入:easy_install scrapy
  • 方法2:解压缩Scrapy-0.22.2.tar.gz,在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 $ scrapy ,如果没有报错,说明安装成功。


win7环境下安装爬虫框架 scrapy


原文  http://blog.csdn.net/php_fly/article/details/19364913

  相关解决方案