Scrapy学习笔记-1.环境准备（Pycharm+mysql+Navicate+virtualenv）

本系列所有文章内容来源于imooc网站:聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎 课程，主讲教师 bobby老师。

1.安装Pycharm(已有)

2.安装数据库+Navicate(已有)

3.安装虚拟环境 virtualenv

3.1.1普通安装：pip install virtualenv

3.1.2.快速安装(不会报time out)

3.2.创建虚拟环境

目录下放的最初的包

进入虚拟环境

 

路径前面出现虚拟环境的名字说明进入虚拟环境成功！

退出虚拟环境

• P.S.
• 疑问：搭建虚拟环境的必要性？
• 回答：虚拟环境是一个将不同项目所需求的依赖分别放在独立的地方的一个工具，它给这些工程创建虚拟的Python环境。它解决了“项目X依赖于版本2.x，而项目Y需要项目3.x”的两难问题，而且使你的全局site-packages目录保持干净和可管理。 virtualenv 是一个创建隔绝的Python环境的工具，virtualenv创建一个包含所有必要的可执行文件的文件夹，用来使用Python工程所需的包。
• 疑问：搭建不同系统的虚拟环境的必要性？
• 回答：未知。目前仅搭建windows环境的虚拟环境

3.3.安装虚拟环境管理工具virtualenvwrapper

异常：workon、mkvirtualenv命令不起作用,重启命令行还是不行

解决方法：使用安装命令：pip install virtualenvwrapper-win

此时虚拟环境默认存放路径：

该路径可变:

3.3.1.改变虚拟环境存储路径

新建环境变量

执行workon命令

重启cmd

将C:\Users\admin\Envs\py3scrapy路径下的虚拟环境拷到D:\Envs下面

执行虚拟环境

安装requests和scrapy

• pip install requests
• pip install -i https://pypi.douban.com scrapy

1. 异常：安装scrapy报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/
2. 解决方法：网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到与自己的python对应版本的包(python3.6.0对应cp36)，离线安装该包

        

       重新安装scrapy

       

       虚拟环境创建完成

       应用：如果本机装有python2和python3的环境，则可在同一目录下创建两个不同版本的虚拟环境，两个版本的python虚拟环境互不影响。