当前位置: 代码迷 >> 综合 >> 一、Scrapy 框架流程介绍
  详细解决方案

一、Scrapy 框架流程介绍

热度:95   发布时间:2023-10-13 21:29:35.0

Scrapy框架

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。

Scrapy使用了Twisted异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件借口,可以灵活地完成各种需求。

Scrapy架构图:(很重要,有助于理解爬虫原理)

一、Scrapy 框架流程介绍

各个组件的作用:

一、Scrapy 框架流程介绍

Scrapy运作流程:(很形象)

一、Scrapy 框架流程介绍

注意:只有当调度器中不存在任何request了,整个程序才会停止。(也就是说,对于下载失败的URL,Scrapy也会重新下载)

 

  相关解决方案