百度百科Scrapy - 版本历史

明华：/* Scrapy架构 */

2020-01-14T03:45:56Z

‎Scrapy架构

明华：/* 更多 */

2020-01-14T03:43:09Z

‎更多

明华：/* 更多 */

2020-01-14T03:41:52Z

‎更多

明华：/* 更多 */

2020-01-14T03:31:09Z

‎更多

明华：/* 更多 */

2020-01-14T03:30:28Z

‎更多

2020年1月14日 (二) 03:29 明华

2020-01-14T03:29:55Z

2020年1月14日 (二) 03:27 明华

2020-01-14T03:27:46Z

2020年1月14日 (二) 03:26 明华

2020-01-14T03:26:29Z

2020年1月14日 (二) 03:25 明华

2020-01-14T03:25:02Z

2020年1月14日 (二) 03:24 明华

2020-01-14T03:24:12Z

@@ 第20行： / 第20行： @@
 ==Scrapy架构==
-Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
+Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。<br>
-Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
+Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。<br>
-Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
+Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。<br>
-Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
+Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。<br>
-Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
+Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。<br>
-Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
+Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。<br>
 Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。[1] [2]

@@ 第96行： / 第96行： @@
 >支持扩展抓取extending Scrap，使用signals来自定义插入函数或者定义好的API(middlewares， extensions， and pipelines)<br>
 >大范围的内建中间件和扩展，基于但不限于cookies and session handling
-HTTP compression
+HTTP compression<br>
-HTTP authentication
+HTTP authentication<br>
-HTTP cache
+HTTP cache<br>
-user-agent spoofing
+user-agent spoofing<br>
-robots.txt
+robots.txt<br>
-crawl depth restriction
+crawl depth restriction<br>
-and more
+and more<br>
->强壮的编码支持和自动识别机制，可以处理多种国外的、非标准的、不完整的编码声明等等</dr>
+>强壮的编码支持和自动识别机制，可以处理多种国外的、非标准的、不完整的编码声明等等<br>
->可扩展的统计采集stats collection，针对数十个采集蜘蛛，在监控蜘蛛性能和识别断线断路？方面很有用处</dr>
+>可扩展的统计采集stats collection，针对数十个采集蜘蛛，在监控蜘蛛性能和识别断线断路？方面很有用处<br>
->一个可交互的XPaths脚本命令平台接口Interactive shell console，在调试撰写蜘蛛上是非常有用</dr>
+>一个可交互的XPaths脚本命令平台接口Interactive shell console，在调试撰写蜘蛛上是非常有用<br>
->一个系统服务级别的设计，可以在产品中非常容易的部署和运行你的蜘蛛</dr>
+>一个系统服务级别的设计，可以在产品中非常容易的部署和运行你的蜘蛛<br>
->内建的Web service，可以监视和控制你的机器人</dr>
+>内建的Web service，可以监视和控制你的机器人<br>
->一个Telnet控制台Telnet console，可以钩入一个Python的控制台在你的抓取进程中，以便内视或者调试你的爬虫</dr>
+>一个Telnet控制台Telnet console，可以钩入一个Python的控制台在你的抓取进程中，以便内视或者调试你的爬虫<br>
->支持基于Sitemap的网址发现的爬行抓取</dr>
+>支持基于Sitemap的网址发现的爬行抓取<br>
->具备缓存DNS和resolver功能</dr>
+>具备缓存DNS和resolver功能<br>
 ==参考资料==
-[1]   （美）Ryan Mitchell．Python网络数据采集．人民邮电出版社，2016.3</dr>
+[1]   （美）Ryan Mitchell．Python网络数据采集．人民邮电出版社，2016.3<br>
-[2]  （美）迪米特里奥斯·考奇斯·劳卡斯 ．《精通Python爬虫框架Scrapy》．人民邮电出版社，2018.2</dr>
+[2]  （美）迪米特里奥斯·考奇斯·劳卡斯 ．《精通Python爬虫框架Scrapy》．人民邮电出版社，2018.2<br>
-[3]  胡松涛 ．PYTHON 网络爬虫实战 ．清华大学出版社， 2017.1</dr>
+[3]  胡松涛 ．PYTHON 网络爬虫实战 ．清华大学出版社， 2017.1<br>
 ----
 [https://baike.baidu.com/item/scrapy/7914913?ivk_sa=1022817p 百度百科Scrapy]

@@ 第90行： / 第90行： @@
 =更多=
 你也看到了如何使用Scrapy从一个网站提取和存储数据，实际上，Scrapy提供了许多强大的特性，让它更容易和高效的抓取：[1]
->内建 selecting and extracting，支持从HTML，XML提取数据<td/>
+>内建 selecting and extracting，支持从HTML，XML提取数据<br>
->内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用</td>
+>内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用<br>
->内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种方式(FTP， S3， local filesystem)</dr>
+>内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种方式(FTP， S3， local filesystem)<br>
->针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线</dr>
+>针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线<br>
->支持扩展抓取extending Scrap，使用signals来自定义插入函数或者定义好的API(middlewares， extensions， and pipelines)</dr>
+>支持扩展抓取extending Scrap，使用signals来自定义插入函数或者定义好的API(middlewares， extensions， and pipelines)<br>
 >大范围的内建中间件和扩展，基于但不限于cookies and session handling
 HTTP compression

@@ 第90行： / 第90行： @@
 =更多=
 你也看到了如何使用Scrapy从一个网站提取和存储数据，实际上，Scrapy提供了许多强大的特性，让它更容易和高效的抓取：[1]
->内建 selecting and extracting，支持从HTML，XML提取数据</tr>
+>内建 selecting and extracting，支持从HTML，XML提取数据<td/>
->内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用</tr>
+>内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用</td>
 >内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种方式(FTP， S3， local filesystem)</dr>
 >针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线</dr>

@@ 第90行： / 第90行： @@
 =更多=
 你也看到了如何使用Scrapy从一个网站提取和存储数据，实际上，Scrapy提供了许多强大的特性，让它更容易和高效的抓取：[1]
->内建 selecting and extracting，支持从HTML，XML提取数据</dr>
+>内建 selecting and extracting，支持从HTML，XML提取数据</tr>
->内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用</dr>
+>内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用</tr>
 >内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种方式(FTP， S3， local filesystem)</dr>
 >针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线</dr>

@@ 第34行： / 第34行： @@
 存储内容 （pipelines.py）：设计管道存储爬取内容
 具体如下：
-选择网站
+==选择网站==
 选择一个网站，如果你需要从某个网站提取一些信息，但是网站不提供API或者其他可编程的访问机制，那么Scrapy可以帮助你提取信息。
-定义数据
+==定义数据==
 定义你要抓取的数据，第一件事情就是定义你要抓取的数据，在Scrapy这个是通过定义Scrapy Items来实现的。[2]
 这就是要定义的Item
@@ 第45行： / 第45行： @@
      description = Field()
      size = Field()
-撰写蜘蛛
+==撰写蜘蛛==
 撰写一个蜘蛛来抓取数据
 下一步是写一个指定起始网址的蜘蛛，包含follow链接规则和数据提取规则。
@@ 第79行： / 第79行： @@
          yield torrent
 因为很简单的原因，我们有意把重要的数据定义放在了上面。
-运行蜘蛛
+==运行蜘蛛==
 运行蜘蛛来抓取数据
 我们需要创建一个运行文件，放在setting同级目录下，用来单独运行蜘蛛：

@@ 第3行： / 第3行： @@
 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。[2]
-中文名
+中文名 抓取
-抓取
-外文名
+外文名scrapy
-scrapy
-基本功能
+基本功能 数据挖掘
-数据挖掘
-特点
+特点应用框架
-应用框架
-应用
+应用数据挖掘、监测和自动化测试
- 数据挖掘、监测和自动化测试
-基本功能
+==基本功能==
 Scrapy是一个为爬取网站数据、提取结构性数据而设计的应用程序框架，它可以应用在广泛领域：Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。[3]
 尽管Scrapy原本是设计用来屏幕抓取（更精确的说，是网络抓取），但它也可以用来访问API来提取数据。
 Scrapy架构
 Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
@@ 第25行： / 第27行： @@
 Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
 Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。[1] [2]
 如何开始
 新建项目 ：新建一个新的爬虫项目
 明确目标 （编写items.py）：明确你想要抓取的目标