23,882
个编辑
更改
→更多
=更多=
你也看到了如何使用Scrapy从一个网站提取和存储数据，实际上，Scrapy提供了许多强大的特性，让它更容易和高效的抓取：[1]
1>内建 selecting and extracting，支持从HTML，XML提取数据<td/br>2>内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用</tdbr>3>内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种方式(FTP， S3， local filesystem)</drbr>4>针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线</drbr>5>支持扩展抓取extending Scrap，使用signals来自定义插入函数或者定义好的API(middlewares， extensions， and pipelines)</drbr>
6>大范围的内建中间件和扩展，基于但不限于cookies and session handling
HTTP compression