[TOC] ## 1.Scrapy框架  **ENGINE** 引擎，框架的核心，控制其他组件协同工作。 **SCHEDULER** 调度器，负责对SPIDER提交的下载请求进行调度 **DOWNLOADER** 下载器，负责下载页面 **SPIDER** 爬虫，负责提取页面中的数据，并产生新的请求 **MIDDLEWARE** 中间件，负责对Request对象和Response对象进行处理 **ITEM PIPELINE** 数据管道，负责对爬取到的数据进行处理 ## **2.安装** ``` pip install scrapy # 检查安装是否成功 scrapy ``` ## **3.基本使用** ### **3.1.创建项目** ``` scrapy startproject example ``` 目录结构：  ### **3.2.实现爬虫** 在`spiders`目录下创建文件如`boos_spider.py`。  * name：一个项目中有多个爬虫，name属性是唯一标识； * start_urls：爬虫的起始页面； * parse：当一个页面下载完成后，Scrapy会回调一个指定的解析函数来解析页面， 通常完成两个任务：提取数据和提取链接。 ### **3.3.运行爬虫** ``` scrapy crawl books -o books.csv ``` ## **4.编写Spider**