:-:  scrapy爬虫流程 | 组件 | 职责 | 是否需要手写 | | --- | --- | --- | | Scrapy engine(引擎) | 总指挥：负责数据和信号的在不同模块间的传递 | scrapy已经实现 | | Scheduler(调度器) | ⼀个队列，存放引擎发过来的request请求 | scrapy已经实现 | | Downloader(下载器) | 下载把引擎发过来的 requests请求，并返回 给引擎 | scrapy已经实现 | | Spider(爬⾍) | 处理引擎发来的 response，提取数据，提 取url，并交给引擎 | 需要⼿写 | | Item Pipline(管道) | 处理引擎传过来的数 据，⽐如存储 | 需要⼿写 | | Downloader Middlewares(下载中 间件) | 可以⾃定义的下载扩展，⽐如设置代理 | ⼀般不⽤⼿写 | | Spider Middlewares(中间件) | 可以⾃定义requests请求和进⾏response过滤 | ⼀般不⽤⼿写 |