[TOC] ## 制作 Scrapy 爬虫 一共需要4步： 1. 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目 2. 明确目标 （编写items.py）：明确你想要抓取的目标 3. 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页 4. 存储内容 （pipelines.py）：设计管道存储爬取内容 ## 安装 ### Windows 安装方式 升级 pip 版本： ``` pip3 install --upgrade pip ``` 通过 pip 安装 Scrapy 框架: ``` pip install Scrapy ``` ### Ubuntu 安装方式 安装非 Python 的依赖: ``` sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev ``` 通过 pip 安装 Scrapy 框架： ``` sudo pip3 install scrapy ``` ### Mac OS 安装方式 对于Mac OS系统来说，由于系统本身会引用自带的python2.x的库，因此默认安装的包是不能被删除的，但是你用python2.x来安装Scrapy会报错，用python3.x来安装也是报错，我最终没有找到直接安装Scrapy的方法，所以我用另一种安装方式来说一下安装步骤，解决的方式是就是使用virtualenv来安装。 ``` $ sudo pip install virtualenv $ virtualenv scrapyenv $ cd scrapyenv $ source bin/activate $ pip install Scrapy ``` 安装后，只要在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功。