[TOC]
# 安装
如果你使用 ubuntu请先安装以下依赖包：`apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml`
如果需要调用js解析框架，请先照着[phantomjs官网](http://phantomjs.org/build.html)说明安装`phantomjs`应用，并把可执行程序添加到系统环境变量`PATH`中以方便调用。
以上安装完成后，执行以下命令安装pyspider
`pip install pyspider`
# 启动环境
安装完成后运行以下命令运行pyspider程序
`pyspider`
>[info]注意：`pyspider`命令默认会以all模式运行所有的组件，方便调试。作者建议在线上模式分开部署各各组件，详情请查看部署章节
运行成功后用浏览器打开http://localhost:5000/访问控制台
# 编写脚本
在web控制台点create按钮新建任务，项目名自定义。本例项目名为test。
保存后打开代码编辑器（代码编辑器默认有简单的实例代码）
右侧就是代码编辑器，以后可以直接在这添加修改代码。本实例就直接使用以自带的代码吧。代码如下
```
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2015-10-08 12:45:44
# Project: test
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://scrapy.org/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc('a[href^="http"]').items():
self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
return {
"url": response.url,
"title": response.doc('title').text(),
}
```
代码简单分析：
* `def on_start(self)` 方法是入口代码。当在web控制台点击`run`按钮时会执行此方法。
* `self.crawl(url, callback=self.index_page)`这个方法是调用API生成一个新的爬取任务，这个任务被添加到待抓取队列。
* `def index_page(self, response)` 这个方法获取一个`Response`对象。 `response.doc`是pyquery对象的一个扩展方法。pyquery是一个类似于jQuery的对象选择器。
* `def detail_page(self, response)`返回一个结果集对象。这个结果默认会被添加到resultdb数据库（如果启动时没有指定数据库默认调用sqlite数据库）。你也可以重写`on_result(self,result)`方法来指定保存位置。
更多知识：
* `@every(minutes=24*60, seconds=0)` 这个设置是告诉`scheduler`（调度器）`on_start`方法每天执行一次。
* `@config(age=10 * 24 * 60 * 60)` 这个设置告诉`scheduler`（调度器）这个`request`（请求）过期时间是10天，10天内再遇到这个请求直接忽略。这个参数也可以在`self.crawl(url, age=10*24*60*60)` 和 `crawl_config`中设置。
* `@config(priority=2)` 这个是优先级设置。数字越小越先执行。
# 执行任务
* 当您完成脚本编写，调试无误后，请先保存您的脚本！然后返回到控制台首页。
* 直接点击项目状态`status`那栏，把状态由TODO改成`debug`或`running`。
* 最后点击项目最右边那个RUN按钮启动项目。
当`progress`那栏有数据显示说明启动成功。到现在就可以点最右侧的`results`查看结果了。
