## 关于
首先,在此附上项目的地址,以及官方文档
[PySpider](https://github.com/binux/pyspider) [官方文档](http://docs.pyspider.org/en/latest/)
## 安装
### 1\. pip
首先确保你已经安装了pip,若没有安装,请参照
[pip安装](http://pip-cn.readthedocs.org/en/latest/installing.html)
### 2\. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。
[安装](http://phantomjs.org/download.html)
以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X用户,可以直接用命令来安装
Ubuntu:
~~~
sudo apt-get install phantomjs
~~~
Mac OS X:
~~~
brew install phantomjs
~~~
### 3\. pyspider
直接利用 pip 安装即可
~~~
pip install pyspider
~~~
如果你是 Ubuntu 用户,请提前安装好以下支持类库
~~~
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml
~~~
测试
如果安装过程没有提示任何错误,那就证明一些OK。
命令行输入
~~~
pyspider all
~~~
然后浏览器访问 [http://localhost:5000](http://localhost:5000/)
观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK
在此附图一张,这是我写了几个爬虫之后的界面。
[![](https://box.kancloud.cn/2016-05-29_574a8e648ca72.png)](http://qiniu.cuiqingcai.com/wp-content/uploads/2016/02/2016-02-11-20.55.36.png)
好,接下来我会进一步介绍这个框架的使用。
## 常见错误
嗯,自行谷歌,就是这么任性。
- Python爬虫入门
- (1):综述
- (2):爬虫基础了解
- (3):Urllib库的基本使用
- (4):Urllib库的高级用法
- (5):URLError异常处理
- (6):Cookie的使用
- (7):正则表达式
- (8):Beautiful Soup的用法
- Python爬虫进阶
- Python爬虫进阶一之爬虫框架概述
- Python爬虫进阶二之PySpider框架安装配置
- Python爬虫进阶三之Scrapy框架安装配置
- Python爬虫进阶四之PySpider的用法
- Python爬虫实战
- Python爬虫实战(1):爬取糗事百科段子
- Python爬虫实战(2):百度贴吧帖子
- Python爬虫实战(3):计算大学本学期绩点
- Python爬虫实战(4):模拟登录淘宝并获取所有订单
- Python爬虫实战(5):抓取淘宝MM照片
- Python爬虫实战(6):抓取爱问知识人问题并保存至数据库
- Python爬虫利器
- Python爬虫文章
- Python爬虫(一)--豆瓣电影抓站小结(成功抓取Top100电影)
- Python爬虫(二)--Coursera抓站小结
- Python爬虫(三)-Socket网络编程
- Python爬虫(四)--多线程
- Python爬虫(五)--多线程续(Queue)
- Python爬虫(六)--Scrapy框架学习
- Python爬虫(七)--Scrapy模拟登录
- Python笔记
- python 知乎爬虫
- Python 爬虫之——模拟登陆
- python的urllib2 模块解析
- 蜘蛛项目要用的数据库操作
- gzip 压缩格式的网站处理方法
- 通过浏览器的调试得出 headers转换成字典
- Python登录到weibo.com
- weibo v1.4.5 支持 RSA协议(模拟微博登录)
- 搭建Scrapy爬虫的开发环境
- 知乎精华回答的非专业大数据统计
- 基于PySpider的weibo.cn爬虫
- Python-实现批量抓取妹子图片
- Python库
- python数据库-mysql
- 图片处理库PIL
- Mac OS X安装 Scrapy、PIL、BeautifulSoup
- 正则表达式 re模块
- 邮件正则
- 正则匹配,但过滤某些字符串
- dict使用方法和快捷查找
- httplib2 库的使用