# centos7.2(1511版本)上安装pyspider
censtos是服务器常用的操作系统,本例以centos7.2最小化版安装为例安装
## yum 更新
`yum update`
## 安装wget命令
`yum install wget`
## 首页安装扩展源
`yum -y install epel-release`
国内yum源:
`http://mirrors.163.com/.help/CentOS7-Base-163.repo`
## 安装开发编译工具
`yum install gcc gcc-c++ `
## 安装依赖库 系统自带版本为python2.7.5
`yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel`
## 升级pip
`pip install --upgrade pip`
## 安装pyspider
1 在线方式
`pip install pyspider`
2 文件包下载到 本地安装
建议先建立 /www /data 目录 便于以后项目及数据库文件都丢到对应目录
从git上下载文件包pyspider-master到/www目录下
`cd pyspider-master`
`python setup.py install`
安装后提示版本为pyspider-0.3.7
## 设置防火墙
开放5000(pyspider默认打开5000端口,如果启动指定了其它端口请对应修改)端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步
~~~
firewall-cmd --zone=public --add-port=5000/tcp --permanent
firewall-cmd --reload
~~~
## 访问控制台
安装完成直接执行pyspider以默认配置运行pyspider,访问http://localhost:5000访问控制台
## MYSQL 数据库安装
系统默认是 mariadb-server 替换mysql 所以命令如下:
'yum install mariadb mariadb-server'
安装完依赖包后 默认自动安装
安装完成后 启动mariadb
'systemctl start mariadb'
设为开机启动
'systemctl enable mariadb'
mysql的默认安全检查 设置mysql 的root密码等相关
'mysql_secure_installation'
完成后 输入如下命令,测试数据库服务:
'mysql -uroot -p'
# phantomjs脚本安装
官网网址:http://phantomjs.org/
软件列表地址:https://bitbucket.org/ariya/phantomjs/downloads
phantomjs介绍:PhantomJS是一个基于WebKit的服务器端JavaScript API,它无需浏览器的支持即可实现对Web的支持 #-- 没有浏览器的实现浏览器功能的js功能模块
一:git方法 安装如下:
ubentu 及Debin系统
1 安装git软件
'apt-get install git'
2 前置安装
'apt-get install build-essential g++ flex bison gperf ruby perl \
libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev \
libpng-dev libjpeg-dev python libx11-dev libxext-dev'
3 安装phantomjs
'git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 1.9
./build.sh'
二:软件下载后解压到服务器安装
https://bitbucket.org/ariya/phantomjs/downloads
cnetos安装方法
1 安装git软件
'yum install git'
2 前置安装
'yum -y install gcc gcc-c++ make flex bison gperf ruby \
openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \
libpng-devel libjpeg-devel'
3 安装phantomjs2.1
'git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 2.1.1
git submodule init
git submodule update
python build.py'
# 编译时间超长 半小时到2~3小时不等,看虚拟机的配置了