企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
# centos7.2(1511版本)上安装pyspider censtos是服务器常用的操作系统,本例以centos7.2最小化版安装为例安装 ## yum 更新 `yum update` ## 安装wget命令 `yum install wget` ## 首页安装扩展源 `yum -y install epel-release` 国内yum源: `http://mirrors.163.com/.help/CentOS7-Base-163.repo` ## 安装开发编译工具 `yum install gcc gcc-c++ ` ## 安装依赖库 系统自带版本为python2.7.5 `yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel` ## 升级pip `pip install --upgrade pip` ## 安装pyspider 1 在线方式 `pip install pyspider` 2 文件包下载到 本地安装 建议先建立 /www /data 目录 便于以后项目及数据库文件都丢到对应目录 从git上下载文件包pyspider-master到/www目录下 `cd pyspider-master` `python setup.py install` 安装后提示版本为pyspider-0.3.7 ## 设置防火墙 开放5000(pyspider默认打开5000端口,如果启动指定了其它端口请对应修改)端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步 ~~~ firewall-cmd --zone=public --add-port=5000/tcp --permanent firewall-cmd --reload ~~~ ## 访问控制台 安装完成直接执行pyspider以默认配置运行pyspider,访问http://localhost:5000访问控制台 ## MYSQL 数据库安装 系统默认是 mariadb-server 替换mysql 所以命令如下: 'yum install mariadb mariadb-server' 安装完依赖包后 默认自动安装 安装完成后 启动mariadb 'systemctl start mariadb' 设为开机启动 'systemctl enable mariadb' mysql的默认安全检查 设置mysql 的root密码等相关 'mysql_secure_installation' 完成后 输入如下命令,测试数据库服务: 'mysql -uroot -p' # phantomjs脚本安装 官网网址:http://phantomjs.org/ 软件列表地址:https://bitbucket.org/ariya/phantomjs/downloads phantomjs介绍:PhantomJS是一个基于WebKit的服务器端JavaScript API,它无需浏览器的支持即可实现对Web的支持 #-- 没有浏览器的实现浏览器功能的js功能模块 一:git方法 安装如下: ubentu 及Debin系统 1 安装git软件 'apt-get install git' 2 前置安装 'apt-get install build-essential g++ flex bison gperf ruby perl \ libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev \ libpng-dev libjpeg-dev python libx11-dev libxext-dev' 3 安装phantomjs 'git clone git://github.com/ariya/phantomjs.git cd phantomjs git checkout 1.9 ./build.sh' 二:软件下载后解压到服务器安装 https://bitbucket.org/ariya/phantomjs/downloads cnetos安装方法 1 安装git软件 'yum install git' 2 前置安装 'yum -y install gcc gcc-c++ make flex bison gperf ruby \ openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \ libpng-devel libjpeg-devel' 3 安装phantomjs2.1 'git clone git://github.com/ariya/phantomjs.git cd phantomjs git checkout 2.1.1 git submodule init git submodule update python build.py' # 编译时间超长 半小时到2~3小时不等,看虚拟机的配置了