🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
1. 安装mysql 更换下载的地址为阿里。 ~~~ cd /etc/apt cp sources.list sources.list.bak rm sources.list vi sources.list 填写内容 deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse 保存 apt update ~~~ 测试网络是否通,如果连不通,检查/etc/network/interfaces dns-nameservers服务器配置 ~~~ ping www.baidu.com ~~~ # 安装MySQL 安装服务器 sudo apt update sudo apt-get install mysql-server 安装客户端 sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev 修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf 注释掉这一行 bind-address = 127.0.0.1 进入mysql ~~~ mysql -u root -p 输入密码 ~~~ 执行以下3条语句 ~~~ grant ALL PRIVILEGES on *.* to hive@'%' identified by'123456'; grant ALL PRIVILEGES ON *.* TO hive@'localhost' IDENTIFIED BY '123456'; FLUSH PRIVILEGES; ~~~ # Hive安装 上传包 将下载的hive安装包上传到/home/hadoop上 解压 tar–zxvf apache-hive-1.2.1-bin.tar.gz 重命名包 mv apache-hive-1.2.1-bin hive-1.2.1 下载MySQL的驱动包mysql-connector-java-5.1.39.zip,将解压出来的jar放入hive 的lib目录下 # 配置hive环境变量 $vi .profile   注意CLASSPATH、PATH在原有配置上增加hive包路径 export HIVE_HOME=/home/hadoop/hive-1.2.1 export PATH=$HIVE_HOME/bin:$PATH export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib $source .profile # 配置hive-env.sh 位置在hive的conf目录下 cp hive-env.sh.template hive-env.sh 编辑hive-env.sh文件 HADOOP_HOME=/home/hadoop/hadoop-2.7.2 export HIVE_CONF_DIR=/home/hadoop/hive-1.2.1/conf # HDFS存储位置配置 Hive配置文件里要用到HDFS的一些路径,需要手动创建如下路径: hdfs dfs -mkdir -p /hive/warehouse hdfs dfs -mkdir -p /hive/logs hdfs dfs -mkdir -p /hive/tmp hdfs dfs -chmod 733 /hive/warehouse hdfs dfs -chmod 733 /hive/logs hdfs dfs -chmod 733 /hive/tmp 创建本地的目录 mkdir -p /home/hadoop/hive-1.2.1/hivedata/logs # 配置hive-site.xml cp hive-default.xml.template hive-site.xml 编辑hive-site.xml文件 ~~~ <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/hive/tmp</value> </property> ~~~ # 配置log4j 创建配置文件: cp hive-exec-log4j.properties.template hive-exec-log4j.properties cp hive-log4j.properties.template hive-log4j.properties 修改上面两个文件中的配置: hive.log.dir=/home/hadoop/hive-1.2.1/logs log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter # 启动hive 初始化mysql数据库 schematool --dbType mysql -initSchema 启动hive hive 测试hive ~~~ hive> create TABLE test( id INT, name string); hive> SHOW TABLES; ~~~ Hive的安装--远程模式安装部署 scp -r hive-1.2.1 hadoop@slave1:/home/hadoop/ 按照master上的配置修改其他节点上的.profile文件,添加hive的配置 修改hive-size.xml文件,删除如下的配置: ~~~ javax.jdo.option.ConnectionURL javax.jdo.option.ConnectionDriverName javax.jdo.option.ConnectionUserName javax.jdo.option.ConnectionPassword ~~~ 修改hive-size.xml文件,添加如下的配置: ~~~ <property> <name>hive.metastore.uris</name><value>thrift://192.168.80.3:9083</value> </property> ~~~ 在master上执行,这是后台运行进程,运行完后提升starting... , 可以ctrl+c退出。 ~~~ hive --service metastore & ~~~ 测试 在slave上运行 hive>show databases; hive>create TABLE test2( id INT, name string); hive>show tables; 显示 test1 test2 在masters上或者其他slave上也可以查看到新建的表 # 其他注意事项 重启mysql服务。 sudo service mysql restart sudo service mysql start sudo service mysql stop 赋予hadoop用户对hive目录的读写权限 sudo chown hadoop:hadoop hive-1.2.1 -r(-r代表递归)