1. 安装mysql
更换下载的地址为阿里。
~~~
cd /etc/apt
cp sources.list sources.list.bak
rm sources.list
vi sources.list
填写内容
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
保存
apt update
~~~
测试网络是否通,如果连不通,检查/etc/network/interfaces dns-nameservers服务器配置
~~~
ping www.baidu.com
~~~
# 安装MySQL
安装服务器
sudo apt update
sudo apt-get install mysql-server
安装客户端
sudo apt-get install mysql-client
sudo apt-get install libmysqlclient-dev
修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf
注释掉这一行 bind-address = 127.0.0.1
进入mysql
~~~
mysql -u root -p
输入密码
~~~
执行以下3条语句
~~~
grant ALL PRIVILEGES on *.* to hive@'%' identified by'123456';
grant ALL PRIVILEGES ON *.* TO hive@'localhost' IDENTIFIED BY '123456'; FLUSH PRIVILEGES;
~~~
# Hive安装
上传包
将下载的hive安装包上传到/home/hadoop上
解压
tar–zxvf apache-hive-1.2.1-bin.tar.gz
重命名包
mv apache-hive-1.2.1-bin hive-1.2.1
下载MySQL的驱动包mysql-connector-java-5.1.39.zip,将解压出来的jar放入hive 的lib目录下
# 配置hive环境变量
$vi .profile
注意CLASSPATH、PATH在原有配置上增加hive包路径
export HIVE_HOME=/home/hadoop/hive-1.2.1
export PATH=$HIVE_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
$source .profile
# 配置hive-env.sh
位置在hive的conf目录下
cp hive-env.sh.template hive-env.sh
编辑hive-env.sh文件
HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export HIVE_CONF_DIR=/home/hadoop/hive-1.2.1/conf
# HDFS存储位置配置
Hive配置文件里要用到HDFS的一些路径,需要手动创建如下路径:
hdfs dfs -mkdir -p /hive/warehouse
hdfs dfs -mkdir -p /hive/logs
hdfs dfs -mkdir -p /hive/tmp
hdfs dfs -chmod 733 /hive/warehouse
hdfs dfs -chmod 733 /hive/logs
hdfs dfs -chmod 733 /hive/tmp
创建本地的目录
mkdir -p /home/hadoop/hive-1.2.1/hivedata/logs
# 配置hive-site.xml
cp hive-default.xml.template hive-site.xml
编辑hive-site.xml文件
~~~
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/hive/tmp</value>
</property>
~~~
# 配置log4j
创建配置文件:
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
cp hive-log4j.properties.template hive-log4j.properties
修改上面两个文件中的配置:
hive.log.dir=/home/hadoop/hive-1.2.1/logs
log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter
# 启动hive
初始化mysql数据库
schematool --dbType mysql -initSchema
启动hive
hive
测试hive
~~~
hive> create TABLE test( id INT, name string);
hive> SHOW TABLES;
~~~
Hive的安装--远程模式安装部署
scp -r hive-1.2.1 hadoop@slave1:/home/hadoop/
按照master上的配置修改其他节点上的.profile文件,添加hive的配置
修改hive-size.xml文件,删除如下的配置:
~~~
javax.jdo.option.ConnectionURL
javax.jdo.option.ConnectionDriverName
javax.jdo.option.ConnectionUserName
javax.jdo.option.ConnectionPassword
~~~
修改hive-size.xml文件,添加如下的配置:
~~~
<property>
<name>hive.metastore.uris</name><value>thrift://192.168.80.3:9083</value>
</property>
~~~
在master上执行,这是后台运行进程,运行完后提升starting... , 可以ctrl+c退出。
~~~
hive --service metastore &
~~~
测试
在slave上运行
hive>show databases;
hive>create TABLE test2( id INT, name string);
hive>show tables;
显示
test1
test2
在masters上或者其他slave上也可以查看到新建的表
# 其他注意事项
重启mysql服务。
sudo service mysql restart
sudo service mysql start
sudo service mysql stop
赋予hadoop用户对hive目录的读写权限
sudo chown hadoop:hadoop hive-1.2.1 -r(-r代表递归)
- 空白目录
- 第一章 Linux虚拟机安装
- 第二章 SSH配置
- 第三章 jdk配置
- 第四章 Hadoop配置-单机
- 第五章 Hadoop配置-集群
- 第六章 HDFS
- 第七章 MapReduce
- 7.1 MapReduce(上)
- 7.2 MapReduce(下)
- 7.3 MapReduce实验1 去重
- 7.4 MapReduce实验2 单例排序
- 7.5 MapReduce实验3 TopK
- 7.6 MapReduce实验4 倒排索引
- 第八章 Hive
- Hive安装
- 数据定义
- 数据操作
- 第九章 HBase
- 第十章 SaCa RealRec数据科学平台
- 第十一章 Spark Core
- 第十二章 Spark Streaming
- 第十章 Spark测试题