# Hadoop HA 安装
[TOC]
## 配置环境变量
* 配置hadoop的环境变量，在 ~/.bash_profile下追加
>三台机器均配置环境变量
```
~/.bash_profile
```
~~~
HADOOP_HOME=/home/bigdata/soft/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
~~~
```
source ~/.bash_profile
```
## 上传解压
* 上传hadoop安装包到soft目录
* 解压&修改文件名
~~~
cd ~/soft
tar -zxvf hadoop-2.9.2.tar.gz
mv hadoop-2.9.2 hadoop
~~~
## 修改配置
>hadoop的所有配置都在$HADOOP_HOME/etc/hadoop/下面
### slaves配置
```
cat $HADOOP_HOME/etc/hadoop/slaves
```
### hadoop-env.sh
~~~
将
export JAVA\_HOME=${JAVA\_HOME}
修改为：
export JAVA\_HOME=/home/bigdata/soft/java
~~~
### core-site.xml
```
<configuration>
<!-- 指定hdfs的nameservice为ns1-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bigdata/data/hadoop/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>bd00:2181,bd01:2181,bd02:2181</value>
</property>
<!-- hadoop链接zookeeper的超时时长设置 -->
<property>
<name>ha.zookeeper.session-timeout.ms</name>
<value>1000</value>
<description>ms</description>
</property>
</configuration>
```
### hdfs-site.xml
```Xml
<configuration>
<!-- 指定副本数 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 启用webhdfs -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/bigdata/data/hadoop/dfs/data</value>
</property>
<!-- 配置namenode和datanode的工作目录-数据存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/bigdata/data/hadoop/dfs/name</value>
</property>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致
dfs.ha.namenodes.[nameservice id]为在nameservice中的每一个NameNode设置唯一标示符。
配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
例如，如果使用"ns1"作为nameservice ID，并且使用"nn1"和"nn2"作为NameNodes标示符
-->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>bd00:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>bd00:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>bd01:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>bd01:50070</value>
</property>
<!-- 指定NameNode的edits元数据的共享存储位置。也就是JournalNode列表
该url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId
journalId推荐使用nameservice，默认端口号是：8485 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://bd00:8485;bd01:8485;bd02:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/bigdata/data/hadoop/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.n1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/bigdata/data/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
<name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
<value>60000</value>
</property>
</configuration>
```
### mapred-site.xml
```
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 指定mapreduce jobhistory地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>bd00:10020</value>
</property>
<!-- 任务历史服务器的web地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bd00:19888</value>
</property>
</configuration>
```
### yarn-site.xml
```
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-cluster</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>bd01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>bd02</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>bd00:2181,bd01:2181,bd02:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
<!-- 启用自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 制定resourcemanager的状态信息存储在zookeeper集群上 -->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>
```
## 初始化
### 启动zookeeper
### 启动journal(每个机器都执行)
```
cd /home/bigdata/data
rm -rf hadoop
hadoop-daemon.sh stop journalnode
hadoop-daemon.sh start journalnode
```
### 格式化namenode(这里在bd00上)
```
hdfs namenode -format
```
### 复制元数据到另外一个namenode
```
cd /home/bigdata/data/hadoop/
[bigdata@bd00 hadoop]$ scp -r tmp/ bigdata@bd01:$PWD
```
### 格式化ZK(在bd00上执行即可)
```
hdfs zkfc -formatZK
```
- 前言
- 虚拟机
- 前言
- 入门指南
- 集群规划
- 常用网址
- Hadoop集群常用端口
- 安装
- HA 环境安装教程
- 创建用户
- 设置SSH无密码登录
- MySQL安装
- 安装java
- 安装zookeeper
- hadoop 安装
- Hadoop HA 安装
- hadoop详细维护命令
- 集群性能测试
- 启动
- hadoop使用案例
- 安装hbase
- hive
- server2
- HA+联邦集群安装
- 常用
- 常用知识点
- HDFS
- HDFS 架构
- MapReduce
- MapReduce 教程
- HBase使用手册
- 简介
- HBase入门
- 安装HBase
- HBase管理页面
- 和HBase交互
- HBase Shell快速入门
- HBase数据模型
- HBase Schema设计
- HBase架构
- HBase安全
- HBase Shell命令
- HBase JSON配置使用说明
- HBase API使用说明
- HBase API运行教程
- HBase SQL基础
- HIVE
- 附录
- 各种数据库
- 操作系统教程
- centos7.4三机准备
- 防火墙
- 软件安装
- 伪双击安装指南
- 操作系统准备