## 准备工作 （本操作环境CentOS6.5，centos7部分命令不同）： 1、 配置主机名 Master 节点: master Slave 节点: slave1 Slave 节点: slave2 自定义主机名：#vi /etc/sysconfig/network NETWORKING=yes #启动网络 HOSTNAME=master #主机名 centos7永久性的修改主机名称，重启后能保持修改后的: ``` hostnamectl set-hostname xxx ``` #hostname master **Slave 节点，操作同上，改成对应主机名称** 2、 配置 hosts文件 #vi /etc/hosts 192.168.6.250 master 192.168.6.251 slave1 192.168.6.252 slave2 *拷贝/etc目录下hosts文件到slaves scp -r /etc/hosts slave1:/etc/ scp -r /etc/hosts slave2:/etc/ *通信保证测试：除slave1 其它机器通过ping slave1 命令测试 ctrl+c结束 同理，除本身用其他机器测试ping slave2 …….. 3、 关闭防火墙(三台) > #service iptables status > #service iptables stop > #chkconfig iptables off 关闭防护 > #vi /etc/selinux/config **SELINUX=disabled** 4、 时间同步： 服务器集群强调协调性,要保持步调一致所以需要进行时间同步 (服务器的内部时钟每天也会有很大的误差） > #yum install -y ntpdate.x86_64 > #crontab -e ` 0（空格）1（空格）*（空格）*（空格）*（空格）/usr/sbin/ntpdate 1.cn.pool.ntp.org` > #/usr/sbin/ntpdate 1.cn.pool.ntp.org (2)  vi /etc/ntp.conf  另外两台从节点其他配置不变只需要将server后的IP改为主节点IP 5、 免密钥登录 该部分操作要在自定义用户目录下操作 #useradd hadoop #passwd hadoop #su hadoop [hadoop@master root]$cd [hadoop@master ~]$ssh-keygen -t rsa （一直回车，直到出现一个图形） [hadoop@master ~]$cd .ssh [hadoop@master .ssh]$ cat id_rsa.pub >> authorized_keys [hadoop@master .ssh]$chmod 600 authorized_keys ****以上操作在所有机器上做******* Master分发密钥: [hadoop@master .ssh]$ scp authorized_keys hadoop@slave1:~/.ssh [hadoop@master .ssh]$ scp authorized_keys hadoop@slave2:~/.ssh *测试：#ssh slave1 #exit 6、 安装 JDK （master和slave都需要） 一定要先删除 原有的jdk `#yum remove java-1.*` 建立文件夹：mkdir /usr/java 上传jdk软件包jdk-8u131-linux-x64.tar.gz到/usr/java [root@master ~]$ tar -xvf /usr/java/jdk-8u131-linux-x64.tar.gz (会安装到/usr/java) 再赋予权限 #chmod +x /usr/java/jdk1.8.0_131/bin/* jdk安装目录 [hadoop@master ~]$cd /usr/java/jdk1.8.0_131 [hadoop@master jdk1.8.0_131 ]$pwd /usr/java/jdk1.8.0_131 配置环境变量: $cd $vi .bash_profile export JAVA_HOME=/usr/java/jdk1.8.0_131 export PATH=$PATH:$JAVA_HOME/bin [hadoop@master ~]$source .bash_profile [hadoop@master ~]$ java -version 复制到其它机器： [hadoop@master ~]$ scp .bash_profile hadoop@slave1:~/ (slave2) [root@master #]$ scp -r /usr/java root@slave1:/usr/ (slave2) 在其他机器上：#cd . .bash_profile `#java –version` Hadoop安装配置 （推荐使用最新的Hadoop版本，本版本仅供参考） 全部在hadoop用户下操作 1、 新建software文件夹mkdir /home/hadoop/software 2、 上传hadoop包hadoop-2.7.3.tar.gz到/home/hadoop/software [hadoop@master software]$cp /mnt/hgfs/共享文件夹名称/hadoop-2.7.3.tar.gz /home/hadoop/software 3、 解压： [hadoop@master ~]$cd /home/hadoop/software [hadoop@master ~]$tar -xzvf hadoop-2.7.3.tar.gz 4、 修改配置文件  [hadoop@master ~]$cd /home/hadoop/software/hadoop-2.7.3/etc/hadoop 修改 hadoop-env.sh [hadoop@master hadoop]$vi hadoop-env.sh 在文件靠前的部分找到：export JAVA_HOME=${JAVA_HOME} 改为：export JAVA_HOME=/usr/java/jdk1.8.0_131（java安装路径） 修改 yarn-env.sh 找到：# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 改为：export JAVA_HOME=/usr/java/jdk1.8.0_131 ``` # 修改项前边该符号去掉！！！ ``` 修改 core-site.xml ~~~ <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/software/hadoopdata</value> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property> </configuration> ~~~ 注：  修改 hdfs-site.xml ~~~ <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> ~~~ 注：  修改 yarn-site.xml ~~~ <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> </configuration> ~~~ 注：  修改 mapred-site.xml 1.cp mapred-site.xml.template mapred-site.xml 2.vi mapred-site.xml <!—指定运行 mapreduce 的环境是yarn--> ~~~ <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ~~~ 注：  vi slaves 文件删除，添加： ~~~ slave1 slave2 ~~~ 5、 复制到从节点 使用下面的命令将已经配置完成的 Hadoop 复制到从节点 Hadoop Slave 上： [hadoop@master hadoop-2.7.3]$ cd /home/hadoop/software [hadoop@master software]$ scp -r hadoop-2.7.3 slave1:/home/hadoop/software/ [hadoop@master software]$ scp -r hadoop-2.7.3slave2:/home/hadoop/software/ 注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。 6、 启动 Hadoop 集群 - 配置 Hadoop 启动的系统环境变量 [hadoop@master ~]$vi .bash_profile 将下面的代码追加到.bashrc 末尾： export HADOOP_HOME=/home/hadoop/software/hadoop-2.7.3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 然后执行命令： [hadoop@master ~]$ source .bash_profile 启动hadoop集群 1、 创建数据目录 该节的配置需要同时在HadoopMaster 和 HadoopSlave上分别进行操作。 在 hadoop的用户主目录下，创建数据目录，命令如下： [hadoop@master ~]$ mkdir /home/hadoop/software/hadoopdata [hadoop@salve1 ~]$ mkdir /home/hadoop/software/hadoopdata [hadoop@slave2 ~]$ mkdir /home/hadoop/software/hadoopdata 2、 格式化hdfs文件系统 [hadoop@master ~]$ hdfs namenode -format 3、 启动hadoop [hadoop@master ~]$start-all.sh [hadoop@master ~]$ jps 29657 SecondaryNameNode 29478 NameNode 29792 ResourceManager 30052 Jps [hadoop@slave1 ~]$ jps 6872 Jps 6740 DataNode 6838 NodeManager 在 HadoopMaster 上启动 Firefox 浏览器，在浏览器地址栏中输入输入 http://master:50070/,(或master的IP)，检查namenode 和 datanode 是否正常 在浏览器地址栏中输入输入http://master:18088/，检查 Yarn 是否正常。 **示例程序测试2 [root@ master tmp]# pwd /tmp [root@ master tmp]# vi wc01.txt hello world hello hadoop hadoop hadoop hadoop [hadoop@master ~]$hadoop fs -mkdir -p /tmp/wordcount/in [hadoop@master ~]$hadoop fs -put /tmp/wc01.txt /tmp/wordcount/in [hadoop@master ~]$hadoop jar software/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /tmp/wordcount/in /tmp/wordcount/out 查看结果： [hadoop@master ~]$hdfs dfs -cat /tmp/wordcount/out/part-r-00000 16/09/03 02:22:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable hadoop 4 hello 2 world 1