ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
1. **JobHistoryServer 功能** Hadoop 默认自带了一个历史服务器,可以通过历史服务器查看已经运行完成的应用的信息记录,比如可以查看应用启动了多少个Map,用了多少个Reduce、 作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop 历史服务器是没有启动的。需要我们自己来启动 Hadoop 历史服务器。 2. **JobHistoryServer 配置**, 步骤如下: (1)配置 mapred-site.xml ```sql [root@hadoop101 hadoop]$ vi mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop101:19888</value> </property> ``` (2)启动历史服务器 ```sql [root@hadoop101 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver ``` (3)查看历史服务器是否启动 ```sql [root@hadoop101 hadoop]$ jps ``` 如果存在 JobHistoryServer 进程,证明启动成功。 3. **配置日志的聚集** 日志聚集概念:应用运行完成以后,将日志信息上传到 HDFS 系统上,方便查看。 (1)配置 yarn-site.xml ```sql [root@hadoop101 hadoop]$ vi yarn-site.xml <!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置 7 天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> ``` (2)关闭 nodemanager 、resourcemanager 和 historymanager ```sql [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh stop resourcemanager [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh stop nodemanager [root@hadoop101 hadoop]$ sbin/mr-jobhistory-daemon.sh stop historyserver ``` (3)启动 nodemanager 、resourcemanager 和 historymanager ```sql [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh start resourcemanager [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh start nodemanager [root@hadoop101 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver ``` (4)执行 wordcount 程序 ```sql [root@hadoop101 hadoop]$ hadoop jar \ $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar \ wordcount /wcinput /wcoutput6 ``` ![](https://img.kancloud.cn/ec/f7/ecf7e7609c6d099385795430a5bb8e7b_1067x216.png) 请注意上面的 jobid,在 YARN WebUI 上面可以看到该应用的一条信息,如下图所示。 ![](https://img.kancloud.cn/55/33/55336ef17183155291bcf3d07561bfa2_1119x445.png) (4)查看日志(该部分对以后工作查看任务运行日志和调优有帮助)http://hadoop101:19888/jobhistory ![](https://img.kancloud.cn/50/6b/506bbee9fc5b8dbccb6770462370617e_1140x414.png) 点击上图的 jobid,跳转到该应用详情信息图,从图中可以看到该应用MapTask 总数及完成个数,ReduceTask 总数及完成个数。 ![](https://img.kancloud.cn/5a/d2/5ad2851a21381388356f74ac3ce93648_1162x478.png) 点击上图的 Map 或者 Reduce,可以查看 Map 端运行情况或者 Reduce 端运行情况。 ![](https://img.kancloud.cn/c3/92/c3923fdec4073cbd1af3a3ba259b9e64_1177x273.png) 选中上图的 task,点击,跳转到对应 task 的信息。 ![](https://img.kancloud.cn/81/15/81153fa60a0bccf0212d88b4c3440d5f_1111x309.png)