#### 请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？          --namenode =>HDFS的守护进程，负责维护整个文件系统，存储着整个文件系统的元数据信息，有image+edit log namenode不会持久化存储这些数据，而是在启动时重建这些数据。         --datanode  =>是具体文件系统的工作节点，当我们需要某个数据，namenode告诉我们去哪里找，就直接和那个DataNode对应的服务器的后台进程进行通信，由DataNode进行数据的检索，然后进行具体的读/写操作         --secondarynamenode  =>一个冗余的守护进程，相当于一个namenode的元数据的备份机制，定期的更新，和namenode进行通信，将namenode上的image和edits进行合并，可以作为namenode的备份使用         --resourcemanager =>是yarn平台的守护进程，负责所有资源的分配与调度，client的请求由此负责，监控nodemanager         --nodemanager  => 是单个节点的资源管理，执行来自resourcemanager的具体任务和命令 ## **6、NameNode和DataNode作用是什么？** NameNode管理文件系统的元数据，DataNode存储实际的数据。客户端Client通过同NameNode和DataNodes的交互访问文件系统。客户端联系NameNode以获取文件的元数据，而真正的文件I/O操作是直接和DataNode进行交互的。 NameNode负责管理文件系统的命名空间、集群配置信息和存储块的复制等。 NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等 DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。 ## 启动hadoop的脚本和用法 start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 SecondaryNameNode、DataNode、NameNodeManager、 DataNodeManager stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 SecondaryNameNode、DataNode、NameNodeManager、 DataNodeManager start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode ## **hadoop节点的动态上线下线的大概操作** ### **\--节点上线** >  1.关闭新增节点的防火墙             2.在 NameNode节点的hosts文件中加入新增数据节点的hostname             3.在每个新增数据节点的hosts文件中加入NameNode的hostname             4.在NameNode节点上增加新增节点的SSH免密码登录的操作             5.在NameNode节点上的dfs.hosts中追加上新增节点的hostname,             6.在其他节点上执行刷新操作：hdfs dfsadmin -refreshNodes             7.在 NameNode 节点上，更改slaves文件，将要上线的数据节点hostname追加 到slaves文件中             8.启动DataNode节点             9.查看NameNode的监控页面看是否有新增加的节点    ###  --节点下线 >            1.修改/conf/hdfs-site.xml文件             2.确定需要下线的机器，dfs.osts.exclude文件中配置好需要下架的机器，这个是阻             止下架的机器去连接NameNode             3.配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个             操作的作用是在后台进行block块的移动             4.当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集             群上连接的节点，正在执行 Decommission，会显示：             Decommission Status : Decommission in progress 执行完毕后，会显示：             Decommission Status : Decommissioned             5.机器下线完毕，将他们从 excludes 文件中移除。