[TOC] # 对namenode的影响 HDFS上每个文件都要在namenode上建立一个索引,这个索引的大小约为150Byte,这样当小文件比较多的时候,就会产生很多索引文件 一方面会大量占用namenode的内存空间 另一方面就是索引文件过大使得索引速度变慢 # 解决方案 ## hadoop Archive 是一个高效的将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样就减少了namenode的内存使用 ## Sequence file sequence file由一系列的二进制key/value组成,如果key为文件名,value为文件内容,则可以将大批小文件合并成一个大文件 ## CombineFileInputFormat CombineFileInputFormat是一种新的inputformat,用于将多个文件合并成一个单独的split,另外,它会考虑数据的存储位置 ## 开启JVM重用 对于大量小文件Job,可以开启JVM重用会减少45%运行时间 JVM重用理解:一个map运行一个jvm,重用的话,在一个map在jvm上运行完毕后,jvm继续运行其他map 具体设置 ~~~ mapreduce.job.jvm.numtasks值在10-20之间 ~~~