**1. 允许在 HDFS 的文件中追加内容** hdfs-site.xml、hbase-site.xml 属性：dfs.support.append 解释：开启 HDFS 追加同步，可以优秀的配合 HBase 的数据同步和持久化。 Hadoop2.0 默认值为 true。<br/> **2. 优化 DataNode 允许的最大文件打开数** hdfs-site.xml 属性：dfs.datanode.max.transfer.threads 解释：HBase 一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为 4096 或者更高。默认值：4096。该操作前提是 Linux 的文件最大数已经设置完成。<br/> **3. 优化延迟高的数据操作的等待时间** hdfs-site.xml 属性：dfs.image.transfer.timeout 解释：如果对于某一次数据操作来讲，延迟非常高，socket 需要等待更长的时间，建议把该值设置为更大的值（默认 60000 毫秒），以确保 socket 不会被timeout 掉。<br/> **4. 优化数据的写入效率** mapred-site.xml 属性： mapreduce.map.output.compress mapreduce.map.output.compress.codec 解释：开启这两个数据可以大大提高文件的写入效率，减少写入时间。第一个属性值修改为 true ，第二个属性值修改为：org.apache.hadoop.io.compress.GzipCodec 或者其他压缩方式。<br/> **5. 设置 RPC 监听数量** hbase-site.xml 属性：hbase.regionserver.handler.count 解释：默认值为 30，用于指定 RPC 监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值。<br/> **6. 优化 HStore 文件大小** hbase-site.xml 属性：hbase.hregion.max.filesize 解释：默认值 10737418240（10GB），如果需要运行 HBase 的 MR（MapReduce) 任务，可以减小此值，因为一个 region 对应一个 map 任务，如果单个 region 过大，会导致 map 任务执行时间过长。该值的意思就是，如果 HFile 的大小达到这个数值，则这个 region 会被切分为两个 Hfile。<br/> **7. 优化 hbase 客户端缓存** 客户端配置 属性：hbase.client.write.buffer 解释：用于指定 HBase 客户端缓存，增大该值可以减少 RPC 调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少 RPC 次数的目的。 (RPC是指hbase中Master，RegionServer和Client三者之间通信交流的纽带)。<br/> **8. 指定 scan.next 扫描 HBase 所获取的行数** 客户端配置 属性：hbase.client.scanner.caching 解释：用于指定 scan.next 方法获取的默认行数，值越大，消耗内存越大。<br/> **9. flush、compact、split 机制** 当 MemStore 达到阈值，将 Memstore 中的数据 Flush 进 Storefile； compact机制则是把 flush 出来的小文件合并成大的 Storefile 文件； split 则是当 Region 达到阈值，会把过大的 Region 一分为二。 涉及到下面的属性： **`hbase.hregion.memstore.flush.size：134217728`**，即128M 就是 Memstore 的默认阈值。 这个参数的作用是当单个 HRegion 内所有的 Memstore 大小总和超过指定值时，flush 该 HRegion 的所有 memstore。RegionServer 的 flush 是通过将请求添加一个队列，模拟生产消费模型来异步处理的。那这里就有一个问题，当队列来不及消费，产生大量积压请求时，可能会导致内存陡增，最坏的情况是触发OOM（指内存溢出）。 <br/> **`hbase.regionserver.global.memstore.size`**：默认整个堆大小的 40%。 regionServer 的全局 memstore 的大小，超过该大小会触发 flush 到磁盘的操作,默认是堆大小的 40%,而且 regionserver 级别的 flush 会阻塞客户端读写。 <br/> **`hbase.regionserver.global.memstore.size.lower.limit`**：默认为`堆大小*0.4*0.95` 有时候集群的<ins>写负载</ins>非常高，写入量一直超过 flush 的量，这时，我们就希望 MemStore 不要超过一定的安全设置。在这种情况下，写操作就要被阻塞一直到 MemStore 恢复到一个<ins>可管理</ins>的大小, 这个大小的默认值就是`堆大小 * 0.4 * 0.95`，也就是当 HRegionserver 级别的 flush 操作发送后,会阻塞客户端写,一直阻塞到整个 HRegionserver 级别的 MemStore 的大小为 `堆大小 * 0.4 *0.95` 为止。