hbase读写操作后hdfs内存占用太大的问题
- 查看内存信息
- hbase读写操作
查看内存信息
查看本地磁盘的内存信息
df -h
查看hdfs上根目录下各个文件的内存大小
hdfs dfs -du -h /
查看hdfs上/hbase目录下各个文件的内存大小
hdfs dfs -du -h /hbase
查看hdfs上/hbase/oldWALs目录下各个文件的内存大小
hdfs dfs -du -h /hbase/oldWALs
hbase读写操作
每一个hbase的读写操作日志都会占358MB的内存，内存占用很大。
可以设置hdfs的最小块的大小 小于128MB。
每次操作完hbase后记得删除这里的文件。
在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使，会进入安全模式，因为没有读写完，手动退出安全模式后依然会再次进入安全模式，会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后，hadoop的读写操作完后，解除安全模式后，才能删除/hbase/oldWALs 下面的文件。
hdfs dfs -rm -r /hbase/oldWALs/*
