主要介绍了rsync备份海量文件时占用大量内存的解决办法,需要的朋友可以参考下

linux发行版中大多都自带rsync，不过版本比较低，一般都是2.6.X 在2.X的版本中，rsync备份时都是先列表再备份(添加或者删除)，在处理大量文件时，会耗费比较多的内存。 备份的时候，rsync扫描到的每个文件(目录也一样)，在它的列表中约占100字节的内存，如果加了–delete参数的话，占用的内存会更多。 例如我这里一台服务器，约800万的图片，而且更新比较频繁，文件数增长比较快，差不多每天增加约10万张。备份的时候，rsync大约占用了将近2G的内存，大量内存的占用，造成服务器