Chinaunix

标题: 备份五六十G的网站数据，内存占用太多怎么办 [打印本页]

作者: 版主杀手 时间: 2010-09-30 18:53
标题: 备份五六十G的网站数据，内存占用太多怎么办
备份五六十G的网站数据，内存占用太多怎么办，容易导致服务器down,我开始用cp命令备份目录下所有文件，发现一会儿内存就快耗完了得马上手动清除，太麻烦了。准备用tar 命令做不知道怎么样？各位有好的建议吗？

有什么好命令能做备份目录下但要除去目录下的某一文件
谢谢了

作者: saintdragon 时间: 2010-09-30 21:32
啥OS呀？
用cp命令备份会耗尽内存这个现象还没注意过。以前有个项目大概是20G左右的数据，就是用cp备份和迁移到磁盘阵列的，貌似没发现有啥问题，当时的系统是unixware 713

作者: 版主杀手 时间: 2010-10-01 17:35
gentoo linux系统，一运行cp内存刷刷就涨上来了一直订着耗时

作者: saintdragon 时间: 2010-10-01 19:50
是否在其他系统下尝试过cp，看看是否有同样的现象
也行这个是你系统的命令的bug？？

作者: spook 时间: 2010-10-05 22:06
调内核，限制filecache的大小…… vmo

作者: 无牙 时间: 2010-10-06 10:03
用dd， cpio要

作者: onion 时间: 2010-10-09 16:36
tar 也有exclude 的 man tar

作者: asmboy001 时间: 2010-10-10 10:40
本帖最后由 asmboy001 于 2010-10-10 10:45 编辑

调整内存，空闲的内存留得大一点
redhat 下调整MIN_FREE_KBYTES
防止突发性的换页
调整vfs_cache_pressure加快cache回收
仅供lz参考

作者: michael1983 时间: 2010-10-10 17:39
是不是小文件太多啊
找个晚上网站没啥人用的时候再copy啊
cp能把服务器整down了，还真头一次听说
不要告诉我你的是PC机。。

作者: qiukevivien 时间: 2010-10-12 08:05
尝试一下在本机上调用rsync,
具体不清楚你是每天都要单独的备份一个副本，
还是需要做一个镜像，保证前一个工作时间的数据副本，
几十个G，我估计前者的可能性比较大
建议使用RSYNC，支持增量
要是要实现单独的备份
我建议你多建立几个RSYNC项目，
然后按照不同的时间间隔进行同步
希望以上的建议对你还有帮助

作者: bj161109 时间: 2010-10-20 16:24
同意LS,rsync可以让你为所欲为。嘿

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)