免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: ice_ma
打印 上一主题 下一主题

[文件目录] 求助文件完整性比对的方法 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2014-09-24 16:13 |只看该作者
回复 7# bulletmarquis


    现在问题的难点在于,一个是在服务器本地,另外一个上传到了ftp服务器节点上,然后怎么对这两个文件做比对呢·~~~

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
12 [报告]
发表于 2014-09-24 16:14 |只看该作者
回复 8# Shell_HAT


   

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
13 [报告]
发表于 2014-09-24 16:18 |只看该作者
回复 11# ice_ma


    那在对端部署常驻进程监控目录,发现有新的文件上传完毕后,自动计算md5值,然后touch一个文件名+md5值的新文件

   本地FTP上去判断文本名中的md5值是否正确,木有问题就上去把这个含md5的文件给delete掉

论坛徽章:
0
14 [报告]
发表于 2014-09-24 16:24 |只看该作者
回复 13# bulletmarquis


    你说的这个用rsync也可以实现相同的解决办法;额,现在的场景,备份只能用ftp上传到节点;

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
15 [报告]
发表于 2014-09-24 16:40 |只看该作者
忽然觉得更蛋疼了~

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
16 [报告]
发表于 2014-09-24 16:45 |只看该作者
哇靠 为什么不用rsync...

论坛徽章:
0
17 [报告]
发表于 2014-09-24 17:04 |只看该作者
回复 16# reb00t


    哥,现在场景是这样,只能ftp上传,没有rsync

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
18 [报告]
发表于 2014-09-24 17:09 |只看该作者
回复 17# ice_ma


    提需求,优化下备份方案。。。

几万个mysql数据库都是rsync异地备份。。



如果只能用ftp的话,先本地上传的时候md5一次,把本地的md5的值写txt文件,一起上传。。

然后ftp上传之后,在ftp服务端在md5一次,结果跟txt上传的对比,异常就发邮件告警。。

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
19 [报告]
发表于 2014-09-24 17:11 |只看该作者
回复 10# ice_ma

>>上百GB甚至更大的文件,你上传完得半天,在下载回来比对,服务器会被拖死的~~~

1. check on FTP server if you have right to run daemon on FTP
   xxx.upload  <= included size of upload file and upload date ...
   xxx
   xxx.md5file  <== context md5 check sum

2. upload and download again to check file when you didn't have other rights on FTP

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
20 [报告]
发表于 2014-09-24 17:11 |只看该作者
回复 18# reb00t

英雄所见略同
   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP