用那种传输方式最稳定

ruguo

现在有一个项目,很多台生产系统 ,都是linux,分布在各地,每台机器每个小时都会产生一个日志文件txt,现在打算用一台服务器做数据库,mysql数据库  把这些日志记录收集到数据库里,
现在的问题是如何把生产系统的日志文件传到数据库的机器,数据库机器把日志文件导入数据库里
   
    要求做到不能丢失任何一个日志文件,即使数据库服务器死机了,开机后还能把未及时发送的文件继续传送

寂寞烈火

用scp远程复制, 把所有的主机的ip放一文件里, 做一遍历scp, 应该没问题吧

forrest.w

而且要加一个检验的机制,不然很容易出问题的.

nbrr

我做过类似的
web farm里的log，每个小时都传到一架服务器上，combine起来，做一些report
每天再传到服务器上，做一些处理再交给数据分析的人做

我大致是这么做的

1. 
   
2. HOST=`hostname -s`
   
3. MD5SUM=/path/to/$HOST_md5sum.txt
   
4. case $HOST in farm1a|farm1b|farm1c
   
5.     while log in a b c
   
6.     do
   
7.         scp $log $remote:/location1/dir/$HOST_log;;
   
8.         md = `md5sum $log | sed "s/local path/ remote path/"`
   
9.         echo $md >> $MD5SUM
   
10.     done
    
11.     scp $MD5SUM $remote:/path/to/md5
    
12.     ;;
    
13. case $HOST in farm2a|farm2b|farm2c|farm2d
    
14.     some actions
    
15.     ;;
    

复制代码

把上面的code scp到每一架服务器里,每个钟头从一架staging服务器，登陆到每个web farm服务器里run上面的code，这样做是为了防止同时有太多ssh request去log collector那里
web farm服务器的列表可以从上面的code里case条件那里取得

在log collector那边每个钟头都会看有什么文件丢失了，再用md5sum -c检验文件是否正确，把这些结果在发给相关的人

邮件用text/html; <pre></pre>,打印用printf, 邮件看起来也就整齐了

这样做的好处是，如果所有的code都在同一个文件里，容易管理，如果web farm的服务器有变动，只要改一个文件，然后把它push给每个服务器就可以了

ruguo

谢谢大家，怎么判断scp是否传输成功，

ailms

原帖由 ruguo 于 2007-7-31 10:02 发表
谢谢大家，怎么判断scp是否传输成功，

能否通过 md5sum 命令比较 cp 前后两个文件的 MD5 校验和，如果一致则证明成功

寂寞烈火

SSH本身就带有对文件完整性的检测的!