一个同步日志的脚本

rdcwayx

看到 @刺客阿地 的这个帖子， 很不错的话题，但埋没在其他帖子里，不被注意。我重新起个帖子来讨论一下。

http://bbs.chinaunix.net/forum.p ... 2&fromuid=28783

原文：

正好借这个帖子，我问个脚本问题。

1. #!/bin/bash
   
2. #create xxx  
   
3. btime=`date -d "-1 day" +%y-%m-%d`
   
4. atime=`date -d "-1 day" +%Y-%m-%d`
   
5. ctime=`date +%Y%m%d`
   
6. dtime=`date -d "-1 day" +%Y%m%d`
   
7. #rsync www server
   
8. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.48::benlog/catalina_log.$btime /opt/log/48_ben/ben/
   
9. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.49::benlog/catalina_log.$btime /opt/log/49_ben/ben/
   
10. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.51::beforelog/catalina_log.$btime /opt/log/51_before/before/
    
11. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.55::beforelog/catalina_log.$btime /opt/log/55_before/before/
    
12. 
    
13. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.52::pagservicelog/catalina_log.$btime /opt/log/52_pag/pag/
    
14. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.56::pagerservicelog/catalina_log.$btime /opt/log/56_pag/pag/
    
15. 
    
16. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.53::paylog/catalina_log.$btime /opt/log/53_pay/pay/
    
17. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.57::paylog/catalina_log.$btime /opt/log/57_pay/pay/
    
18. 
    
19. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.54::mentlog/catalina_log.$btime /opt/log/54_ment/ment/
    
20. rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd moon_web@192.168.0.58::mentlog/catalina_log.$btime /opt/log/58_ment/ment/
    

复制代码

这是一个同步日志的脚本，我想做到的是，怎么样才能让他自动识别我需要下载的日志？

比方说我想下载48,49这两台机器的日志，如何让程序自动去下载判别呢？

Shell_HAT

不知道他的疑问到底在什么地方

rdcwayx

我的思路是：　

先建个列表：

1. $ cat server.list
   
2. moon_web 192.168.0.48  ben
   
3. moon_web 192.168.0.49  ben
   
4. moon_web 192.168.0.51  before
   
5. moon_web 192.168.0.52  pagservice
   
6. moon_web 192.168.0.53  pay
   
7. moon_web 192.168.0.54  ment
   
8. moon_web 192.168.0.55  before
   
9. moon_web 192.168.0.56  pagerservice
   
10. moon_web 192.168.0.57  pay
    
11. moon_web 192.168.0.58  ment
    
12. 
    

复制代码

再简化程序：

1. #!/bin/bash
   
2. #create xxx  
   
3. 
   
4. # Usage: $0 IP1 IP2 IP3 ...
   
5. 
   
6. btime=`date -d "-1 day" +%y-%m-%d`
   
7. atime=`date -d "-1 day" +%Y-%m-%d`
   
8. ctime=`date +%Y%m%d`
   
9. dtime=`date -d "-1 day" +%Y%m%d`
   
10. 
    
11. list=$*                                                                       # 将脚本后面的参数引入， 也就是服务器IP 列表
    
12. 
    
13. #rsync www server
    
14. for server in $list
    
15. do
    
16.     grep " $server " server.list |while read user IP key X    # 将 server.list 按照IP过滤后，分配给三个变量： user, IP, key。 X 用来避免干扰，如果文件后有多余的字符。
    
17.     do
    
18.         id=${IP##*.}                                                     # 取出 IP 地址 的最后一个字段，比如48， 或者49， 因为后面的目录名里含这个。
    
19.         rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd ${user}@${IP}::${key}log/catalina_log.$btime /opt/log/${id}_${key}/${key}/           # 这个就是对各个变量的引入。 理解了上面的代码，这个就好理解了。
    
20.     done
    
21. done

复制代码

运行的时候，只要跟上IP地址即可

1. test.sh 192.168.0.48 192.168.0.49

复制代码

bikong0411

就是个根据ip选择的过程吧

刺客阿地

@rdcwayx感谢版主，版主对我脚本想要的结果，分析的很到位。

我的意思就是想运行脚本，然后根据IP或者工程名字去做运行，这样的话，每次想同步哪台机器，就直接运行脚本，加上IP地址或者工程名字，有选择的去运行自己想要同步的机器日志即可。

感谢版主，感谢大家的回答！

刺客阿地

不知道还有没更简化的方法

刺客阿地

回复 4# bikong0411

这脚本简化后，当中有些变量用的，我看不懂。。。基本公共不扎实，要下功夫了。。。{:3_185:}

   

rdcwayx

如果还要简化的话，那么就要改一下日志的输出结构了。

比如，每个服务器上都建个单独的日志归档目录 /logs， 在logs目录下建子目录设定不同的工程名字。 每个应用的logs 目录都建链接到这个/logs/子工程目录下， 这样的话，只需要对最上层的logs 目录同步即可，所有子目录自动获得更新。代码也会更简单。

这个只需要做一次设定即可。

1. 
   
2. login 192.168.0.48
   
3. mkdir -p /logs/benlog
   
4. ln -s /logs/benlog /PATH/benlog
   

复制代码

刺客阿地

回复 8# rdcwayx

嗯，感谢，这方法确实不错。我会尝试的。


   

刺客阿地

@rdcwayx版主，你写的这个脚本，当中有很多地方我没明白，所以在这里不耻下问一下，基础不牢，还望见谅。
server.list这个表建立，是个思路，表当中包含IP地址，工程名字，rsync的账户名。
list=$*

#rsync www server
for server in $list
do
    grep " $server " server.list |while read user IP key X
    do
        id=${IP##*.}
        rsync -vzrtopgl --progress --password-file=/etc/rsyncd.passwd ${user}@${IP}:{key}log/catalina_log.$btime /opt/log/${id}_${key}/${key}/
    done
done
这一段当中，list=$*是什么意思 ，还有$server   server.list,  id=${IP##*.}     ${user}@${IP}:{key}   ${id}_${key}/${key}/

这些地方的变量，我都有点不明白了，新手，不好意思，在这里笨笨的问一下，谢谢！