日志压缩备份同步到windows并解压

vipty

现在用的是每天凌晨把所有生产服务器三天前的日志文件压缩为tar.gz文件并删除源文件，发送到一台linux的服务器上，然后在这台linux服务器上装rsync服务端，然后在windows的电脑上安装rsync后同步到d:\log目录里
然后用7z.exe x参数在解压gz文件为tar文件，再解压为日志的文件，文件夹是按月和生产服务器的名称排列的，现在有一个问题是在一个月内windows的服务器上同时有tar.gz文件和tar文件还有解压出来的日志文件，占用磁盘比较多，请问有什么好办法吗？
还有在这个过程中有什么可优化的吗？

vipty

回复 20# wh7211

谢谢，我暂时解决这个问题了，现在用的办法是：每天同步后检查最后一个文件名，然后对它进行解压为tar文件，再解压到LOG文件，然后删除解压的tar文件。

wh7211

回复 1# vipty

现在用的是每天凌晨把所有生产服务器三天前的日志文件压缩为tar.gz文件并删除源文件，

用gzip代替tar，压缩以后源文件自动被删除

发送到一台linux的服务器上，然后在这台linux服务器上装rsync服务端，然后在windows的电脑上安装rsync后同步到d:\log目录里

去掉中间的linux服务器，在windows中安装rsync服务器并设置根目录为“d:\log”，然后从生产服务器直接推送压缩后的日志文件到rsync服务器根目录

然后用7z.exe x参数在解压gz文件为tar文件，再解压为日志的文件，文件夹是按月和生产服务器的名称排列的，现在有一个问题是在一个月内windows的服务器上同时有tar.gz文件和tar文件还有解压出来的日志文件，占用磁盘比较多，请问有什么好办法吗？

*.gz文件可以不解压，有需要的时候可用winrar或7zip解压。另外，应根据实际需求确定日志保留时限，比如12个月，可把12个月前的log.*和*.gz全部删掉，以保证有足够的可用磁盘空间

vipty

回复 18# 本友会机友会摄友会

经过一台linux的机器是那台机器是做jenkins用的，以前日志是一个月备份一次，现在日志量增大，我就在linux上直接把日志压缩后传到jenkins上了，可是领导说压缩的不方便看，jenkins上空间也不是很大，便传到windows的机器上了。

vipty

回复 15# chengchow

这个思路确实挺好的，windows的磁盘直接挂载到linux上，操作起来就方便多了，谢谢你。

vipty

回复 14# 本友会机友会摄友会

谢谢，powershell没用过，我这个是做计划任务，每天定时运行，批处理方便点。

chengchow

回复 7# vipty
tar.gz解压缩直接可以接成文件tar zxf XXXX.tar.gz -C PATH

假设需要备份机器是A，备份到服务器B，WINDWS机器是W

建议操作流程是：
W上开共享目录，在B上挂载W共享，假设目录是/data/backup/cifs

在A上的脚本是

#!/bin/bash

tar zcf  XXXX.tar.gz XXXX1 XXXX2

rsync -raqz XXXX.tar.gz USER@B:/data/backup/cifs

ssh USER@B "
    tar zxf /data/backup/cifs/XXXX.tar.gz -C /data/backup/cifs/
"

RETAVL=$?

if [  $REAVL = 0 ];then
    ssh USER@B "
         grep \"/data/backup/cifs/XXXX.tar.gz\" /data/backup/cifs/backup.rec > /dev/null 2>&1 || echo \"/data/backup/cifs/XXXX.tar.gz\" >> /data/backup/cifs/backup.rec
         rm -f /data/backup/cifs/XXXX.tar.gz
    "
else
    ssh USER@B "
         grep \"/data/backup/cifs/XXXX.tar.gz\" /data/backup/cifs/backup.failure > /dev/null 2>&1 || echo \"/data/backup/cifs/XXXX.tar.gz\" >> /data/backup/cifs/backup.failure

    "
fi
大概流程就是这样

vipty

回复 12# Shell_HAT

谢谢大神，我马上去试下！

Shell_HAT

回复 6# vipty


https://sourceforge.net/projects/unxutils/files/
UnxUtils工具包里面有两个命令：
gunzip.exe
tar.exe
配合使用可以不生成中间的tar文件

C:\Test>gzip -d -c 1.tar.gz | tar -xvf - 1.txt C:\Test>dir /b 1.* 1.tar.gz 1.txt