免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 4031 | 回复: 20
打印 上一主题 下一主题

[文件目录] 日志压缩备份同步到windows并解压 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2018-07-24 19:22 |只看该作者 |倒序浏览
现在用的是每天凌晨把所有生产服务器三天前的日志文件压缩为tar.gz文件并删除源文件,发送到一台linux的服务器上,然后在这台linux服务器上装rsync服务端,然后在windows的电脑上安装rsync后同步到d:\log目录里
然后用7z.exe x参数在解压gz文件为tar文件,再解压为日志的文件,文件夹是按月和生产服务器的名称排列的,现在有一个问题是在一个月内windows的服务器上同时有tar.gz文件和tar文件还有解压出来的日志文件,占用磁盘比较多,请问有什么好办法吗?
还有在这个过程中有什么可优化的吗?

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
2 [报告]
发表于 2018-07-24 20:21 |只看该作者
tar文件为什么不删掉呢?

论坛徽章:
0
3 [报告]
发表于 2018-07-24 20:33 |只看该作者
回复 2# Shell_HAT
下次再解压gz文件的时候可以跳过解压后的文件,除非每次都能确定哪些没有解压过。

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
4 [报告]
发表于 2018-07-24 22:04 |只看该作者
回复 3# vipty


7z解压之前先判断一下有没有和gz同名的log文件,这样可以避免重复解压,BAT、VBS、PowerShell这些Windows上的脚本都行。

多问一句,有什么特殊的原因一定要把日志放到Windows里面吗,就放在Linux里面不是也行嘛。

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
5 [报告]
发表于 2018-07-25 10:03 |只看该作者
HAT大神在,班门弄釜了。

我也觉得整个流程太复杂,不知道为什么这么设计?

直接同步到linux不行吗?

如果一定要同步到windows也可以通过windows共享挂载的方式实现,整个备份步骤一步就可以完成,为什么分成4-5步做

如果tar包仅仅是确认是否解压,那可以删除了,创建一日志文件,在最后解压步骤成功后,添加日志记录就可以了,没必要仅仅因为确认是否解压就留下这么多的冗余文件

论坛徽章:
0
6 [报告]
发表于 2018-07-25 10:25 |只看该作者
回复 4# Shell_HAT 跳板机是windows的,硬盘空间比其他linux的要大得多,公司要求日志备份到跳板机上。你说的做记号的方式也可以,用批处理也能做,就是感觉不是很方便,如果能直接解压tar.gz不需要中间哪一步就好了。

论坛徽章:
0
7 [报告]
发表于 2018-07-25 10:27 |只看该作者
回复 5# chengchow

挂载的话也可以,linux上是压缩好了的tar.gz格式,解压的话还是要先解压到tar格式,不知道什么软件可以在windows命令下直接解压出日志文件的。

论坛徽章:
0
8 [报告]
发表于 2018-07-25 10:59 |只看该作者
回复 4# Shell_HAT

@echo off
set src=d:\log
set sdc=D:\logs\201807
set de=2018-07
echo 开始解压日志
for /f %%a in ('dir/b %src%') do 7z x %src%\%%a\%de%\*.gz -o%src%\%%a\%de% -aos
for /f %%a in ('dir/b %src%') do 7z x %src%\%%a\%de%\*.tar -o%sdc%\%%a -aos
echo.


我windows上用的这个批处理进行解压操作的。

论坛徽章:
0
9 [报告]
发表于 2018-07-25 11:00 |只看该作者
回复 4# Shell_HAT

我windows上用的是这个批处理进行解压操作的。

微信图片_20180725105429.png (9.69 KB, 下载次数: 99)

微信图片_20180725105429.png

论坛徽章:
0
10 [报告]
发表于 2018-07-25 11:01 |只看该作者
刚刚回复第一个帖子的时候论坛提示出错,我就截图发了一下,没想到原来那个也发帖成功了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP