免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 7466 | 回复: 6

[其他] shell脚本编写-依赖上一命令完全执行问题 [复制链接]

论坛徽章:
8
戌狗
日期:2013-10-12 11:37:19双子座
日期:2014-05-06 14:40:39巨蟹座
日期:2014-06-14 09:22:18戌狗
日期:2014-09-18 16:05:44巨蟹座
日期:2014-12-27 16:37:26酉鸡
日期:2015-01-20 18:39:022015年亚洲杯之沙特阿拉伯
日期:2015-04-20 22:38:242015亚冠之萨济拖拉机
日期:2015-06-19 16:01:03
发表于 2020-03-18 22:49 |显示全部楼层
shell脚本编写中的场景示例:备份压缩 -》压缩包文件远程拷贝
数据量大的情况下,tar压缩打包 ----》执行下一命令scp|rsync之类命令

怎么确保tar长时间运行后完成执行,传递完整的压缩包至下一命令。

1、while 死循环判断tar进程的方式,尝试解决这类依赖型的命令顺序关系,没有解决。
2、wait方式尝试,也没有解决。
3、sleep 这个很模糊,并不能达到精确的运行,“不浪费时间”


请教有没好的思路和方法,做到上一命令(长时间运行)【完全运行结束】后-----》下一命令执行(上一命令依赖迁移命令)

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2020-03-19 16:09 |显示全部楼层
不知道你说什么?

shell本身就是顺序执行的,前一个命令执行完成前是不会执行下一条命令的
所以直接
tar zcf .....tar.gz file1 file2
rsync -a ....
就可以了,
也可以用Wait用法
tar zcf ....tar.gz file1 file2 &
wait
rsync -a ......

唯一需要判断的是tar命令是否正确执行,所以通常加个判断

tar zcf file.tar.gz file1 file2 >/dev/null 2>&1
if [ `echo $?` = 0 ];then
    rsync -aq file.tar.gz user@ip:path
else
    echo "打包失败"
fi

评分

参与人数 1信誉积分 +10 收起 理由
飘絮絮絮丶 + 10 赞一个!

查看全部评分

论坛徽章:
8
戌狗
日期:2013-10-12 11:37:19双子座
日期:2014-05-06 14:40:39巨蟹座
日期:2014-06-14 09:22:18戌狗
日期:2014-09-18 16:05:44巨蟹座
日期:2014-12-27 16:37:26酉鸡
日期:2015-01-20 18:39:022015年亚洲杯之沙特阿拉伯
日期:2015-04-20 22:38:242015亚冠之萨济拖拉机
日期:2015-06-19 16:01:03
发表于 2020-03-19 17:14 |显示全部楼层
本帖最后由 prcardin 于 2020-03-19 17:17 编辑

回复 2# chengchow

cat tar.sh#!/bin/bash

##To:tar
Download_Num=`ls test_$1/ |wc -l`
echo "Download_Num: ${Download_Num}" >>/data/info/info.txt
echo "tar start-time: `date +"%Y%m%d-%H%M"`" >>/data/info/info.txt
tar -cvf  test_$1_`date +"%Y%m%d"`.tar $1/ &
wait
echo "done tar!!!!!!!!!!"
echo "tar end-time:`date +"%Y%m%d-%H%M"`" >>/data/info/info.txt
##done
echo "done time: `date +"%Y%m%d-%H%M"`" >>/data/info/info.txt


#运行
  1. nohup bash tar.sh 2>&1 >>test.log &
复制代码





#check
$ du -sh test
1.3G        test
$ du -sh *.tar
1.7M        test_20200319.tar

tar -cvf不压缩打包,tar包文件应和目录文件1.3G大小一致才对,这个M级别的ta**件生成脚本直接运行完成。
这种并没有完全的运行脚本,等待tar的完全执行完

论坛徽章:
0
发表于 2020-03-19 18:07 |显示全部楼层
2楼正解。不过我喜欢7zip,另外我喜欢有进度条的多核压缩,写入磁盘完成后,延时10秒再传送即可。

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2020-03-20 09:08 |显示全部楼层
本帖最后由 chengchow 于 2020-03-20 09:09 编辑

回复 2# chengchow

cat tar.sh#!/bin/bash

##To:tar
Download_Num=`ls test_$1/ |wc -l`
echo "Download_Num: ${Download_Num}" >>/data/info/info.txt
echo "tar start-time: `date +"%Y%m%d-%H%M"`" >>/data/info/info.txt
tar -cvf  test_$1_`date +"%Y%m%d"`.tar $1/ &
wait
echo "done tar!!!!!!!!!!"
echo "tar end-time:`date +"%Y%m%d-%H%M"`" >>/data/info/info.txt
##done
echo "done time: `date +"%Y%m%d-%H%M"`" >>/data/info/info.txt


#运行
  • nohup bash tar.sh 2>&1 >>test.log &


你的$1了????
另外打包不压缩大小和实际大小差不多的理解也是错的


论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
发表于 2020-06-01 11:27 |显示全部楼层
挖个坟,这种问题呢,早些年用shell处理,最近我建议你用CM配置管理工具,比如ansible/puppet/salt处理。

你这个问题在CM里面就是资源依赖的问题,就是一个资源ready( tar完工后),需要通知一下另外一个资源去处理。

场景的例子就是,修改配置文件后需要重启服务。

你可以研究一下看看。

论坛徽章:
0
发表于 2020-06-03 14:20 |显示全部楼层
楼上你好,欢迎了解下我开发的,世界第一的批量运维工具(远程命令行)《卡死你3000》
简单来讲 ansible/puppet/salt,把shell的腿打断了-------不支持管道,那些基于yaml的没有foreach。或者foreach麻烦。
而卡死你3000,接上了shell的腿。详细的我就不在本贴里多说了。

我来说说这个问题,对于长时间运行的任务,可以把任务的id,记录到磁盘。需求的本质是【保存shell变量到磁盘,长时间后在读取】的问题。类似于游戏存盘,读取。对于ps,shell来说,保存变量,读取变量并不难。我有专门写帖。

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP