免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2566 | 回复: 4

[文件目录] 并行文件传输 [复制链接]

论坛徽章:
18
辰龙
日期:2014-05-21 21:01:4115-16赛季CBA联赛之深圳
日期:2016-12-23 13:51:3815-16赛季CBA联赛之北控
日期:2016-11-28 18:26:3815-16赛季CBA联赛之佛山
日期:2016-11-03 11:18:5815-16赛季CBA联赛之辽宁
日期:2016-07-10 16:09:4115-16赛季CBA联赛之江苏
日期:2016-02-20 23:09:202015亚冠之塔什干棉农
日期:2015-08-17 19:49:492015年亚洲杯之日本
日期:2015-04-30 01:24:342015年亚洲杯之约旦
日期:2015-04-01 00:37:182015年亚洲杯之沙特阿拉伯
日期:2015-03-02 15:55:40处女座
日期:2014-05-25 10:34:0020周年集字徽章-年
日期:2023-04-23 11:17:52
发表于 2019-03-26 17:25 |显示全部楼层
5可用积分
本帖最后由 bikkuri 于 2019-03-26 18:41 编辑

大家好!
我有一个问题向大家请教。
在客户现场有2000多个设备节点,需要每天凌晨用脚本登录到设备上去发指令在本地产生一个状态文件Status_$(date +%Y%m%d_%H%M%S).txt,文件大小从几百k到十几M不等,然后将这些状态文件用scp传回中心服务器做数据分析,设备端的状态文件在传送完成后需要删除。
由于设备端运行的系统并不是Linux系统,所以我们用expect模拟登录,发指令生成状态文件,传送文件到Linux中心服务器,删除设备端的状态文件。
nodelist="node1 node2 node3 ... node1999 node2000"

generate_status_file() { ...; }
delete_status_file() { ...; }

while node in $nodelist; do
generate_status_file $node
scp $user@$node:$remote_dir/$file $local_dir
delete_status_file $node
done
已知平均下来每传送这样一个文件大约需要40秒钟。
这样的话,顺序处理2000多个节点就需要2000*40=800000秒,也就是22个小时。
我们希望处理的脚本可以并行处理不同的设备节点以提高效率,比如允许并行处理10个节点,当10个节点中的任何一个节点处理结束后,就接着处理第11个节点。
请问这样的情况下,脚本应该如何修改呢?
谢谢大家的帮助!

论坛徽章:
8
2016科比退役纪念章
日期:2018-10-24 08:24:0115-16赛季CBA联赛之北控
日期:2019-03-12 14:34:562016科比退役纪念章
日期:2019-04-01 10:33:0915-16赛季CBA联赛之山东
日期:2019-04-17 12:46:3215-16赛季CBA联赛之广夏
日期:2019-05-09 16:40:4015-16赛季CBA联赛之广夏
日期:2019-10-10 15:33:4015-16赛季CBA联赛之辽宁
日期:2019-10-15 08:37:0615-16赛季CBA联赛之北控
日期:2021-03-30 15:53:34
发表于 2019-03-27 11:54 |显示全部楼层
本帖最后由 cfwyy 于 2019-03-27 11:57 编辑

建议参考这个  

https://blog.51cto.com/egon09/1754317

用命名管道和fd 实现队列

论坛徽章:
0
发表于 2019-03-27 12:34 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2016-06-11 06:20:00
发表于 2019-03-27 14:44 |显示全部楼层
小白 思路
本地产生一个状态文件Status_$(date +%Y%m%d_%H%M%S).txt,文件大小从几百k到十几M不等,然后将这些状态文件用scp传回中心服务器做数据分析,设备端的状态文件在传送完成后需要删除。

本地全部生成好文件, 打包集合一个文件, rsync 上传集合包到 中心服务器, 在解压, 在删除本地。 这样会比你1个1个传快。

论坛徽章:
18
辰龙
日期:2014-05-21 21:01:4115-16赛季CBA联赛之深圳
日期:2016-12-23 13:51:3815-16赛季CBA联赛之北控
日期:2016-11-28 18:26:3815-16赛季CBA联赛之佛山
日期:2016-11-03 11:18:5815-16赛季CBA联赛之辽宁
日期:2016-07-10 16:09:4115-16赛季CBA联赛之江苏
日期:2016-02-20 23:09:202015亚冠之塔什干棉农
日期:2015-08-17 19:49:492015年亚洲杯之日本
日期:2015-04-30 01:24:342015年亚洲杯之约旦
日期:2015-04-01 00:37:182015年亚洲杯之沙特阿拉伯
日期:2015-03-02 15:55:40处女座
日期:2014-05-25 10:34:0020周年集字徽章-年
日期:2023-04-23 11:17:52
发表于 2019-03-28 03:10 |显示全部楼层
回复 2# cfwyy

非常感谢!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP