免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2423 | 回复: 5
打印 上一主题 下一主题

[Linux] 如何让1000个发送进程(位于不同或相同主机上)在同一个毫秒内向同一个接收进程发数据 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2015-01-17 17:28 |只看该作者 |倒序浏览
本帖最后由 cwang_sh 于 2015-01-18 20:36 编辑

各位好!

我在做一个实时的数据处理项目,一个接收进程实时地、周期地接收1000个进程发送来的数据包,这些发送进程可以运行在不同主机或相同主机上。这些发送进程需要在每个毫秒内分别发送一个数据包给接收进程, 即在接收方看来,收到第一个发送进程发来的数据,与收到最后一个发送进程来的数据,这个间隔最长是0.5毫秒,在下一个0.5毫秒内完成对这些数据的处理,再在下一个0.5毫秒内又接收到1000个包,以此类推,可以实现吗?

很显然,发送进程发送的周期为1毫秒。

我是实时处理,需要的时间精度很苛刻。必须是毫秒级的,必须在0.5毫秒内收齐1000个数据。

我的理解是,难点有两个:

1。发送方:如何使这些进程接近于同步地发送数据,容许到达的时间偏差是0.5毫秒。因为这些进程位于不同的主机上,这个任务非常具有挑战性,即使位于同一主机上,也不容易实现。
2。接收方:如何在0.5毫秒内完成1000个数据包的接收。目前有相关的技术,比如intel的DPDK软件包可以支持1秒钟内接收500万个数据包的能力,支持DPDK的网卡上应该具有足够的缓冲能力。

如能赐教,不胜感激.

cwang_sh

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
2 [报告]
发表于 2015-01-18 20:09 |只看该作者
我不会这么高深的问题,我也很感兴趣的回复 1# cwang_sh


   

论坛徽章:
0
3 [报告]
发表于 2015-01-21 16:55 |只看该作者
父进程fork1000个进程出来,然后这些进程都获取当前系统时间,然后在某个时间点统一发送数据
回复 1# cwang_sh


   

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
4 [报告]
发表于 2015-01-21 18:20 |只看该作者
题目中有说道这些进城有可能在相同的主机或者不同的主机上,如果在不同的主机上的话,怎么fork呢?回复 3# lcsmm


   

论坛徽章:
46
2015小元宵徽章
日期:2015-03-06 15:58:18羊年新春福章
日期:2015-04-14 10:37:422015年亚洲杯之阿曼
日期:2015-04-14 10:41:50NBA常规赛纪念章
日期:2015-05-04 22:32:03NBA季后赛大富翁
日期:2015-05-04 22:34:11菠菜明灯
日期:2015-05-04 22:35:49新奥尔良黄蜂
日期:2015-05-04 22:49:2315-16赛季CBA联赛之广夏
日期:2015-12-11 15:02:342015年亚洲杯之巴勒斯坦
日期:2015-03-04 19:56:562015年亚洲杯之阿联酋
日期:2015-03-04 11:19:04休斯顿火箭
日期:2015-03-02 16:32:11纽约尼克斯
日期:2015-03-02 16:09:04
5 [报告]
发表于 2015-01-21 18:36 |只看该作者
建议楼主去内核版块再发个贴,问一下

论坛徽章:
0
6 [报告]
发表于 2015-01-24 19:50 |只看该作者
可以的啊。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP