“零拷贝”技术在多用户模式下的实现

liklstar

我准备采用这样一个网卡到用户态的“零拷贝”方案：（假设单用户接收方向）
1、在用户进程空间分配一个较大的user_buff，比如：128KB，并按照2KB切分；
2、在内核空间分配一个有64个描述符的环型缓冲区kr_buff，并将其使用mmap映射到用户态，以便用户读取控制信息；
3、对user_buff进行地址翻译，将其物理地址一一对应地存入kr_buff[nth_desc]的phy_addr字段，指明第n个描述符所代表的那个2KB用户缓冲区的物理地址；
这样网卡上的数据就可以顺序DMA传入用户缓冲区user_buff了。

我的问题是：如何推广至多用户模式？如果是多用户，那岂不是要为每个用户分配一个user_buff吗？kr_buff又如何与user_buff一一对应呢？

humjb_1983

你这里说的“多用户”具体指啥？是“多接收进程”吧？

liklstar

humjb_1983 发表于 2014-02-12 13:52
你这里说的“多用户”具体指啥？是“多接收进程”吧？

是的，准确地说：是多个用户进程。

我怀疑使用这种“内存映射”方式的零拷贝技术不能实现端到端的多用户进程间多对多的通信？因为无法将一块内核区域映射到多个用户进程中，就比如我的kr_buff恐怕只能映射到一个用户空间。如果映射到多个用户，那么如何管理呢？

humjb_1983

理论上应该是可以将同一段内存区域映射到多个进程的地址空间中的，不知你具体需要达到怎样的目的，具体我没实际的捯饬经验~~，供参考。

liklstar

humjb_1983 发表于 2014-02-12 16:45
理论上应该是可以将同一段内存区域映射到多个进程的地址空间中的，不知你具体需要达到怎样的目的，具体我没 ...

哦。如果一段内核区域可以映射到多个应用进程空间，那不是要使用互斥锁来管理了吗？这个上下文切换就多了？

我就是希望一张网卡上的多个用户的数据流可以不通过内核直接分发到相应进程手中，实现零拷贝。这样消除了多次拷贝的开销，频繁上下文切换的开销以及大量中断的开销，岂不甚好？但是，我估计用内存映射的方式恐怕很难做到。是不是？

lenky0401

参考一下netmap：
http://info.iet.unipi.it/~luigi/netmap/

liklstar

lenky0401 发表于 2014-02-12 17:30
参考一下netmap：
http://info.iet.unipi.it/~luigi/netmap/

我觉得这位Luigi Rizzo先生能够提出这样一个网络子系统架构，即解决了很多突出的问题，又能较好地适应各种需要并能比较容易实现，真是不容易！可以说他改变了传统网络子系统的处理方式。着实令我辈汗颜。

liklstar

我能不能把一块内核区域映射成几个进程的共享内存？

humjb_1983

请问是如何区分数据流是属于哪个用户的呢？在不使用零拷贝的方案中，是怎么实现的呢？

chishanmingshen

回复 5# liklstar

搞一个中间进程，由它再分发。我是这么想的。:wink: