fd的瞬间状态变化问题

unixpm

问题是这样的：

是一个数据转发服务，线程1负责接入socket fd的读， 线程2负责fd的数据写，

现在出现问题的场景：

线程2准备对fd进行write写数据操作，切换到线程1

线程1发现socket fd读失败，调用close 直接关闭连接， 并回收该fd. 紧接着又有新用户接入，该fd又被重新使用，

这个时候切换到线程2， 这个时候回将错误的数据写到fd中。


目前想到了一种办法，但是只是把fd不立即回收，延时了一段时间。

哪个线程发现fd出错，先shutdown, 设置fd关闭连接标志，在线程1中对所有fd进行遍历，发现fd关闭连接标志再进行close操作。


不知道那个有什么好办法或者类似的处理经验？？

多谢

[ 本帖最后由 unixpm 于 2008-5-27 11:33 编辑 ]

net_robber

你看这样行不行，

线程1不要关闭fd
由线程2关闭
线程2关闭fd后，自己不要操作就是了

线程1只负责接收

net_robber

顺便猜测一下，你的业务逻辑没有分层？？？


参考一下中间件的思想，或许会有所得

unixpm

多谢您的答复。

程序中没有复杂的业务逻辑， 即使有， 已经做到了和数据转发的完全独立， 由另外一个线程完成的， 这个与问题无关

实际情况我简单说说吧

线程1负责多个fd的读数据操作，线程2负责从某种虚拟网卡中读取IP包， 然后根据目的IP地址，找到对应的fd, 进行写操作。

所以：
“线程1不要关闭fd
由线程2关闭
线程2关闭fd后，自己不要操作就是了

线程1只负责接收”

这个是用不上的，线程2没有办法知道那个fd需要关闭，除非发送IP包的时候产生错误，而且IP包也不一定就有。

线程1就是负责数据接收的。

所以问题的关键就是: "多线程操作fd, 线程切换， fd关闭后又重新接入"

现在貌式只能将fd数据的读写全部放到一个线程中

net_robber

添加一个队列可以么？？

线程1把数据放入队列
现成2从队列中取数据

converse

我觉得你的业务逻辑处理没有分清楚,为什么会出现写的时候也可读,或者反之的情况,是业务逻辑就要求这样还是自己的设计不合理?如果业务逻辑就要求这样的话,似乎只有加锁来处理了.

unixpm

呵呵，这里应该是线程2把回来的数据读取出来，然后放到队列中供线程1进行处理， 这样把每个fd数据的读和发都在线程1中执行。

我觉得这样不大好，

数据转发的目的是在单位时间内尽可能多的发送数据，把读和写都集中到一个线程中，明显不能利用tcp的全双工的特性。这样设计后，也是串行读取n个fd, 然后串行写入n个fd。

而且队列， 不管是使用系统的队列（数据量很大，估计性能成问题），还是自己构造（内存耗用，容易出错），都比较麻烦， 而且存在一个速度平衡的问题，问题也很多，

不知道除了队列，能够还有其他的法子？

unixpm

因为是一个数据转发的服务， 而且和远程服务器端没有连接，是通过Linux下的虚拟网卡完成数据的转发和接收（IP包），
所以必然会出现同时读写数据的可能！

当然一个线程其实也可以完成这样的功能， 为什么要搞2个线程这样做呢？

（1） 发挥Tcp的双工的特点
(2)    发挥多cpu, 多核的特点

net_robber

第一个线程已经读写完毕了，要第二个现成干什么呢？？？

似乎有点鸡肋

net_robber

可能关键还是不明白你的需求，所以比太方便给你出主意