一个服务器设计的问题，应该大家都会遇到，给点建议

liqingfang

假设有一台机器A，有1G内存，另外若干台机器（B、C、D……）通过网络TCP向机器A传输数据，A机器把接收到的数据写入硬盘。B、C、D等机器的数据按记录传输，每条记录大小范围：1M~16M。

为了保证每条记录的原子性，B、C、D等机器每次先向A汇报数据量大小，然后再进行数据传输。

汇报数据大小时，A机器会给记录分配一个序号，写入文件时每个记录按序号顺序、原子写入。

B、C、D等机器处理速度和网络速度都不尽相同，因此汇报数据大小之后，记录数据传递到A的顺序可能不一定按分配好的序号顺序到达。

现在要求给A上程序设计一个数据结构，利用该数据结构能高效的接收数据并顺序高效的写入磁盘（也即是不能序号大的记录先写，然后再回写序号小的记录；也不能接收到几十个字节就写一次磁盘）。

liqingfang

我想不到特别的思路，觉得可以采用accept+fork的方式，对B，C，D...机器传送过来的数据，针对不同IP（预先分配的序号）分别接收，每个客户端传送的报文中需含有序号。

A主机的数据结构:

typedef struct recvNode
{
       int   dataSize;
       int   recvSize;
       int   reqNo;
       char dataBuf[dataSize+1];
       char  ipAddress[20];
       int   flag：1
}

A采用链表基础数据结构，先进行查找节点，遇到新的IP插入节点，初始flag=0，即数据未满，非新的节点copy缓冲区数据到dataBuf中，当recvSize达到dataSize时，flag=1,并将数据一次性写入磁盘.

hellioncu

必须写到一个文件，不能B、C、D每个一个文件么？

int-main

缓存每4K写一次，考虑是否能承受意外断电带来的数据丢失风险。

starwing83

直接读写文件又怎么样呢？libc是有缓存的，怕丢数据就每隔一秒fsync呗。实在怕就用日志文件系统呗。

yulihua49

假设有一台机器A，有1G内存，另外若干台机器（B、C、D……）通过网络TCP向机器A传输数据，A机器把接收到的数 ...
liqingfang 发表于 2011-08-16 19:39

TCP连接有原子性，BCD每个连接自己报长度和顺序号即可。每个进程/线程按照自己的参数写文件，没有问题。

liqingfang

回复 3# hellioncu

B,C,D ...分别写到自己的文件中

hellioncu

可以简单点就能实现：

1、发送的数据都带上一个头，指示该数据的总长，可以与数据一起发送
2、收到数据头部后，即在文件中预留空间，有数据可立刻写入文件
3、收到别的机器发来的数据时，在预留空间后开始写

针对收到不完整的头的例外，直接关闭连接。在头很小的情况下，正常不应该发生的。

camel_flying

其实TCP会保证你数据的完整性！