tcp中的send函数是何时返回的

littlenewer

几乎所有介绍tcp socket中send函数的地方都会提到，send只是把数据拷贝到socket的发送队列就返回了，并不等待从网卡发送出去。按照这么理解的话应该有另外一个内核线程负责把数据从socket发送队列取出然后发送到网络上。
但是我在dev_hard_start_xmit调用了dump_stack(),通过查看函数栈发现send函数事实上一直调到了驱动注册的发送函数ndo_start_xmit。也就是说send是从网卡发送完成后才返回的。这个是不是有矛盾了呢？

[<ffffffff8161bdb8>] dev_hard_start_xmit+
[<ffffffff8161c318>] __dev_queue_xmit+0x3
[<ffffffff8161c510>] dev_queue_xmit+0x10/
[<ffffffff81654df9>] ip_finish_output+0x2
[<ffffffff81656248>] ip_output+0x58/0x90
[<ffffffff816559a5>] ip_local_out+0x25/0x
[<ffffffff81655d0a>] ip_queue_xmit+0x13a/
[<ffffffff8166c889>] tcp_transmit_skb+0x4
[<ffffffff8166cdfa>] tcp_write_xmit+0x10a
[<ffffffff8166da7e>] __tcp_push_pending_f
[<ffffffff8165f1b8>] tcp_sendmsg+0x118/0x
[<ffffffff81097508>] ? finish_task_switch
[<ffffffff81688a74>] inet_sendmsg+0x64/0x
[<ffffffff81312517>] ? apparmor_socket_se
[<ffffffff81601e2b>] sock_sendmsg+0x8b/0x
[<ffffffff8144c442>] ? n_tty_read+0x402/0
[<ffffffff81602371>] SYSC_sendto+0x121/0x
[<ffffffff8109ddf4>] ? vtime_account_user
[<ffffffff810210b5>] ? syscall_trace_ente
[<ffffffff81602d5e>] SyS_sendto+0xe/0x10
[<ffffffff81724f4f>] tracesys+0xe1/0xe6  

littlenewer

怎么看不到回复呢

nswcfd

没研究过linux tcp的实现，但感觉TCP应该有多个发送路径
1）异步路径肯定是有的，比如发送窗口变小的时候，这时候应该是写入队列的；
2）直接发送路径也应该存在，比如带有PSH标记的报文，期望stack尽快发送，会不会直接调用ip_xmit？

PS，感觉没有你说的内核线程存在，如果有的话，在ps/top里面应该有个[tcpd]啥的。
tcp的异步发送，要么是在接收ack的上下文，要么是在timer上下文完成的？

littlenewer

回复 3# nswcfd

对于窗口变小的情况，如果是阻塞的，send会一直等待直到全部发送；如果是非阻塞，那就能发多少发多少，并且立即返回。所以从这个意义上来说，并不是存在异步的理由。

接受ack是由软中断线程完成，不可能它来发送，因为这样会引入延迟。也不可能在timer上下文，因为在大流量场景下会阻塞调度。
   

nswcfd

回复 4# littlenewer
你是对的，确实那不是异步的理由。

之前看tcp_sendmsg里有些路径有skb_entail操作，就认为是1楼说的“发送队列”了。
仔细看了一下，tcp的sk->sk_write_queue应该是用来管理重传的。

ken1980

tcp接收流程：tcp_v4_rcv->tcp_v4_do_rcv->tcp_rcv_established在收到tcp的ack确认包后->tcp_data_snd_check->tcp_push_pending_frames->_tcp_push_pending_frames发送缓冲区里的数据