线程性能到达瓶颈，并发还是并行？

chenxing2

这个好像很难，没人回了......

chenxing2

回复 5# heguangwu


看描述，pcapThread用来抓包，然后还处理。当QPS高的时候，处理慢了，丢包正常。

建议 抓包和处理数据分开。

pcapThread抓包后，直接发到kafka，然后多个消费者取包，然后处理，再继续后面的处理，根据量还可增加消费者

如：

宝突然增加的时候，kafka也可以积压存储，保证丢包率比较低
pcapThread(抓包)  --> kafka   --> 增加一个程序（根据配置排除掉不属于本机或黑名单中的抓包，并将TCP/IP头域将解开有用的放到一个数据结构中） --> kafka --> TcpProcThread --> kafka -->MysqlProcThread -->KafkaSendThread

chenxing2

回复 10# heguangwu

这样看就是 pcapThread 抓包的速度跟不上了。

LibPcap这玩意记得在资源不足以再容纳下一段数据时，会丢弃数据。

建个线程池，在loop的时候，拿到数据直接扔到线程池然后再后面的处理，每次也多收些包