[英雄贴]开发每日处理10亿请求的专用HTTP服务器

hellioncu

关键是这个HTTP请求对应的业务逻辑是怎样的，瓶颈不在通信上

hededisanan00

有什么特殊的要求一定要用长连接吗，采用短连接可不可以？每次响应一个WEB请求，建立一个连接，请求处理结束就释放，为了处理需要延迟一些时间的响应就在建立连接时记录时间点，开一个线程去不断的检测时间戳超时结束。

ideawu

回复 10# starwing83


对于HTTP解析, 网络框架, 未必不能使用现成的框架如libevent. 使用什么技术, 是技术判断力的体现. 光说不练, 分析起来头头是道, 做起来举步维艰. 至于用不用多线程, 用异步还是同步, 这就是技术. 只分析多线程好还是不好, 同步好还是异步好, 这都是空想理论, 解决了问题才是技术和工程.

对技术的整合, 本身也是一种技术(能力). 对技术的判断(能力), 也是一种技术(能力). 将技术落地, 也是一种技术(能力).

再明确一下主题: 解决好一个问题, 体现你的技术能力.

ideawu

koolcoy 发表于 2013-08-15 11:00
假定高峰期就3个小时， 差不多1w秒，一秒钟10w请求。 http是无状态协议，很容易上集群，一秒钟10w请求真的毫 ...

如果上集群, 会涉及到在线列表的集中存储, 要求的东西又更多了. 所以, 用单服务器处理每秒10亿请求并维护在线列表, 问题会简化很多.

ideawu

hellioncu 发表于 2013-08-15 11:07
关键是这个HTTP请求对应的业务逻辑是怎样的，瓶颈不在通信上

业务逻辑主要是维护一个和多个在线列表, 接受"整个平台的在线用户列表, 某个页面的在线用户列表"这样的业务请求.

ideawu

hededisanan00 发表于 2013-08-15 11:21
有什么特殊的要求一定要用长连接吗，采用短连接可不可以？每次响应一个WEB请求，建立一个连接，请求处理结束 ...

没有特殊的需求, 就是: 接受浏览器的心跳包, 生成在线列表, 接受"整个平台的在线用户列表, 某个页面的在线用户列表"这样的业务查询请求. 为了避免过多依赖和增加复杂度, 不应过多依赖, 单台服务器解决.

hellioncu

ideawu 发表于 2013-08-15 11:37
业务逻辑主要是维护一个和多个在线列表, 接受"整个平台的在线用户列表, 某个页面的在线用户列表"这样的业 ...

这种列表应该不需要持久化，都记在内存就行，那难度降低很多。
用户的查找方式、列表的查询、排序条件、是否多页面在线等影响方案
对于海量用户，“整个平台的在线用户列表”似乎没什么意义，不可能显示完。

starwing83

回复 18# hellioncu


    不，可能都不需要显示出来，很可能最终要求实现的API是jsonp那种，然后提供查询API（哪些人在线？）就可以了。这一点是不需要考虑的。

不过你说的一点很对，这不需要存储到数据库里面，纯内存操作应该快很多，这么说大约12个请求1ms应该难度不大。

starwing83

回复 14# ideawu


    恩，这段话看起来倒挺有道理的，不过我可不打算做，我就准备说说

塑料袋

starwing83 发表于 2013-08-15 12:33
回复 14# ideawu

我想知道，为什么他一发帖，就这么热闹；而我发的帖子，却很冷清？？？

难道是我不够嚣张？言辞不够激烈犀利？