[英雄贴]开发每日处理10亿请求的专用HTTP服务器

ideawu

建议大家直接把项目放到 github 上, 大家都能学习.

djsxut

顶一下， 看看怎么弄的。

starwing83

每天10亿请求！听起来好吓人哦~

慢着，其实好像没有那么吓人的。
每天十亿，即每秒钟：10 0000 0000 请求 / 86400(24*60*60)秒 = 11574 请求/秒。

根据这个页面：https://groups.google.com/forum/ ... daktIU/LArEHI-YEucJ

node.js在GAE可以达到2500qps，最慢的Python也有1500qps，更别说直接纯C上了，我们以前的试验是，纯C可以很容易达到5000qps，而且我们用的就是普通PC。

慢着，这样也不够啊，要求是过一万qps啊。

笨，GAE是什么，是VPS啊，一个GAE2500qps，大不了上两个上三个呗。11574请求/秒，也就是11.5请求/ms，差不多8核CPU采用八线程足够了。如果觉得不放心，16核的CPU肯定够了。就我所知node.js是很容易做多和扩展的。自己写C也容易做（甚至可以直接用node.js的底层libuv），别的我就不清楚了。

所以，这根本就不是一个技术问题，这就TMD的是钱的问题，Over。

ideawu

回复 4# starwing83


    理论上, 大部分的服务器硬件是可以做C/C++做到每秒10000个HTTP请求的. 你说不是技术问题, 这种说法太轻浮了. 就按你说的, 上3个GAE服务器, 面对别人要查询在线列表时, 难道要查3台服务器?

evaspring

这个就是钱的问题

ideawu

回复 6# evaspring


    好吧, 什么都是钱的问题? 有钱就能买百度? 就能出Apple? 就能做出Google? 说这种没意义的话有什么意思? 还是脚踏实地吧.

ideawu

在一台主流硬件配置的服务器上做出每日处理10亿请求的专用HTTP服务器, 对自己既是一个练习, 如果想进中国互联网顶尖公司, 可以联系我.

starwing83

回复 7# ideawu


    你有一千亿美元神马的要买Apple Google貌似真不太难……百度嘛……一百亿也就差不多了……

退一万步说，这个帖子还不是在说“欢迎给我发邮件(邮件地址在前面的链接中), 互联网知名企业的职位等着你!”，这难道不是钱的问题么？

当然了，要说技术问题，也有，我之所以说这是钱的问题，其含义是“这里面的技术含量太少，反而对服务器性能的要求，远远超过了对技术含量的要求”。

先说你说的话“随便的C服务器，qps都超一万”，这是不对的，我贴的网址，考虑的是【实际应用】的qps，不是echo server的。按照你的需求，你【至少】需要查询并/或修改一次数据库——这个数据库如果是内存中的，那么就很快，如果不是内存中的，单请求10ms查询本机或者本网内的数据库也不是不可能的。

再说技术问题。首先是轮询问题，这是很基础的cpio/epoll/kqueue的问题，首先这个得写对，其次，在这个基础上，得做多线程任务分派，这一点才是难点，但是在之前和@linux_c_py_php的帖子中对这一个技术问题讨论的很清楚了。这是唯一的两个能提得上是“技术问题”的问题了。其余的，和普通的服务器设计是一样的。

我为什么提node.js呢？就是因为node.js本身已经将这两点全都做了，而且还不是node.js本身做的，是它的底层支持库libuv做的。你们如果想要做，直接上libuv，然后注册它的回调，产生多个线程/进程（libuv都支持），然后就开始干活吧，还有什么犹豫的？如果libuv达不到你的性能要求，那相对于自己实现一个libuv的子集或者别的什么的，更便宜更安全的方案显然是升级你的服务器。

所以我才说，这不是一个技术问题（因为技术已经有人给你做了，你现用就行），这就是钱的问题。

starwing83

我想知道的是，要实现一个HTTP服务器，你得了解socket，知道至少一个主流的轮询机制，对多线程编程要熟悉透彻，而且要正确实现线程池模式。最后，你还得熟悉HTTP，熟悉关于它的一系列的RFC，包括任何技术上的细枝末节，比如cookie等等。

我觉得，设计一个这样的服务器所需要耗费的精力与你的所得是不相符的。至少，如果要写好一个这样的服务器，需要学习的面太杂太广，而你真正工作的时候涉及的面却决不可能那么广泛（当然也不一定，比如我前段时间在重庆就是数据库后端前段美工界面设计一个人搞定= =没法子啊……），所以，对于一个明确自己的目标的程序员来说，这绝不是一个“很好的练习”。

相对来说，“在cgi上实现一个交互式网页”，或者“用C实现一个高qps的socket服务器”这些，都是很好的练习，因为你可以有足够的精力，去关注所有你喜欢而又用得着的知识。

最后，“不要重复造轮子”，作为练习，写这些都是可以的，如果上实际应用了（就如同你在主题帖里面写的一样），还是上现有的开源项目比较保险，这么一个简单的道理，不需要别人教你吧？

koolcoy

假定高峰期就3个小时， 差不多1w秒，一秒钟10w请求。 http是无状态协议，很容易上集群，一秒钟10w请求真的毫无压力。