[英雄贴]开发每日处理10亿请求的专用HTTP服务器

koolcoy

根据用户id将数据分区，上集群，10w请求真的毫无压力。单机10w比较难。

如果单纯10w状态请求估计单机也能实现，但是你要把接口开放给浏览器，这样就存在认证、授权、防dos等一系列问题，这些开销比状态查询大多了。

ideawu

koolcoy 发表于 2013-08-15 18:06
根据用户id将数据分区，上集群，10w请求真的毫无压力。单机10w比较难。

如果单纯10w状态请求估计单机也能 ...

上集群不一定简单, 数据的同步也是一个问题. 除了心跳包接口, 其它的接口不会开放给浏览器使用, 所以不考虑这方面的权限问题.

koolcoy

非核心业务数据一律不同步，不一致就不一致呗

mirnshi

回复 27# linux_c_py_php
高效服务程序，框架非常重要。HTTP协议不是你想象的那么复杂的。Nginx之所以冒尖，无非是Apache太重，框架老朽。


   

mirnshi

回复 31# ideawu

1. 重新开发一个复杂的httpd，不太现实，稳定性/高效性/周期....，比较可行的是重新构造/优化Nginx，用C写相应的模块，看看能满足多少的请求量
2. 从服务角度，集群的方案要胜于单台，这会降低运维压力。集群的数据同步问题，要看同步什么样的数据，如果是简单的，用memcache，可以很轻松的做同步。如果数据时效性敏感，可以前置均衡，加权重。


   

ideawu

mirnshi 发表于 2013-08-15 21:35
回复 31# ideawu

1. 重新开发一个复杂的httpd，不太现实，稳定性/高效性/周期....，比较可行的是重新构 ...

数据就是在线用户列表, 接口基本是: 心跳, 获取某个页面的用户列表, 判断用户是否在某个页面的列表中.

starwing83

回复 35# ideawu


    所以memcache或者redis做同步基本上也就够了，恩~

ideawu

starwing83 发表于 2013-08-16 05:20
回复 35# ideawu

Redis 的数据结构可以支持, 但memcached就不行了, 因为memcached不支持列表数据结构.

mirnshi

回复 37# ideawu

做个序列化就行了，这些数据结构还是很简单的吧?
   

ideawu

mirnshi 发表于 2013-08-16 09:48
回复 37# ideawu

做个序列化就行了，这些数据结构还是很简单的吧?

一百万个元素的在线列表序列化后, 更新的成本是多少? 获取前10个的成本是多少? 你的考虑太粗糙.