请教一个统计架构问题

Dreamers

目前小站有500万的pv，现在要做一个统计功能：用于用户打分（打分的可能种类达到100多种）。

打算这么做：1.用户打分后，按照类别存入memcache的数组。2.每分钟进行初步统计分值，并按照打分类别序列化数组后error_log进相应的log文件。3.按照分类的统计周期需求，将log文件整合处理，入库。

请高手指教：小弟有这么个疑问:memcache对于并发处理，冲突的时候会漏记数据。但如果直接采取文件的形式记录用户的打分，则对文件系统造成很大的压力。

谢谢

HonestQiao

那个数据库呢，使用内存表也可以

james.liu

try{
  //第一个memcached
}catch(){
  //第二个？
}

这样可以？

Dreamers

原帖由 HonestQiao 于 2008-5-25 21:32 发表
那个数据库呢，使用内存表也可以

谢谢，您的意思是直接使用内存表？memcache也不用了？内存表在服务器重启后会自动清空。。。这样是不是比较不稳定？

Dreamers

原帖由 james.liu 于 2008-5-26 09:31 发表
try{
  //第一个memcached
}catch(){
  //第二个？
}

这样可以？

您的意思是？可否明示？谢谢。小弟愚昧。

james.liu

memcache对于并发处理，冲突的时候会漏记数据

如果你能捕获冲突，那么就将该数据插入另一个memcached的实例，，，这样就有两个memcached实例


顺便问下，你如何获悉冲突？

[ 本帖最后由 james.liu 于 2008-5-26 12:04 编辑 ]

Dreamers

原帖由 james.liu 于 2008-5-26 11:52 发表


如果你能捕获冲突，那么就将该数据插入另一个memcached的实例，，，这样就有两个memcached实例


顺便问下，你如何获悉冲突？

A在访问，B同时也在访问，这样就冲突了。memcache没有提供方法来获悉冲突吧？

james.liu

原帖由 Dreamers 于 2008-5-27 10:41 发表


A在访问，B同时也在访问，这样就冲突了。memcache没有提供方法来获悉冲突吧？

呵呵

memcached的通常并发数是200（比较稳定，当然自己可以做测试），，，它还支持多个memcached的。。。

具体怎么做看下memcached的官网， wiki，，还可以google下。


祝你好运~

Dreamers

原帖由 james.liu 于 2008-5-27 13:13 发表



呵呵

memcached的通常并发数是200（比较稳定，当然自己可以做测试），，，它还支持多个memcached的。。。

具体怎么做看下memcached的官网， wiki，，还可以google下。


祝你好运~

谢谢。。。

Dreamers

原帖由 七夜 于 2008-5-28 17:47 发表
并发一大,php中的memcache扩展就会常常报错。
我建议自己写一个CGI程序，自己申请内存，自己处理数据。然后周期性写入到数据库。
这样效率是最高的

谢谢。决定采用您的方法。