BBS.ChinaUnix.net
首页 | 新闻 | Linux | FreeBSD | AIX | Windows | 博客 | 论坛 | 存储 | 网络 | 人才 | Wiki | 资料 | 读书 | 手册 | 下载 | 空间 | 搜索
  会员: 密码: 免费注册 | 忘记密码 | 会员登录 | 搜索 | 帮助 


请教一个统计架构问题
首页 » 论坛 » Php »  
[打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友,立即获积分]
Dreamers   帅哥
骑士



UID:270766
注册:2005-5-21
最后登录: 2008-08-01
帖子:79
精华:0

可用积分:58 (白手起家)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


1楼 发表于 2008-5-25 15:13 
目前小站有500万的pv,现在要做一个统计功能:用于用户打分(打分的可能种类达到100多种)。

打算这么做:1.用户打分后,按照类别存入memcache的数组。2.每分钟进行初步统计分值,并按照打分类别序列化数组后error_log进相应的log文件。3.按照分类的统计周期需求,将log文件整合处理,入库。

请高手指教:小弟有这么个疑问:memcache对于并发处理,冲突的时候会漏记数据。但如果直接采取文件的形式记录用户的打分,则对文件系统造成很大的压力。

谢谢



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

D&DPUB(数据挖掘,数据库,娱乐在线)
www.cooyell.com
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
版主 HonestQiao (oaiQtsenoH)
广告杀手-天神
该会员涉嫌泄密,被双规面壁思过



UID:32193
注册:2002-12-4
最后登录: 2008-09-08
帖子:35064
精华:104

可用积分:26939 (巨富豪门)
信誉积分:220
专家积分:1418 (本版:135)
空间积分:802
推广积分:1

来自:★人杰地灵湖北美丽江城武汉. ..
状态:...保密...

[个人空间] [短信] [博客]


2楼 发表于 2008-5-25 21:32 
那个数据库呢,使用内存表也可以



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

2007年度 最佳版主得奖感言
中国...第一大...聘PHP领队工程师需经丰技硬,欢迎相关人才应聘推荐:http://bbs.chinaunix.net/thread-1022367-1-1.html

空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
james.liu (永远23的j.L)
法王
归隐ing,有事请PM.



UID:189697
注册:2004-10-13
最后登录: 2008-09-04
帖子:18812
精华:1

可用积分:1774 (家境小康)
信誉积分:320
专家积分:366 (本版:0)
空间积分:833
推广积分:0

状态:...保密...

[个人空间] [短信] [博客]


3楼 发表于 2008-5-26 09:31 
try{
  //第一个memcached
}catch(){
  //第二个?
}

这样可以?



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

承接:web项目(一万以上),全文检索项目(一万以上),爬虫项目。(保质)
qq:2857-9945-7

空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
Dreamers   帅哥
骑士



UID:270766
注册:2005-5-21
最后登录: 2008-08-01
帖子:79
精华:0

可用积分:58 (白手起家)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


4楼 发表于 2008-5-26 11:29 


QUOTE:
原帖由 HonestQiao 于 2008-5-25 21:32 发表
那个数据库呢,使用内存表也可以

谢谢,您的意思是直接使用内存表?memcache也不用了?内存表在服务器重启后会自动清空。。。这样是不是比较不稳定?



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

D&DPUB(数据挖掘,数据库,娱乐在线)
www.cooyell.com
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
Dreamers   帅哥
骑士



UID:270766
注册:2005-5-21
最后登录: 2008-08-01
帖子:79
精华:0

可用积分:58 (白手起家)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


5楼 发表于 2008-5-26 11:30 


QUOTE:
原帖由 james.liu 于 2008-5-26 09:31 发表
try{
  //第一个memcached
}catch(){
  //第二个?
}

这样可以?

您的意思是?可否明示?谢谢。小弟愚昧。



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

D&DPUB(数据挖掘,数据库,娱乐在线)
www.cooyell.com
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
james.liu (永远23的j.L)
法王
归隐ing,有事请PM.



UID:189697
注册:2004-10-13
最后登录: 2008-09-04
帖子:18812
精华:1

可用积分:1774 (家境小康)
信誉积分:320
专家积分:366 (本版:0)
空间积分:833
推广积分:0

状态:...保密...

[个人空间] [短信] [博客]


6楼 发表于 2008-5-26 11:52 


QUOTE:
memcache对于并发处理,冲突的时候会漏记数据

如果你能捕获冲突,那么就将该数据插入另一个memcached的实例,,,这样就有两个memcached实例


顺便问下,你如何获悉冲突?

[ 本帖最后由 james.liu 于 2008-5-26 12:04 编辑 ]



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

承接:web项目(一万以上),全文检索项目(一万以上),爬虫项目。(保质)
qq:2857-9945-7

空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
Dreamers   帅哥
骑士



UID:270766
注册:2005-5-21
最后登录: 2008-08-01
帖子:79
精华:0

可用积分:58 (白手起家)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


7楼 发表于 2008-5-27 10:41 


QUOTE:
原帖由 james.liu 于 2008-5-26 11:52 发表


如果你能捕获冲突,那么就将该数据插入另一个memcached的实例,,,这样就有两个memcached实例


顺便问下,你如何获悉冲突?

A在访问,B同时也在访问,这样就冲突了。memcache没有提供方法来获悉冲突吧?



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

D&DPUB(数据挖掘,数据库,娱乐在线)
www.cooyell.com
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
james.liu (永远23的j.L)
法王
归隐ing,有事请PM.



UID:189697
注册:2004-10-13
最后登录: 2008-09-04
帖子:18812
精华:1

可用积分:1774 (家境小康)
信誉积分:320
专家积分:366 (本版:0)
空间积分:833
推广积分:0

状态:...保密...

[个人空间] [短信] [博客]


8楼 发表于 2008-5-27 13:13 


QUOTE:
原帖由 Dreamers 于 2008-5-27 10:41 发表


A在访问,B同时也在访问,这样就冲突了。memcache没有提供方法来获悉冲突吧?

呵呵

memcached的通常并发数是200(比较稳定,当然自己可以做测试),,,它还支持多个memcached的。。。

具体怎么做看下memcached的官网, wiki,,还可以google下。


祝你好运~



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

承接:web项目(一万以上),全文检索项目(一万以上),爬虫项目。(保质)
qq:2857-9945-7

空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
七夜
骑士



UID:155900
注册:2004-5-4
最后登录: 2008-09-07
帖子:76
精华:0

可用积分:82 (白手起家)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


9楼 发表于 2008-5-28 17:47 
并发一大,php中的memcache扩展就会常常报错。
我建议自己写一个CGI程序,自己申请内存,自己处理数据。然后周期性写入到数据库。
这样效率是最高的



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
Dreamers   帅哥
骑士



UID:270766
注册:2005-5-21
最后登录: 2008-08-01
帖子:79
精华:0

可用积分:58 (白手起家)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


10楼 发表于 2008-5-29 10:08 


QUOTE:
原帖由 james.liu 于 2008-5-27 13:13 发表



呵呵

memcached的通常并发数是200(比较稳定,当然自己可以做测试),,,它还支持多个memcached的。。。

具体怎么做看下memcached的官网, wiki,,还可以google下。


祝你好运~

谢谢。。。



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

D&DPUB(数据挖掘,数据库,娱乐在线)
www.cooyell.com
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘

首页 » 论坛 » Php »


 


Copyright © 2001-2008 ChinaUnix.net All Rights Reserved     联系我们:

感谢所有关心和支持过ChinaUnix的朋友们    转载本站内容请注明原作者名及出处

京ICP证041476号


清除 Cookies - ChinaUnix - Archiver - WAP - TOP

Processed in 0.093073 second(s), 4 queries , Gzip enabled