论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-09-13 13:55 |只看该作者 |倒序浏览

30可用积分

不说发布，集群的类型我知道概念。也知道类型。

我指的是蜘蛛抓回来的大量网页，我们需要利用某些解析程序，分析了html 源码，然后得出很多关键字。然后分类，倒排。

这样的活用一台 pc 也是可以做的，像google 这样 100w 一起做，有错的有冗余，有自动修复的算什么集群。

因为我正好也要做一个分析的程序，分析的对象不一样，原理类似。程序已经做出来了，现在多线程运行，而不是集群跑。

我现在希望能一个集群一起跑。应该怎么做？改写代码是肯定的，集群的东西怎么弄？我的东西如何和整个集群一起工作呢？

文库|博客

3645636

家境小康

论坛徽章:: 4

2楼 [报告]

发表于 2008-09-13 15:01 |只看该作者

去斯坦福大学学习去吧,google就是在斯坦福大学创立的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

BruceShea

家境小康

论坛徽章:: 0

3楼 [报告]

发表于 2008-09-21 13:51 |只看该作者

你不是英雄，不是一呼百应的英雄，鲁迅都要退避三尺，你又何必强出头呢?做好自己，在你不是英雄前，在你还无法普度终生前。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nhuczp

小富即安

论坛徽章:: 0

4楼 [报告]

发表于 2008-09-21 21:41 |只看该作者

呵呵,路过!!

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

13251947

稍有积蓄

论坛徽章:: 0

5楼 [报告]

发表于 2008-09-25 16:38 |只看该作者

GOOGLE是自己开发的，你要是想用那是痴人说梦但你可以自己开发

硬件可以告诉你不是我们一般看的LVS 都是刀片机也可能有巨型机

[ 本帖最后由 13251947 于 2008-9-25 16:39 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

benjiam

小富即安

论坛徽章:: 0

6楼 [报告]

发表于 2008-09-25 20:24 |只看该作者

原帖由 13251947 于 2008-9-25 16:38 发表
GOOGLE是自己开发的，你要是想用那是痴人说梦但你可以自己开发

硬件可以告诉你不是我们一般看的LVS 都是刀片机也可能有巨型机

别再这里充老大了.google 本身就是些pc 完成的。

这里的水平很高吗？只会使用以下软件搭建一下。真的需要设计东西？就没人出来了。

我已经查到
我说的google 集群是Map Reduce,应该算是高负载计算的集群。

设计一个具有map reduce功能的程序不是非常困难和复杂。
过程也就是分成2部而已。

但是需要设计成有伸缩可扩展能力的框架就非常困难了。

不懂的人去看 http://www.mengyan.org/blog/archives/2006/11/15/138.html