Chinaunix

标题: 集群中数据同步请教[仍需请教] [打印本页]

作者: signmem 时间: 2008-07-22 15:16
标题: 集群中数据同步请教[仍需请教]
假如下面例子

client
  |
  |
director
  |
  |
  |------------------------------|
mail1                         mail2

Director 如果作为 RR 轮叫，那么邮件数据可能一部分在 MAIL1 一部分在 MAIL2 中，
我怎么能够把两个电脑 M 1 M2 进行实时同步呢？
我不希望出现第三方的数据存储
否则

client
  |
  |
director
  |
  |
  |------------------------------|
mail1                         mail2
  |------------------------------|
            |
            |
   iscsi  (gnbd )

要多一个电脑和设备，不能够达到廉价的目的

两个电脑能够实时邮件数据吗？？？

[ 本帖最后由 signmem 于 2008-7-23 00:03 编辑 ]

作者: happy_fish100 时间: 2008-07-22 17:07
可以试试FastDFS，一个开源的轻量级分布式文件存储系统。
官方网址：http://www.csource.org/
google code下载地址：http://code.google.com/p/fastdfs/downloads/list

作者: micheas.liao 时间: 2008-07-22 19:23
标题: 回复 #1 signmem 的帖子
集群文件同步问题，可以试一下csync2，或者tsync，很久之前捣鼓了一阵，感觉还可以。要做到实时同步有点困难，不过可以看一下Linux内核提供的inotify事件触发机制，以及incron（不知是不是这样拼了，这个东东类似cron，不过是由事件而不是时间触发的）。
这几种工具联合起来使用，应该可以解决你的问题的。

作者: q1208c 时间: 2008-07-22 22:47
目前没有free的合适东东.

前几天找过, 只有一个PeerFS的东东. 但是是收费的.

如果IO不是很大量的话, 可以试着用NFS.

作者: jerrywjl 时间: 2008-07-22 22:53
我建议还是提供一个共享存储，但是这个共享存储是服务器上的一个比较大的磁盘空间通过ISCSI共享。
而MAIL1和MAIL2是该服务器上的两个虚拟机，这样成本就可以下来。当然这台服务器上的性能要足够强。

作者: nntp 时间: 2008-07-22 23:27

原帖由 jerrywjl 于 2008-7-22 22:53 发表
我建议还是提供一个共享存储，但是这个共享存储是服务器上的一个比较大的磁盘空间通过ISCSI共享。
而MAIL1和MAIL2是该服务器上的两个虚拟机，这样成本就可以下来。当然这台服务器上的性能要足够强。

正解.

作者: signmem 时间: 2008-07-22 23:57

原帖由 nntp 于 2008-7-22 23:27 发表

正解.

必须用两个电脑。防止硬件有问题啊。。。。硬件有问题就算你的硬件再强，流量再好也白说。

作者: signmem 时间: 2008-07-22 23:59

原帖由 happy_fish100 于 2008-7-22 17:07 发表
可以试试FastDFS，一个开源的轻量级分布式文件存储系统。
官方网址：http://www.csource.org/
google code下载地址：http://code.google.com/p/fastdfs/downloads/list

OH 。原来是官方副版主~~
先感谢你们的自由软件，但希望能够在软件的安装配置使用文档及开发文档上花点功夫，增强可读性

^__^ 有时间我给你一个反馈。

[ 本帖最后由 signmem 于 2008-7-23 00:23 编辑 ]

作者: signmem 时间: 2008-07-23 00:00

原帖由 micheas.liao 于 2008-7-22 19:23 发表
集群文件同步问题，可以试一下csync2，或者tsync，很久之前捣鼓了一阵，感觉还可以。要做到实时同步有点困难，不过可以看一下Linux内核提供的inotify事件触发机制，以及incron（不知是不是这样拼了，这个东东类 ...

如果不是实时同步没有意义。。
因为在可能需要同时在一个文件上进行追加，不实时会数据丢失

作者: signmem 时间: 2008-07-23 00:02

原帖由 q1208c 于 2008-7-22 22:47 发表
目前没有free的合适东东.

前几天找过, 只有一个PeerFS的东东. 但是是收费的.

如果IO不是很大量的话, 可以试着用NFS.

nfs 只能够在一个电脑上写入，怎么样才能够在一个电脑的硬件死掉之后能够切换呢？？？
而且 NFS 中的数据也存在不同步的现象

比如 a 中 /var/spool/mail ----nfs export ---> b /var/spool/mail
A 硬件坏了。。。 b 中的数据也没有了

作者: kns1024wh 时间: 2008-07-24 08:49

原帖由 happy_fish100 于 2008-7-22 17:07 发表
可以试试FastDFS，一个开源的轻量级分布式文件存储系统。
官方网址：http://www.csource.org/
google code下载地址：http://code.google.com/p/fastdfs/downloads/list

http://hadoop.apache.org/

这个也是适合的
What Is Hadoop?The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing, including:

Hadoop Core, our flagship sub-project, provides a distributed filesystem (HDFS) and support for the MapReduce distributed computing metaphor.
HBase builds on Hadoop Core to provide a scalable, distributed database.

作者: signmem 时间: 2008-07-24 09:49

原帖由 kns1024wh 于 2008-7-24 08:49 发表

 http://hadoop.apache.org/

这个也是适合的
What Is Hadoop?The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing, including:
Hadoop Core, ...

请问网页服务器上的数据同步能够用在邮件服务器吗？
我先顶再看。

昨天那个 HAPPY FISH 的软件就什么都干不了，光学习搭了一个什么都做不了的服务器出来，根本没有客户端能够进行同步。。。浪费了我一天时间。
APACHE 至少大公司，信心好多了。

作者: happy_fish100 时间: 2008-07-24 12:54
标题: 回复 #12 signmem 的帖子
目前FastDFS主要还是定位于多媒体文件存储，适用范围相对窄一些。对于解决多媒体文件的大容量存储和高访问量问题，是一个轻量级的解决方案。
后续会考虑做一个比较通用的分布式文件系统，可以mount上来使用。

作者: happy_fish100 时间: 2008-07-24 12:56
标题: 回复 #12 signmem 的帖子
Hadoop主要是一个并行计算平台，其集群存储的目的主要是为了解决并行计算的问题。你可以试试看是否适合。

作者: q1208c 时间: 2008-07-24 20:38
NFS服务器可以做成HA方式的.

作者: kns1024wh 时间: 2008-07-25 19:46

原帖由 signmem 于 2008-7-24 09:49 发表

请问网页服务器上的数据同步能够用在邮件服务器吗？
我先顶再看。

昨天那个 HAPPY FISH 的软件就什么都干不了，光学习搭了一个什么都做不了的服务器出来，根本没有客户端能够进行同步。。。浪费了我一 ...

这个是文件系统
不是什么网页的数据同步
你好好理解一下这个LJ

作者: signmem 时间: 2008-07-28 22:37

原帖由 q1208c 于 2008-7-24 20:38 发表
NFS服务器可以做成HA方式的.

具体一点好吗？？

作者: system888net 时间: 2008-07-29 12:47
建议LZ先评估一下自己的系统读和写的量的情况,如写也很频繁,建议不要用同步的方式,否则多节点的优势就出不来了.

作者: micheas.liao 时间: 2008-08-02 13:58
标题: 回复 #1 signmem 的帖子
或许你应该从你的程序出发，来合理利用两台服务器。
比如，写邮件的时候，同时写到两台服务器，得到确认后才认为写邮件完成。读的时候就从一台服务器读。

有或者DRDB和glusterfs也是不错的解决方法，看你怎么用了。

作者: 西山晴雪 时间: 2008-11-13 13:40
我在实际测试中发现glusterfs存在cpu和负载太高的问题。基本上不能在生产环境中使用。有人在生产环境中使用过glusterfs吗。

作者: lanlei226 时间: 2011-03-10 17:26
回复 4# q1208c

请问你知道哪里有PeerFS的资料吗？我找了好久。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)