走进架构新思维--分布式文件系统应如何设计

heguangwu

GlusterFS确实有好的地方，但不好地方是遍历整个目录时比较麻烦并且不支持模糊查询文件名，此外，有一些独特的应用是需要不停的list目录，这种方式GlusterFS就不那么好了，而且中心节点master的这种方式也扛不住
回复 6# T-Bagwell


   

heguangwu

回复 8# myworkstation


   

lyhabc

又是大数据的话题  

T-Bagwell

heguangwu 发表于 2015-07-28 20:56
GlusterFS确实有好的地方，但不好地方是遍历整个目录时比较麻烦并且不支持模糊查询文件名，此外，有一些独特 ...

默认的肯定不好用，需要优化很多地方
比如根据需求加一个metadata的xlator  rebalance可以优化一下  dht xlator可以优化一下

renxiao2003

回复 4# vermouth


    我全都要了。没有你的伞了。哈哈。

niao5929

我相信分布式系统肯定是未来，因为不可能存在一个机器能解决所有问题，就像永动机不存在一样。
分布式系统最怕的就是出现骆驼背水那样的困局。这需要更多的算法已经性能来支持，所以我也对所谓的“云”充满疑惑。如果以细胞节点机为中心，那么分布式系统进化的方向一是细胞节点机性能本身的不断提高。二是细胞节点机之间数据传输的性能需要不断提高。
分布式系统必然关联的技术就是集群以及并行计算。目的是从更大的粒度上来提高信息处理和计算性能，但这本身需要解决许多自身的问题。计算机技术很多时候其实就是为了解决计算机本身的技术而产生的技术。

renxiao2003

已经转发朋友圈，坐等徽章。

vermouth

回复 15# renxiao2003

鄙视。。。

hiyachen

1、异构存储（磁盘、SSD、内存）以及冷温热数据存储架构您觉得如何设计？比如数据热度由热到温最后到冷，对应的存储如何自适应的将数据转换和保存？

2、有的应用读写并发并不大，而对元数据的操作确异常频繁，如何设计一个以读为主的元数据服务架构或者设计一个以写为主的元数据服务架构？

3、当前无论是CEPH还是GFS，都存在IO路径过长的问题，有什么方法能缓解这种情况?
    ceph存储比不上硬件存储。问题很多呀。

4、使用分布式文件系统后，如何快速的检索数据？
     分布式检索。内存数据库检索，热词预处理检索。

5、云存储的数据分享、隔离和安全性怎么做？

6、你对IT架构的发展前景怎么看？有什么新的想法吗？

renxiao2003

回复 18# vermouth


    呵呵。你也全要啊。