求大量小图片存储方案

yuhuohu

我不懂，200t，用iscsi存储挺好，不过关键是文件太多。。。我也不懂了

yuhuohu

揭秘淘宝286亿海量图片存储与处理架构


偶采访淘宝的文章可以参考下的哦亲，淘宝用的分布式文件系 ...
夜的小宇宙 发表于 2011-06-01 14:02

    好厉害呀亲，页面打不开哦亲

bbjmmj

回复  bbjmmj
现在是为了解决存储这些小图片的问题。目前所有图片的地址路径是保存在数据库里面
flysever 发表于 2011-06-01 08:41

    reiserfs处理小文件速度比较快，我试过GLUSTERFS +REISERFS，挺HIGH的。
    外网读取图片，要做SQUID反向代理，SQUID节点内存要大，使用插卡式固态盘，这样性能会很好，价格也在可接受的范围之内。实际上这样一搞之后，数据被分成三级，内存、固态盘和硬盘，再结合集群文件系统和REISERFS，性能会很不错，不过系统结构多少有点让人头大。

missing-cn

硬件存储采用NAS来处理吧 ， 访问通过nfs或者cifs。

yueliusha

集群存储吧……GFS之类的。应对海量小图片有优势……

看看http://www.loongstore.com.cn/index.action这个吧。这个便宜……国产的。

milujite

最近看BTRFS的文档，对海量文件的搜索比传统的线性表文件系统据说看很多。楼主可以参考参考。ZFS应该也是有这样特性的

rtm009

有钱就gpfs这类的商业化的文件系统 没钱就自己找开源的分布式文件系统吧 前提是你自己能这个能力玩得转 有能力的话看看plan9的东西  到了一定层次就不单单是软件或者硬件的问题了 是整个构架的问题 最起码国内的环境没几个人能搞的定 不是没人 是没人让你做！

happy_fish100

即将发布FastDFS 3.0可以很好的解决LZ的问题。
详情参见：http://bbs.chinaunix.net/thread-1916943-1-1.html

fffaaafafa

图片，视频等文件经过压缩，多多少少对像素都有影响吧，如果单纯的存储的话，就布iSCSI的磁盘阵列，如果还有一些其他的需求，比如前端应用跨平台等，用NAS也可以，预算高的话还可以选集群NAS，以后扩容也方便。ashuntx@126.com 有兴趣的话私聊给你参谋参谋，呵呵