Chinaunix

标题: 求大量小图片存储方案 [打印本页]

作者: flysever 时间: 2011-05-31 09:54
标题: 求大量小图片存储方案
大家好，公司以前的生产环境，直接在服务器硬盘上存储小图片。每个图片200KB左右。现在随着业务发展，小图片越来越多，在服务器上直接存储的劣式越来越明显。管理不方便，性能低下。请教大家有没有好的解决方案，谢谢。数据大概有200TB

作者: yoyosys 时间: 2011-05-31 13:55
那要看你公司拿的出多少钱来升级了

作者: flysever 时间: 2011-05-31 18:51
我所了解的一是走分布式文件系统。还有一种说法，说是用数据库存储，没有更多的接触。用太高端的存储肯定不划算。

作者: opl001 时间: 2011-05-31 19:09
可以考虑用SYBASE IQ 数据库存储，200T数据估计能压缩到100T

作者: bbjmmj 时间: 2011-05-31 22:05

大家好，公司以前的生产环境，直接在服务器硬盘上存储小图片。每个图片200KB左右。现在随着业务发展，小图片 ...
flysever 发表于 2011-05-31 09:54

一个图片200K，200TB是10亿个图片，性能主要取决于索引机制和网络架构。

作者: flysever 时间: 2011-06-01 08:41
回复 5# bbjmmj
现在是为了解决存储这些小图片的问题。目前所有图片的地址路径是保存在数据库里面

作者: 夜的小宇宙 时间: 2011-06-01 14:02

大家好，公司以前的生产环境，直接在服务器硬盘上存储小图片。每个图片200KB左右。现在随着业务发展，小图片 ...
flysever 发表于 2011-05-31 09:54

揭秘淘宝286亿海量图片存储与处理架构
http://storage.it168.com/a2010/0829/1096/000001096373_all.shtml

偶采访淘宝的文章可以参考下的哦亲，淘宝用的分布式文件系统哦亲，应该是开源的哦亲

作者: flysever 时间: 2011-06-01 22:18
回复 7# 夜的小宇宙
淘宝的我们在做试验，文档很少，有些还没有搞明白

作者: chnod 时间: 2011-06-02 22:25
采用分级存储方式可以实现。另外不建议采用虚拟存储和存储压缩技术，这些技术虽然能够保证存储的利用率，但会改变原有图片的分辨率，提取的数据与源数据会有差别。

作者: 衍水狂客 时间: 2011-06-02 22:38
TFS太猛了点了吧

作者: yuhuohu 时间: 2011-06-07 15:30
我不懂，200t，用iscsi存储挺好，不过关键是文件太多。。。我也不懂了

作者: yuhuohu 时间: 2011-06-07 15:44

揭秘淘宝286亿海量图片存储与处理架构

偶采访淘宝的文章可以参考下的哦亲，淘宝用的分布式文件系 ...
夜的小宇宙发表于 2011-06-01 14:02

好厉害呀亲，页面打不开哦亲

作者: bbjmmj 时间: 2011-06-07 23:02

回复 bbjmmj
现在是为了解决存储这些小图片的问题。目前所有图片的地址路径是保存在数据库里面
flysever 发表于 2011-06-01 08:41

reiserfs处理小文件速度比较快，我试过GLUSTERFS +REISERFS，挺HIGH的。
外网读取图片，要做SQUID反向代理，SQUID节点内存要大，使用插卡式固态盘，这样性能会很好，价格也在可接受的范围之内。实际上这样一搞之后，数据被分成三级，内存、固态盘和硬盘，再结合集群文件系统和REISERFS，性能会很不错，不过系统结构多少有点让人头大。

作者: missing-cn 时间: 2011-06-09 17:55
硬件存储采用NAS来处理吧，访问通过nfs或者cifs。

作者: yueliusha 时间: 2011-06-10 16:54
集群存储吧……GFS之类的。应对海量小图片有优势……

看看http://www.loongstore.com.cn/index.action这个吧。这个便宜……国产的。

作者: 便恢复 时间: 2011-06-12 18:38
提示: 作者被禁止或删除内容自动屏蔽

作者: milujite 时间: 2011-06-12 18:43
最近看BTRFS的文档，对海量文件的搜索比传统的线性表文件系统据说看很多。楼主可以参考参考。ZFS应该也是有这样特性的

作者: rtm009 时间: 2011-06-12 20:47
有钱就gpfs这类的商业化的文件系统没钱就自己找开源的分布式文件系统吧前提是你自己能这个能力玩得转有能力的话看看plan9的东西到了一定层次就不单单是软件或者硬件的问题了是整个构架的问题最起码国内的环境没几个人能搞的定不是没人是没人让你做！

作者: happy_fish100 时间: 2011-06-17 11:38
即将发布FastDFS 3.0可以很好的解决LZ的问题。
详情参见：http://bbs.chinaunix.net/thread-1916943-1-1.html

作者: fffaaafafa 时间: 2011-06-17 12:23
图片，视频等文件经过压缩，多多少少对像素都有影响吧，如果单纯的存储的话，就布iSCSI的磁盘阵列，如果还有一些其他的需求，比如前端应用跨平台等，用NAS也可以，预算高的话还可以选集群NAS，以后扩容也方便。ashuntx@126.com 有兴趣的话私聊给你参谋参谋，呵呵

作者: flynetcn 时间: 2014-06-03 14:36
3年了情况有改变吗？

作者: misihua 时间: 2014-06-04 11:18
我觉得这情况不会有多少改变。
小文件的写入速度对阵列来说都是慢。

解决办法就是分多路写，也就是多台阵列，买便宜的国产设备。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)