免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 存储备份 › 求大量小图片存储方案
123下一页
最近访问板块 发新帖
查看: 29153 | 回复: 21

[其他] 求大量小图片存储方案 [复制链接]

flysever

论坛徽章:
0
发表于 2011-05-31 09:54 |显示全部楼层
大家好，公司以前的生产环境，直接在服务器硬盘上存储小图片。每个图片200KB左右。现在随着业务发展，小图片越来越多，在服务器上直接存储的劣式越来越明显。管理不方便，性能低下。请教大家有没有好的解决方案，谢谢。数据大概有200TB
yoyosys

论坛徽章:
221
15-16赛季CBA联赛之吉林 日期:2017-12-11 12:51:59黑曼巴 日期:2019-04-12 13:40:0515-16赛季CBA联赛之广东 日期:2019-04-23 10:41:1215-16赛季CBA联赛之辽宁 日期:2019-05-06 13:03:2815-16赛季CBA联赛之山西 日期:2019-05-09 10:56:5815-16赛季CBA联赛之青岛 日期:2019-05-17 13:57:0515-16赛季CBA联赛之新疆 日期:2019-06-10 13:39:0515-16赛季CBA联赛之天津 日期:2019-07-08 15:04:4519周年集字徽章-19 日期:2019-08-27 13:31:2619周年集字徽章-19 日期:2019-08-27 13:31:2619周年集字徽章-周 日期:2019-09-06 18:46:4715-16赛季CBA联赛之天津 日期:2019-02-27 11:24:07
发表于 2011-05-31 13:55 |显示全部楼层
那要看你公司拿的出多少钱来升级了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flysever

论坛徽章:
0
发表于 2011-05-31 18:51 |显示全部楼层
我所了解的一是走分布式文件系统。还有一种说法，说是用数据库存储，没有更多的接触。用太高端的存储肯定不划算。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
opl001

论坛徽章:
0
发表于 2011-05-31 19:09 |显示全部楼层
可以考虑用SYBASE IQ 数据库存储，200T数据估计能压缩到100T
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
bbjmmj

论坛徽章:
9
技术图书徽章 日期:2014-10-14 15:48:13数据库技术版块每日发帖之星 日期:2015-06-04 22:20:00数据库技术版块每日发帖之星 日期:2015-06-10 22:20:00数据库技术版块每日发帖之星 日期:2015-06-11 22:20:00数据库技术版块每日发帖之星 日期:2015-06-13 22:20:00IT运维版块每日发帖之星 日期:2015-09-22 06:20:00IT运维版块每日发帖之星 日期:2015-12-08 06:20:00综合交流区版块每日发帖之星 日期:2016-02-02 06:20:00IT运维版块每日发帖之星 日期:2016-07-25 06:20:00
发表于 2011-05-31 22:05 |显示全部楼层
大家好，公司以前的生产环境，直接在服务器硬盘上存储小图片。每个图片200KB左右。现在随着业务发展，小图片 ...
flysever 发表于 2011-05-31 09:54



    一个图片200K，200TB是10亿个图片，性能主要取决于索引机制和网络架构。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flysever

论坛徽章:
0
发表于 2011-06-01 08:41 |显示全部楼层
回复 5# bbjmmj
现在是为了解决存储这些小图片的问题。目前所有图片的地址路径是保存在数据库里面
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
夜的小宇宙

论坛徽章:
0
发表于 2011-06-01 14:02 |显示全部楼层
大家好，公司以前的生产环境，直接在服务器硬盘上存储小图片。每个图片200KB左右。现在随着业务发展，小图片 ...
flysever 发表于 2011-05-31 09:54



揭秘淘宝286亿海量图片存储与处理架构
http://storage.it168.com/a2010/0829/1096/000001096373_all.shtml

偶采访淘宝的文章可以参考下的哦亲，淘宝用的分布式文件系统哦亲，应该是开源的哦亲
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flysever

论坛徽章:
0
发表于 2011-06-01 22:18 |显示全部楼层
回复 7# 夜的小宇宙
淘宝的我们在做试验，文档很少，有些还没有搞明白
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chnod

论坛徽章:
0
发表于 2011-06-02 22:25 |显示全部楼层
采用分级存储方式可以实现。另外不建议采用虚拟存储和存储压缩技术，这些技术虽然能够保证存储的利用率，但会改变原有图片的分辨率，提取的数据与源数据会有差别。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
衍水狂客

论坛徽章:
0
发表于 2011-06-02 22:38 |显示全部楼层
TFS太猛了点了吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP