免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 求推荐些存储“海量”小文件的分布式文件系统

最近访问板块

发新帖

查看: 3306 | 回复: 2

上一主题

下一主题

[其他] 求推荐些存储“海量”小文件的分布式文件系统 [复制链接]

论坛徽章:: 14

水瓶座
日期:2014-06-10 09:51:02

15-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:35

15-16赛季CBA联赛之八一
日期:2017-04-12 14:26:28

15-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:12

15-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58

程序设计版块每日发帖之星
日期:2016-02-11 06:20:00

程序设计版块每日发帖之星
日期:2016-02-09 06:20:00

15-16赛季CBA联赛之上海
日期:2015-12-25 16:40:35

15-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36

程序设计版块每日发帖之星
日期:2015-08-24 06:20:00

2015亚冠之德黑兰石油
日期:2015-08-07 09:57:30

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2017-11-22 10:27 |只看该作者 |倒序浏览

千万左右的小文件，大小基本小于1KB，存储简单，全写全读
HDFS不太合适，即便其推出了一些个合并工具

性能达到每秒10k级别的读写就够了

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2017-11-22 11:25 |只看该作者

试试GoogleFS，MogileFS, 还有国内的fastDFS。
另外，如果小文件不要求直接读写，可以读出来放到mongodb里。
每秒10k，有个leverdb能充分利用SSD。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 14

水瓶座
日期:2014-06-10 09:51:02

15-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:35

15-16赛季CBA联赛之八一
日期:2017-04-12 14:26:28

15-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:12

15-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58

程序设计版块每日发帖之星
日期:2016-02-11 06:20:00

程序设计版块每日发帖之星
日期:2016-02-09 06:20:00

15-16赛季CBA联赛之上海
日期:2015-12-25 16:40:35

15-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36

程序设计版块每日发帖之星
日期:2015-08-24 06:20:00

2015亚冠之德黑兰石油
日期:2015-08-07 09:57:30

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

3楼 [报告]

发表于 2017-11-22 15:12 |只看该作者

本帖最后由 lxyscls 于 2017-11-22 15:26 编辑

回复 2# sxcong

gfs是闭源的吧，开源的hdfs明确说明不是很适合小文件，且其合并的解决方案也用不上
mogile和fastdfs活跃度太低，心有戚戚

本来就是用mongo存二进制的，但是总觉得这种用文档数据库存binary的方式很蛋疼，还不如直接存文件系统
leveldb性能看起来杠杠的，但是没办法在多进程环境中用呀，分布式多机就更别想了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › C/C++ › 求推荐些存储“海量”小文件的分布式文件系统

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP