免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 存储备份 › 保存很多小文件，如何提高性能
123下一页
最近访问板块 发新帖
查看: 8107 | 回复: 20
打印 上一主题 下一主题

[RAID与磁盘阵列] 保存很多小文件，如何提高性能 [复制链接]

tangye

论坛徽章:
5
CU大牛徽章 日期:2013-09-18 15:16:55CU大牛徽章 日期:2013-09-18 15:18:22CU大牛徽章 日期:2013-09-18 15:18:432015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:45
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2012-05-24 15:30 |只看该作者 |倒序浏览
存储小文件，我觉得压力主要在文件系统上
wolfop

论坛徽章:
5
荣誉会员 日期:2011-11-23 16:44:17CU大牛徽章 日期:2013-09-18 15:15:15CU大牛徽章 日期:2013-09-18 15:15:45未羊 日期:2014-02-25 14:37:19射手座 日期:2014-12-26 22:55:37
2楼 [报告]
发表于 2012-05-24 15:52 |只看该作者
没啥太好的办法，弄多几个文件系统保存。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
tangye

论坛徽章:
5
CU大牛徽章 日期:2013-09-18 15:16:55CU大牛徽章 日期:2013-09-18 15:18:22CU大牛徽章 日期:2013-09-18 15:18:432015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:45
3楼 [报告]
发表于 2012-05-24 16:40 |只看该作者
wolfop 发表于 2012-05-24 15:52
没啥太好的办法，弄多几个文件系统保存。


Linux下选择什么文件系统对大量小文件存储更合适呢？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wolfop

论坛徽章:
5
荣誉会员 日期:2011-11-23 16:44:17CU大牛徽章 日期:2013-09-18 15:15:15CU大牛徽章 日期:2013-09-18 15:15:45未羊 日期:2014-02-25 14:37:19射手座 日期:2014-12-26 22:55:37
4楼 [报告]
发表于 2012-05-24 21:14 |只看该作者
回复 3# tangye
以前来说reiserfs有明显优势，不过这个FS的老大都给关牢里面了，现在还真不知道。也许就用老的reiserfs 3.6.x吧。

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
tangye

论坛徽章:
5
CU大牛徽章 日期:2013-09-18 15:16:55CU大牛徽章 日期:2013-09-18 15:18:22CU大牛徽章 日期:2013-09-18 15:18:432015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:45
5楼 [报告]
发表于 2012-05-24 22:55 |只看该作者
回复 4# wolfop


   

    这么娱乐的消息？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
spook

论坛徽章:
1
操作系统版块每日发帖之星 日期:2016-02-18 06:20:00
6楼 [报告]
发表于 2012-05-25 16:02 |只看该作者
ZFS 怎么样？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
pingfan2

论坛徽章:
0
7楼 [报告]
发表于 2012-05-27 18:28 |只看该作者
wolfop 发表于 2012-05-24 21:14
回复 3# tangye
以前来说reiserfs有明显优势，不过这个FS的老大都给关牢里面了，现在还真不知道。也许就用 ...



呵呵
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
storm the front

论坛徽章:
0
8楼 [报告]
发表于 2012-05-28 16:06 |只看该作者
大量的小文件一般都用分布式的文件系统来处理，而且其结构一般都是对metadata有一定优化的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wolfop

论坛徽章:
5
荣誉会员 日期:2011-11-23 16:44:17CU大牛徽章 日期:2013-09-18 15:15:15CU大牛徽章 日期:2013-09-18 15:15:45未羊 日期:2014-02-25 14:37:19射手座 日期:2014-12-26 22:55:37
9楼 [报告]
发表于 2012-05-29 17:12 |只看该作者
分布式文件系统处理小文件优化？METADATA跨节点的同步很好玩么？
GPFS/CXFS/HDFS都是为大文件优化的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
rtm009

论坛徽章:
12
数据库技术版块每日发帖之星 日期:2015-07-08 22:20:00IT运维版块每日发帖之星 日期:2016-05-01 06:20:00IT运维版块每周发帖之星 日期:2016-03-07 16:27:44IT运维版块每月发帖之星 日期:2016-03-07 16:25:25IT运维版块每日发帖之星 日期:2016-02-21 06:20:00IT运维版块每日发帖之星 日期:2016-02-20 06:20:00数据库技术版块每日发帖之星 日期:2016-02-06 06:20:00IT运维版块每日发帖之星 日期:2016-01-30 06:20:00IT运维版块每日发帖之星 日期:2016-01-03 06:20:00IT运维版块每日发帖之星 日期:2015-11-29 06:20:00IT运维版块每日发帖之星 日期:2015-08-10 06:20:00数据库技术版块每日发帖之星 日期:2016-06-16 06:20:00
10楼 [报告]
发表于 2012-05-29 17:16 |只看该作者
看看所谓的tbfs的方案吧 我没记错的话是500台pc server 搞了一个所谓的小图片缓存
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP