免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 存储备份 › 小文件归档，存储量不断扩大，有没有什么好的解决方法？
123下一页
最近访问板块 发新帖
查看: 9585 | 回复: 23
打印 上一主题 下一主题

[归档与迁移] 小文件归档，存储量不断扩大，有没有什么好的解决方法？ [复制链接]

小的时候

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2011-02-21 18:43 |只看该作者 |倒序浏览
我们公司的应用系统，都是不到1MB的小文件，每天都增长10-50GB，历史数据又不能删除，存储不断的扩容，许多历史数据访问次数很少，占用磁盘空间太大，这样对磁盘空间造成很大浪费，有没有什么好的解决方法？
存储, 归档, 存储, 归档
michael1983

论坛徽章:
10
处女座 日期:2015-01-22 16:08:50技术图书徽章 日期:2018-09-13 11:25:52技术图书徽章 日期:2018-09-13 11:25:45技术图书徽章 日期:2018-09-13 11:25:37技术图书徽章 日期:2018-09-13 11:25:29黑曼巴 日期:2018-06-04 09:03:192017金鸡报晓 日期:2017-01-10 15:19:56极客徽章 日期:2016-12-07 14:03:402015年迎新春徽章 日期:2015-03-04 09:50:28技术图书徽章 日期:2018-09-13 11:26:01
2楼 [报告]
发表于 2011-02-21 19:07 |只看该作者
考虑归档
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chnod

论坛徽章:
0
3楼 [报告]
发表于 2011-02-21 19:35 |只看该作者
本帖最后由 chnod 于 2011-02-21 19:39 编辑

CDP+归档+DD（去重及数据压缩或者存储虚拟，前提是数据不是图片和多媒体）

CH-DRS可以将非媒体数据压缩3-15倍，存储可以虚拟成10倍以上，也就是说，在压缩数据的同时，可以将1T的存储虚拟成10T空间来用
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
deadwind

论坛徽章:
0
4楼 [报告]
发表于 2011-02-21 20:25 |只看该作者
NAS
归档
文件级的自动存储分层
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
100心

论坛徽章:
3
CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2015-09-04 06:20:00数据库技术版块每日发帖之星 日期:2015-11-24 06:20:00
5楼 [报告]
发表于 2011-02-21 22:57 |只看该作者
ls 正解。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ry715

论坛徽章:
0
6楼 [报告]
发表于 2011-02-22 09:27 |只看该作者
用NAS和分级存储对于存储容量的增长肯定也不能完全控制，所以采用具有重删功能的存储应该是一个相对来说比较好的方法，知道的是的NETAPP的NAS具有重删功能，至于效果就不甚了解了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
100心

论坛徽章:
3
CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2015-09-04 06:20:00数据库技术版块每日发帖之星 日期:2015-11-24 06:20:00
7楼 [报告]
发表于 2011-02-22 09:32 |只看该作者
emc 说新的nas好像也带重删了？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
衍水狂客

论坛徽章:
0
8楼 [报告]
发表于 2011-02-23 08:45 |只看该作者
D2D2T？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ry715

论坛徽章:
0
9楼 [报告]
发表于 2011-02-23 09:12 |只看该作者
D2D2T就是如果要做访问的话，还需要恢复一次，但也可以算一个方案
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
田头地角

论坛徽章:
0
10楼 [报告]
发表于 2011-02-25 07:13 |只看该作者
我们公司的应用系统，都是不到1MB的小文件，每天都增长10-50GB，历史数据又不能删除，存储不断的扩容，许多 ...
小的时候 发表于 2011-02-21 18:43


可以通过分级存储的方式将历史文件归档到廉价存储或磁带库上，在线存储上只保留最近一年的数据。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP