免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 存储备份 › 求助：如何实现大量文件接收
12下一页
最近访问板块 发新帖
查看: 3246 | 回复: 10
打印 上一主题 下一主题

求助：如何实现大量文件接收 [复制链接]

olivenan

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2010-05-24 11:37 |只看该作者 |倒序浏览
想采用NAS架构实现大量文件接收（每天200W个文件，文件大小<100K），以后还会增加。
文件接收方式：ftp
请问要满足这个需求，对存储有哪些要求？
帮忙给推荐几款以及报价。

谢谢
saintdragon

论坛徽章:
0
2楼 [报告]
发表于 2010-05-24 13:22 |只看该作者
每天200G数据，一年就是70TB多数据！
够多的！
楼主只是解决接收问题吗？规划多长时间的容量？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
michael1983

论坛徽章:
10
处女座 日期:2015-01-22 16:08:50技术图书徽章 日期:2018-09-13 11:25:52技术图书徽章 日期:2018-09-13 11:25:45技术图书徽章 日期:2018-09-13 11:25:37技术图书徽章 日期:2018-09-13 11:25:29黑曼巴 日期:2018-06-04 09:03:192017金鸡报晓 日期:2017-01-10 15:19:56极客徽章 日期:2016-12-07 14:03:402015年迎新春徽章 日期:2015-03-04 09:50:28技术图书徽章 日期:2018-09-13 11:26:01
3楼 [报告]
发表于 2010-05-24 13:26 |只看该作者
啥应用啊这是
真是海量。。。
预算多少？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
olivenan

论坛徽章:
0
4楼 [报告]
发表于 2010-05-24 13:40 |只看该作者
本帖最后由 olivenan 于 2010-05-24 13:43 编辑

只解决接收问题，数据不会保存很长时间，2TB存储空间足矣
想知道哪种类型存储能够满足需求？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
saintdragon

论坛徽章:
0
5楼 [报告]
发表于 2010-05-24 13:46 |只看该作者
楼主不会也是要接收上海世博会的监控图片吧？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
olivenan

论坛徽章:
0
6楼 [报告]
发表于 2010-05-24 14:04 |只看该作者
不是，跟世博没关系，呵呵
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yuxiao_zhao

论坛徽章:
0
7楼 [报告]
发表于 2010-05-24 14:57 |只看该作者
说一下文件接收的时间规律吧

是一天24小时均匀的接收文件总量到200w个
还是在某个时间段收大量文件其它时间几乎不收文件

如果是第一种情况，平均到每秒也就收几十个文件，几乎任意一个成熟的NAS产品都能做到，2TB的话用低端产品走iSCSI，10w都绰绰有余

如果是第二种情况，那具体问题具体分析了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
olivenan

论坛徽章:
0
8楼 [报告]
发表于 2010-05-24 15:32 |只看该作者
是第一种情况，某个时间段接收大量文件最大5000个/S，其它时间少几十个/S
总共有3-5千台设备通过ftp上传，最大并发为5000个写。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
michael1983

论坛徽章:
10
处女座 日期:2015-01-22 16:08:50技术图书徽章 日期:2018-09-13 11:25:52技术图书徽章 日期:2018-09-13 11:25:45技术图书徽章 日期:2018-09-13 11:25:37技术图书徽章 日期:2018-09-13 11:25:29黑曼巴 日期:2018-06-04 09:03:192017金鸡报晓 日期:2017-01-10 15:19:56极客徽章 日期:2016-12-07 14:03:402015年迎新春徽章 日期:2015-03-04 09:50:28技术图书徽章 日期:2018-09-13 11:26:01
9楼 [报告]
发表于 2010-05-24 15:42 |只看该作者
这种情形带宽够，就可以满足楼主要求
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
olivenan

论坛徽章:
0
10楼 [报告]
发表于 2010-05-24 15:49 |只看该作者
带宽够，就是怕一般的存储扛不住会挂掉
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP