免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3372 | 回复: 3
打印 上一主题 下一主题

[Lustre] 请大家看看我对Lustre中OST概念理解是否正确?? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-03-25 11:50 |只看该作者 |倒序浏览
在Lustre中,觉得OST这个概念很模糊,首先Manual中一开始会说“OST(Object Storage Target)”,一个OSS就是Object Storage Server,一个OSS可以挂载/管理多个OSTs这样,会让人误以为是真正存储数据对象的存储实体。

但是看到Lustre的一些Paper和性能机制探讨的论文,会看到这样一个解释:“OST处理所有底层存储和客户端数据请求,实际上,在OST和真正存储设备之间还有一个设备驱动层,该设备驱动层可以掩盖底层存储的特殊唯一性。通过利用现有的Linux文件系统和存储设备,可以使得Lustre能够灵活的将新存储技术和新的文件系统进行整合。”(Lustre: A Scalable, High-Performance File System Cluster File Systems, Inc. Page 3)—— 也就是说,OST是一个服务,它运行于OSS上,一个OSS上通过运行多个OST服务,可以提高吞吐并发量。

但是,但是。。。。继续回到Manual,看关于"File Strip"部分,说“一个文件可以通过命令设定Strip_Count 、Sripe_Size、Stripe_OST”—— 是说一个文件可以从起始号=Stripe_OST, 按照Sripe_Size大小,在Strip_Count个数的OSTs中被条带化。
这样的话,如果一个文件被stripe到一个OSS中,性能岂不是没有改善么?因为都是从一个服务器OSS上取得所有的数据块对象的。而这个OSS是可以有多个OSTs的。

上面的疑惑不知道是否说清楚了,希望有在这方面了解的大侠帮忙说说对OST的理解。谢谢!

请问一个OSS中到底默认有多少个OST呢?每个OST默认管理的磁盘容量大小到底多大?

论坛徽章:
0
2 [报告]
发表于 2008-03-26 02:20 |只看该作者
如果一个文件被stripe到一个oss上的多个ost,并且这多个ost不在同一个控制器下,是有性能的提升的。否则若ost在同一个控制器下,应该。。。没有升升。

一个oss中没有默认多少个ost的概念,你挂多少个ost分区就有多少个ost。

ost的容量限制,没有核实手册。不过,我估计限制在底层的文件系统。至少,一个ost用6T是没有问题的(至少我没有碰到问题)

论坛徽章:
0
3 [报告]
发表于 2008-03-26 08:57 |只看该作者
=============cut from lustre's manual================
1.3.3 OSTs

An OST provides back-end storage for file object data (effectively, chunks of user files). Typically, multiple OSTs provide access to different file chunks. The MDT tracks the location of the chunks. On a node serving OSTs, an Object Storage Server (OSS) component provides the network request handling for one or more local OSTs.
===================================================================

Is the above desc. not clear enough to you ?

About the OST limitation:

Did you ever read the official Lustre manual carefully? Or did you every read it ?????
In the manual Chapter 33.6 :
=================cut from Lustre manual====================================
33.6 Maximum Size of a Filesystem

For i386 systems in 2.6 kernels, the block devices are limited to 16 TB. Each OST or MDS can have a filesystem up to 8 TB (For 2.6 kernels, the 8 TB limit is imposed by ext3). You can have multiple OST filesystems on a single node. Currently, the largest production Lustre filesystem has 448 OSTs in a single filesystem. There is a compile-time limit of 8150 OSTs in a single filesystem, giving a theoretical filesystem limit of nearly 64 PB.

Several production Lustre filesystems have around 100 OSSs in a single filesystem. The largest filesystem in production is at least 1.3 PB (184 OSTs). All these facts indicate that Lustre would scale just fine if more hardware is made available.
=============================================================

I suggest you put things down and open your browser , download the manual, read it (at least 10 times).Then you'll not waste our time to do "copy & paste" here!!

论坛徽章:
0
4 [报告]
发表于 2008-04-07 23:45 |只看该作者
I suggest you put things down and open your browser , download the manual, read it (at least 10 times).Then you'll not waste our time to do "copy & paste" here!!

同意您的说法,现在很多人英文功底不咋滴,看manual也是囫囵半片的,就像我也是这样的。所以多看看manual是好事,而且manual也在不断的更新。或者去翻翻官方的maillist!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP