2014春节技术讨论之---文件系统那点事儿（获奖名单已公布-2014-3-26）

qaz362008

lol

godsad

个人观点未来是scale-out和DFS的.BigData时代底层文件系统已然成为令人景仰的IT基石.

祝大家新年一马当先

sz-panda

没学过，希望有共享，

kkddkkdd11

) 这本书 我买了 还没有翻看呢
冲作者的名气 买的

kkddkkdd11

一只嗡嗡的苍蝇 发表于 2014-01-28 14:42
http://www.amazon.com/Linux-File-Systems-Moshe-Bar/dp/0072129557

有可能是这本，我也记不清了。因为 ...

这本书 我看过 中文版 2.4内核的
：）

jsj020107

不做系统开发，没怎么了解具体的文件系统

to407

讨论话题：
1. 聊聊自己对文件系统的了解以及实际应用
2. 谈谈如何保证文件系统的可靠性
3. 讨论下互联网那些超大存储应用的设计思路或者实践方法。


我实际工作中 文件 系统 一是标准的ext3/4和zfs, 还有更多的会处理 集群文件系统问题。
举Oracle ACFS为例子，就是在存储上层做的 对集群节点间同步和高性能文件系统， 但这样的文件系统，及其存储优化，是针对具体产品的， 是对于oracle rdbms的一个底层补充。

从文件系统的可靠性  这一点上讲，最主要的是 就是 保障数据的安全。
这一点 在很大程度上讲，是以 牺牲 性能为代价的， 基本上目前看到的案例都是这样子。
像NoSQL本身，就是一种存储的扩展，文件存储放在NoSQL平台上， 从普通文件系统扩展开来，放弃了ACID约束，这对于文本和视频文件来说，也是可以接受的。

超大存储的话，要解决的是如何快速地存取数据， 如何解决读写异步同步问题，如何放大拓扑后保证集群仍然工作。。。
看openstack目前做的事，其实可以认为， 像可靠性如metadata的维护，这些可以在文件系统之外来做， 像同步异步交给时钟或者dispatcher去做， 这样文件系统就简单多了。

to407

这边有人 在做 nosql embedded into local fs么？

lsstarboy

一只嗡嗡的苍蝇 发表于 2014-02-07 22:07
不过linux上文件系统的性能最近若干年都似乎比bsd要强的。
所以比ufs2好其实也没什么。

bsd上的zfs性能确实比较强，没做过具体的对比，感觉不会差。

ruochen

1. 聊聊自己对文件系统的了解以及实际应用
文件系统感觉博大精深，IO诊断是很重要的一项，因为大多数的应用汇卡在IO能力者以环节

2. 谈谈如何保证文件系统的可靠性
冗余吧，RAID，DRBD，DFS类的冗余策略

3. 讨论下互联网那些超大存储应用的设计思路或者实践方法。
这几年随着互联网的一些需求，DFS的需求很大，一类是支持fuse能mount的，一类是分布式的*DFS类
目前自己在试用FastDFS