请教，存储空间的优化分配问题？

dwilson

要从emc cx4-480存储分一个2.5T的空间给linux系统，是分一个2.5T的lun，还是分5个500G的lun好？

zhaopingzi

那看你的raid是如何做了；如何一个2.5T是在一个raidgroup里，那么性能就不如分布在5个raidgroup里的5个500G好！

chenyx

你的需求是啥,如果需要一个大容量的分区,还是500+2T吧

dwilson

存储上用9块1TB的硬盘建了raid5，需要从中分2.5T给一个系统用，之前是划分一个2.5T的lun分配给服务器，但前几天这个文件系统的文件出问题，造成文件系统写保护，用fsck后还是有问题，需要重建文件系统。现在是希望在存储上划分5个lun,每个500G，然后分配给服务器，在操作系统上将5个lun组合成一个vg，再建立一个2.5T的文件系统。

q1208c

回复 4# dwilson


这又何必呢?

直接一个 2.5T就行了呀. 你分成5个, 再跑到Linux上做一个 vg, 我觉得性能未必真的会好.

如果文件系统写保护, 一般是 日志出现了不一致的情况, 你最好看一下系统的 dmesg, 应该有报错出来, 可能是HBA卡或光纤交换机什么的有问题也说不定.


如果是这样, 你就算分200G也一样报错.

dwilson

我把messages的一些内容贴下来，麻烦大家帮忙分析一下
重起后，有很多这些提示
Nov 13 13:36:33 mailserver1 kernel: end_request: I/O error, dev sdc, sector 0
Nov 13 13:36:33 mailserver1 kernel: Buffer I/O error on device sdc, logical block 0
Nov 13 13:36:33 mailserver1 kernel: sd 8:0:0:0: Device not ready: <6>: Current: sense key: Not Ready
Nov 13 13:36:33 mailserver1 kernel:     Add. Sense: Logical unit not ready, manual intervention required

还有以下这些也不少
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999
Nov 13 17:15:30 mailserver1 kernel: Aborting journal on device sdb1.
Nov 13 17:15:30 mailserver1 kernel: ext3_abort called.
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_journal_start_sb: Detected aborted journal
Nov 13 17:15:30 mailserver1 kernel: Remounting filesystem read-only
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1) in ext3_reserve_inode_write: Journal has aborted
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1) in ext3_truncate: Journal has aborted
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1) in ext3_reserve_inode_write: Journal has aborted
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1) in ext3_orphan_del: Journal has aborted
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1) in ext3_reserve_inode_write: Journal has aborted
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164708932 in dir #164708363
Nov 13 17:15:30 mailserver1 kernel: EXT3-fs error (device sdb1) in ext3_ordered_write_end: IO failure
Nov 13 17:15:30 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 last message repeated 14 times
Nov 13 17:15:31 mailserver1 kernel: journal commit I/O error
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 last message repeated 2 times
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 last message repeated 4 times
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 last message repeated 2 times
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 last message repeated 2 times
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 last message repeated 5 times
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_committed_data
Nov 13 17:15:31 mailserver1 kernel: __journal_remove_journal_head: freeing b_frozen_data
Nov 13 17:15:31 mailserver1 last message repeated 3 times
Nov 13 17:18:31 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999
Nov 13 17:19:23 mailserver1 clamd[3857]: No stats for Database check - forcing reload
Nov 13 17:19:24 mailserver1 clamd[3857]: Reading databases from /var/clamav
Nov 13 17:19:28 mailserver1 clamd[3857]: Database correctly reloaded (1323980 signatures)
Nov 13 17:21:32 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999
Nov 13 17:24:32 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999
Nov 13 17:27:33 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999
Nov 13 17:29:28 mailserver1 clamd[3857]: SelfCheck: Database status OK.
Nov 13 17:30:34 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999
Nov 13 17:33:34 mailserver1 kernel: EXT3-fs error (device sdb1): ext3_lookup: unlinked inode 164724814 in dir #164724999

dengbao2001

说实话，我也遇到和楼主差不多的问题

我的一个卷是2TB的，用作备份，也是经常发生损坏，有些文件没法读取了，有的时候用FSCK能修复，有的时候却无法修复。

我们用的CLVM，咨询过红帽，建议用HA-LVM，不过因为架构的问题，暂时无法更换

所以此问题还是经常发生。

dwilson

我们现在用ext3的格式，好像也不是很好的格式

dwilson

用CLVM或者HA-LVM这些好像是提高可靠性的方式吧？

dwilson

用fsck自动修复文件系统，挂载后显示很多问号，怎么处理啊？
?--------- ? ?        ?              ?          ? api
?--------- ? ?        ?              ?          ? bin
-rwxr-xr-x 1 coremail coremail 1495308 07-13 14:30 checkpasswd.pin
?--------- ? ?        ?              ?          ? conf
?--------- ? ?        ?              ?          ? gateway
?--------- ? ?        ?              ?          ? install
?--------- ? ?        ?              ?          ? java
?--------- ? ?        ?              ?          ? lib
?--------- ? ?        ?              ?          ? libexec
?--------- ? ?        ?              ?          ? logs
drwx------ 2 coremail coremail   16384 2012-02-02 lost+found
?--------- ? ?        ?              ?          ? mysql
?--------- ? ?        ?              ?          ? sbin
?--------- ? ?        ?              ?          ? upload
-rw-r--r-- 1 coremail coremail   63472 07-13 15:13 userlist
-rw-r--r-- 1 coremail coremail  137709 07-13 15:37 userpass_check.txt
?--------- ? ?        ?              ?          ? var
-rw-r--r-- 1 coremail coremail    8544 07-13 15:39 weakpass_user.txt
?--------- ? ?        ?              ?          ? web
?--------- ? ?        ?              ?          ? web_bak_2012-07-11
-rw-r--r-- 1 coremail coremail   16369 07-13 14:30 wordlist.txt