SUN cluster ufs文件系统修改inode没变化

baixianglu

坏境两台SPARC T5-2
ST2540 M2 + 两台扩展柜
Cluster版本：Sun cluster 3.3u2
操作系统版本：Solaris 10 U11  ufs的文件系统


报错log
bash-3.2# more /var/adm/messages
Feb 18 08:28:16 TY-DT-LTE-OMC1 ftpd[21814]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 08:28:16 TY-DT-LTE-OMC1 ftpd[21816]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 08:28:16 TY-DT-LTE-OMC1 ftpd[21817]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 11:19:07 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:23:37 TY-DT-LTE-OMC1 last message repeated 6487 times
Feb 18 11:23:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:30:17 TY-DT-LTE-OMC1 last message repeated 9944 times
Feb 18 11:30:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:36:57 TY-DT-LTE-OMC1 last message repeated 10064 times
Feb 18 11:36:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:43:37 TY-DT-LTE-OMC1 last message repeated 9858 times
Feb 18 11:43:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:50:17 TY-DT-LTE-OMC1 last message repeated 10308 times
Feb 18 11:50:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:56:57 TY-DT-LTE-OMC1 last message repeated 9530 times
Feb 18 11:56:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:03:37 TY-DT-LTE-OMC1 last message repeated 9992 times
Feb 18 12:03:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:10:17 TY-DT-LTE-OMC1 last message repeated 10384 times
Feb 18 12:10:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:16:57 TY-DT-LTE-OMC1 last message repeated 9231 times
Feb 18 12:16:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:23:37 TY-DT-LTE-OMC1 last message repeated 10091 times
Feb 18 12:23:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:30:18 TY-DT-LTE-OMC1 last message repeated 10057 times
Feb 18 12:30:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:36:57 TY-DT-LTE-OMC1 last message repeated 9821 times
Feb 18 12:36:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:39:22 TY-DT-LTE-OMC1 last message repeated 3037 times
Feb 18 13:12:51 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:13:56 TY-DT-LTE-OMC1 last message repeated 1194 times
Feb 18 13:21:00 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:23:37 TY-DT-LTE-OMC1 last message repeated 3018 times
Feb 18 13:23:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:30:17 TY-DT-LTE-OMC1 last message repeated 8616 times
Feb 18 13:30:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:36:57 TY-DT-LTE-OMC1 last message repeated 7337 times
Feb 18 13:36:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:43:37 TY-DT-LTE-OMC1 last message repeated 7013 times
Feb 18 13:43:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:50:07 TY-DT-LTE-OMC1 last message repeated 8276 times
Feb 18 13:50:07 TY-DT-LTE-OMC1 ftpd[10904]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 13:50:07 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:50:08 TY-DT-LTE-OMC1 last message repeated 16 times
Feb 18 13:50:08 TY-DT-LTE-OMC1 ftpd[10922]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 13:50:08 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:50:17 TY-DT-LTE-OMC1 last message repeated 130 times
bash-3.2#
bash-3.2#



系统分区和挂载
bash-3.2# df -h
文件系统               大小   用了   可用 容量      挂接在
/dev/dsk/c0t3BA566CBC30293BDd0s0
                       150G    94G    54G    64%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   234G   2.2M   234G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/platform/sun4v/lib/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/libc_psr.so.1
/platform/sun4v/lib/sparcv9/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/sparcv9/libc_psr.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   234G   280K   234G     1%    /tmp
swap                   234G    22M   234G     1%    /var/run
/dev/dsk/c0t3BA566CBC30293BDd0s6
                       480M   1.0M   431M     1%    /globaldevices
/dev/lofi/126          781M   3.6M   731M     1%    /global/.devices/node@2
/dev/lofi/127          781M   3.6M   731M     1%    /global/.devices/node@1
/dev/md/omcset/dsk/d100
                        14T   166G    13T     2%    /oradata
/dev/md/omcset/dsk/d200
                       2.7T   7.2G   2.7T     1%    /export/home/omcrftp


Sun cluster 状态
bash-3.2# scstat
------------------------------------------------------------------

-- 群集节点 --

                    节点名称            状态
                    --------            ----
群集节点：          TY-DT-LTE-OMC1      联机
群集节点：          TY-DT-LTE-OMC2      联机

------------------------------------------------------------------

-- 群集传输路径 --

                    端点                   端点                   状态
                    ----                   ----                   ----
传输路径：          TY-DT-LTE-OMC1:ixgbe3  TY-DT-LTE-OMC2:ixgbe3  Path online
传输路径：          TY-DT-LTE-OMC1:ixgbe2  TY-DT-LTE-OMC2:ixgbe2  Path online

------------------------------------------------------------------

-- 来自最新节点重新配置的法定摘要 --

可能的法定选票：              3
所需的法定选票：              2
现有的法定选票：              3


-- 按节点划分的法定选票（当前状态）--

                    节点名称            现有的  可能的   状态
                    --------            ------  ------   ----
节点选票：          TY-DT-LTE-OMC1      1        1       联机
节点选票：          TY-DT-LTE-OMC2      1        1       联机


-- 按设备划分的法定选票（当前状态）--

                    设备名称            现有的  可能的   状态
                    --------            ------  ------   ----
设备选票：          /dev/did/rdsk/d3s2  1        1       联机

------------------------------------------------------------------

-- 设备组服务器 --

                         设备组              主                  辅助
                         ------              --                  ----
设备组服务器：           omcset              TY-DT-LTE-OMC1      TY-DT-LTE-OMC2


-- 设备组状态 --

                              设备组              状态               
                              ------              ----               
设备组状态：                  omcset              联机


-- 多所有者设备组 --

                              设备组              联机状态
                              ------              --------

------------------------------------------------------------------

-- 资源组和资源 --

            组名称         资源
            ------         ----
资源：      omc-rg         TY-DT-LTE-OMC omcset-rs oracle-rs listener-rs server-rs smgr-rs webstart-rs pc-rs lte-nma-ntfy-rs lte-nma-rs


-- 资源组 --

            组名称         节点名称                 状况           已暂停
            ------         --------                 ----           ------
组：        omc-rg         TY-DT-LTE-OMC1           联机           否
组：        omc-rg         TY-DT-LTE-OMC2           脱机           否


-- 资源 --

            资源名称       节点名称                 状况           状态消息
            --------       --------                 ----           --------
资源:       TY-DT-LTE-OMC  TY-DT-LTE-OMC1           联机           联机 - SharedAddress online.
资源:       TY-DT-LTE-OMC  TY-DT-LTE-OMC2           脱机           脱机 - SharedAddress offline.

资源:       omcset-rs      TY-DT-LTE-OMC1           联机           联机
资源:       omcset-rs      TY-DT-LTE-OMC2           脱机           脱机

资源:       oracle-rs      TY-DT-LTE-OMC1           联机           联机
资源:       oracle-rs      TY-DT-LTE-OMC2           脱机           脱机

资源:       listener-rs    TY-DT-LTE-OMC1           联机           联机
资源:       listener-rs    TY-DT-LTE-OMC2           脱机           脱机

资源:       server-rs      TY-DT-LTE-OMC1           联机           联机 - Service is online.
资源:       server-rs      TY-DT-LTE-OMC2           脱机           脱机

资源:       smgr-rs        TY-DT-LTE-OMC1           联机           联机 - Service is online.
资源:       smgr-rs        TY-DT-LTE-OMC2           脱机           脱机

资源:       webstart-rs    TY-DT-LTE-OMC1           联机           联机 - Service is online.
资源:       webstart-rs    TY-DT-LTE-OMC2           脱机           脱机

资源:       pc-rs          TY-DT-LTE-OMC1           联机           联机 - Service is online.
资源:       pc-rs          TY-DT-LTE-OMC2           脱机           脱机

资源:       lte-nma-ntfy-rs TY-DT-LTE-OMC1           联机           联机 - Service is online.
资源:       lte-nma-ntfy-rs TY-DT-LTE-OMC2           脱机           脱机

资源:       lte-nma-rs     TY-DT-LTE-OMC1           联机           联机 - Service is online.
资源:       lte-nma-rs     TY-DT-LTE-OMC2           脱机           脱机

------------------------------------------------------------------

-- IPMP 组 --

              节点名称            组      状态           适配器    状态
              --------            --      ----           ------    ----
IPMP 组：     TY-DT-LTE-OMC1      ipmp0   联机           ixgbe1    联机
IPMP 组：     TY-DT-LTE-OMC1      ipmp0   联机           ixgbe0    联机

IPMP 组：     TY-DT-LTE-OMC2      ipmp0   联机           ixgbe1    联机
IPMP 组：     TY-DT-LTE-OMC2      ipmp0   联机           ixgbe0    联机


-- 区域中的 IPMP 组 --

              区域名称            组      状态           适配器    状态
              --------            --      ----           ------    ----
------------------------------------------------------------------




关闭服务和资源
bash-3.2# svcadm disable ftp
bash-3.2#
bash-3.2#
bash-3.2# scswitch -F -g omc-rg

=== 群集资源组 ===

组名称        节点名称             已暂停       状况
------        --------             ------       ----
omc-rg        TY-DT-LTE-OMC1       No           Offline
              TY-DT-LTE-OMC2       No           Offline



查看现在的inode
bash-3.2# mkfs -m /dev/md/omcset/dsk/d200
mkfs -F ufs -o nsect=128,ntrack=48,bsize=8192,fragsize=8192,cgsize=143,free=1,rps=1,nbpi=997778,opt=t,apc=0,gap=0,nrpos=1,maxcontig=16,mtb=y /dev/md/omcset/dsk/d200 5841125376


bash-3.2# df -F ufs -o i  /export/home/omcrftp/
文件系统             iused   ifree  %iused  被安装
/dev/md/omcset/dsk/d200
                           102312 2978748     1%   /export/home/omcrftp
bash-3.2#


第一次修改inode
bash-3.2# newfs -i 8192 /dev/md/omcset/dsk/d200
newfs: /dev/md/omcset/rdsk/d200 上次被安装为 /export/home/omcrftp
newfs: 建构新的文件系统 /dev/md/omcset/rdsk/d200: (y/n)？ y
/dev/md/omcset/rdsk/d200:       在 950704 磁道上，48 扇区的 128 柱面的 5841125376 扇区
        2852112.0MB 在 6649 柱面群组 (143 c/g, 429.00MB/g, 448 i/g)
超块 (fsck -F ufs -o b=#) 备份在：
32, 878752, 1757472, 2636192, 3514912, 4393632, 5272352, 6151072, 7029792,
7908512,
初始化柱面组：
...............................................................................
.....................................................
最后 10 个柱面组的超级块备份位置：
5832978336, 5833857056, 5834735776, 5835614496, 5836493216, 5837371936,
5838250656, 5839129376, 5840008096, 5840886816
bash-3.2# mount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2# df -h
文件系统               大小   用了   可用 容量      挂接在
/dev/dsk/c0t3BA566CBC30293BDd0s0
                       150G    94G    54G    64%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   325G   2.2M   325G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/platform/sun4v/lib/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/libc_psr.so.1
/platform/sun4v/lib/sparcv9/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/sparcv9/libc_psr.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   325G   280K   325G     1%    /tmp
swap                   325G    22M   325G     1%    /var/run
/dev/dsk/c0t3BA566CBC30293BDd0s6
                       480M   1.0M   431M     1%    /globaldevices
/dev/lofi/126          781M   3.6M   731M     1%    /global/.devices/node@2
/dev/lofi/127          781M   3.6M   731M     1%    /global/.devices/node@1
/dev/md/omcset/dsk/d200
                       2.7T   256M   2.7T     1%    /export/home/omcrftp
bash-3.2# mkfs -m /dev/md/omcset/dsk/d200
mkfs -F ufs -o nsect=128,ntrack=48,bsize=8192,fragsize=8192,cgsize=143,free=1,rps=1,nbpi=997778,opt=t,apc=0,gap=0,nrpos=1,maxcontig=16,mtb=y /dev/md/omcset/dsk/d200 5841125376
bash-3.2# df -F ufs -o i  /export/home/omcrftp/
文件系统             iused   ifree  %iused  被安装
/dev/md/omcset/dsk/d200
                           4 2978748     0%   /export/home/omcrftp
bash-3.2# reboot 后测试inode还是一样的值


第二次修改inode
bash-3.2# uount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2# newfs -i 2048 /dev/md/omcset/dsk/d200
newfs: /dev/md/omcset/rdsk/d200 上次被安装为 /export/home/omcrftp
newfs: 建构新的文件系统 /dev/md/omcset/rdsk/d200: (y/n)？ y
/dev/md/omcset/rdsk/d200:       在 950704 磁道上，48 扇区的 128 柱面的 5841125376 扇区
        2852112.0MB 在 6649 柱面群组 (143 c/g, 429.00MB/g, 448 i/g)
超块 (fsck -F ufs -o b=#) 备份在：
32, 878752, 1757472, 2636192, 3514912, 4393632, 5272352, 6151072, 7029792,
7908512,
初始化柱面组：
...............................................................................
.....................................................
最后 10 个柱面组的超级块备份位置：
5832978336, 5833857056, 5834735776, 5835614496, 5836493216, 5837371936,
5838250656, 5839129376, 5840008096, 5840886816
bash-3.2# mount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2#
bash-3.2# mount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2# df -h
文件系统               大小   用了   可用 容量      挂接在
/dev/dsk/c0t3BA566CBC30293BDd0s0
                       150G    94G    54G    64%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   325G   2.2M   325G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/platform/sun4v/lib/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/libc_psr.so.1
/platform/sun4v/lib/sparcv9/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/sparcv9/libc_psr.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   325G   280K   325G     1%    /tmp
swap                   325G    22M   325G     1%    /var/run
/dev/dsk/c0t3BA566CBC30293BDd0s6
                       480M   1.0M   431M     1%    /globaldevices
/dev/lofi/126          781M   3.6M   731M     1%    /global/.devices/node@2
/dev/lofi/127          781M   3.6M   731M     1%    /global/.devices/node@1
/dev/md/omcset/dsk/d200
                       2.7T   256M   2.7T     1%    /export/home/omcrftp
bash-3.2# mkfs -m /dev/md/omcset/dsk/d200
mkfs -F ufs -o nsect=128,ntrack=48,bsize=8192,fragsize=8192,cgsize=143,free=1,rps=1,nbpi=997778,opt=t,apc=0,gap=0,nrpos=1,maxcontig=16,mtb=y /dev/md/omcset/dsk/d200 5841125376
bash-3.2# df -F ufs  -o i /dev/md/omcset/dsk/d200
文件系统             iused   ifree  %iused  被安装
/dev/md/omcset/dsk/d200
                           4 2978748     0%   /export/home/omcrftp
bash-3.2# reboot 后测试inode还是一样的值

byuq

我模糊记得，大于1T的UFS文件系统，inode是不能超过两百万个的，具体怎么算的找不到出处了。
建议使用zfs，都啥年代了，改舍弃UFS了。

baixianglu

回复 2# byuq


是inode是300W个，上了1T就固定了。

   

icyfish28

man newfs

From the man page:

Creating a Multiterabyte UFS File System
Keep the following limitations in mind when creating a multiterabyte UFS file system:

• nbpi is set to 1 Mbyte unless you specifically set it higher. You cannot set nbpi lower than 1 Mbyte on a multiterabyte UFS file system.
• fragsize is set equal to bsize.
  

The default for nbpi is as follows:

Disk size                 Density

Less than 1GB             2048
Less than 2GB             4096
Less than 3GB             6144
3GB to 1 Tbyte            8192
Greater than 1 Tbyte  
   or created with -T     1048576