mfs灾难恢复

youzhengchuan

今天mfs出了一个问题，突然间又一台client上的apache挂掉了，同事上去看，发现有一个目录不在，导致apache启动不了。
于是同事就很傻很天真的mkdir 了这个目录 。
接着mfs就抽风了，一开始client上读取很慢，接着mfs就挂载不上，client挂载的时候提示timeout～
到master上看，日志中出现大量坏块的记录，master写系统日志都写疯了，系统盘io都占满，过了一段时间，master进程退出。
重启master，提示没有“metadata.mfs”，于是开始了灾难恢复。

1）mfsmetarestore -a
漫长恢复之后，master可以起来了，但是还是报大量的坏块，接着过一段时间master进程退出。
mfsmaster[8964]: chunkserver has nonexistent chunk (00000000037F0009_00000001), so create it for future deletion

2）mv metadata.mfs.back metadata.mfs
master也可以起来，但是和步骤一结果一样，大量坏块，进程退出。

3）从mfsmetalogger copy 备份的元数据到mster上。
scp mfsmetalogger:/usr/local/mfs/var/mfs/*  /usr/local/mfs/var/mfs/
cd /usr/local/mfs/var/mfs/
/usr/local/mfs/sbin/mfsmetarestore -m metadata_ml.mfs.back -o metadata.mfs changelog_ml.*.mfs

漫长等待，
loading objects (files,directories,etc.) ... ok
loading names ... ok
loading deletion timestamps ... ok
checking filesystem consistency ... ok
loading chunks data ... ok
connecting files and chunks ... ok
store metadata into file: metadata.mfs

# /usr/local/mfs/sbin/mfsmaster start
working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... ok
sessions file has been loaded
exports file has been loaded
loading metadata ...
loading objects (files,directories,etc.) ... ok
loading names ...

结果会是什么呢？

youzhengchuan

MD，最后升级版本到最新的后解决了～

youzhengchuan

version: 1.6.27