mdadmのソフトウェアRAID復旧

posted by jun-g at Tue, 25 Sep 2012 17:56 JST

先日、自宅でブレーカーが落ちて停電してしまう事件？が発生しました。よくある過電流による停電の場合、回路ブレーカーが落ちて一部屋だけ停電したりするのですが、今回は主幹ブレーカーが落ちてしまい、全部屋が停電になりました。

とりあえずスマホでネット検索して原因と対策を調べました。原因としては漏電の可能性があること、対策としては問題のある箇所の回路ブレーカーのみを落としておけばとりあえず大丈夫であることがわかりました。

ということで問題となる箇所の回路ブレーカーを探してその日はとりあえず事なきを得ました。後日、電気工事業者に来てもらい、漏電箇所は修理してもらいました。(実際は修理不可能な箇所だったので、壁口コンセントを一箇所殺して終わり。)

で、漏電はこれで良かったのですが、停電した日に何度も家のブレーカーがバチバチ落ちたせいで、UPSを使ってない自宅サーバー(OSはXenServer)がもろに被害を受けてしまいました。

サーバーを起動し、XenCenterからつないでみると、ストレージが見つからないという警告。sshでログインしてRAIDの様子を確認してみると、HDDは4本使っているのに3本しか認識していない状態でした。

で、筐体を開けて確認してみると、何故かこのタイミングでHDDの電源ケーブルが1本抜けかかっていました…。そのケーブルを接続し直して改めてサーバーを起動し直すと、無事に4本認識しました。

しかし、RAIDの様子を確認すると、4本認識しているものの、様子は変わらず。

[root@xenserver ~]# cat /proc/mdstat
Personalities :
md0 : inactive sdb1[0](S) sde1[3](S) sdd1[2](S) sdc1[1](S)
      3907039744 blocks

unused devices: <none>

とりあえずネットでmdadmのraid復旧方法を調べて、そのとおりの手順で復旧を試みてみたところ、無事に復旧しました。手順は以下の通り。

まずはAssembleモードでmdadmを実行。

[root@xenserver ~]# mdadm -A /dev/md0 /dev/sd[bcde]1
mdadm: /dev/md0 assembled from 3 drives - not enough to start the array while not clean - consider --force.

怒られます。なので強制的に行う「--force」オプションを追加して実行。(ついでに詳細を出力する「-v」オプションも追加。)

[root@xenserver ~]# mdadm -v -A --force /dev/md0 /dev/sd[bcde]1
mdadm: looking for devices for /dev/md0
mdadm: /dev/sdb1 is identified as a member of /dev/md0, slot 0.
mdadm: /dev/sdc1 is identified as a member of /dev/md0, slot 1.
mdadm: /dev/sdd1 is identified as a member of /dev/md0, slot 2.
mdadm: /dev/sde1 is identified as a member of /dev/md0, slot 3.
mdadm: added /dev/sdc1 to /dev/md0 as 1
mdadm: added /dev/sdd1 to /dev/md0 as 2
mdadm: added /dev/sde1 to /dev/md0 as 3
mdadm: added /dev/sdb1 to /dev/md0 as 0
mdadm: /dev/md0 has been started with 3 drives (out of 4).

今度は上手くいったようなので、状態を確認。

[root@xenserver ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sde1[3] sdd1[2]
      2930279808 blocks level 5, 64k chunk, algorithm 2 [4/3] [U_UU]

unused devices: <none>
[root@xenserver ~]# mdadm -D /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Mon Jul  4 17:39:51 2011
     Raid Level : raid5
     Array Size : 2930279808 (2794.53 GiB 3000.61 GB)
  Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
   Raid Devices : 4
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Fri Sep 21 21:13:32 2012
          State : clean, degraded
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 11c0d6c2:2c1cae2a:99080105:010c0b1b
         Events : 0.11416776

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       0        0        1      removed
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

sdc1が無い3本構成の状態でRAID自体は復旧したみたいです。まずは一安心。

で、次にsdc1をRAIDに再追加。

[root@xenserver ~]# mdadm /dev/md0 -a /dev/sdc1
mdadm: re-added /dev/sdc1

追加されたようなので、確認。

[root@xenserver ~]# mdadm -D /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Mon Jul  4 17:39:51 2011
     Raid Level : raid5
     Array Size : 2930279808 (2794.53 GiB 3000.61 GB)
  Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sun Sep 23 10:10:28 2012
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

 Rebuild Status : 0% complete

           UUID : 11c0d6c2:2c1cae2a:99080105:010c0b1b
         Events : 0.11416781

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       4       8       33        1      spare rebuilding   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

sdc1がRAIDに追加され、リビルドが始まりました。この数時間後に、無事にRAIDが復旧したことを確認しました。