Linux software raid (md)にon lineでデバイスを追加してサイズを拡大してみる
Linux Software RAID (md)の onlie resizeの続編的ですが。
このmdは紆余曲折あって(?)現在は1TB HDD 5本でRAID5(スペアなし)という構成になっています。
が、なんとなく若干手狭な感じが出てきました(debian の iso imageにBDとか入ってきた
せいか、油断するとあふれることが...)
そこで、少し前からkernelでサポートされた「mdにデバイスを追加してでかくしてみる」ことを
してみましょう。1TBを5本→1TBを6本の構成にしてみます。
最初はこんな感じ。
$ lsscsi [6:0:0:0] disk ATA WDC WD740GD-00FL 21.0 /dev/sda [8:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdb [11:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdc [13:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdd [14:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sde [16:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdf [18:0:0:0] cd/dvd Optiarc DVD RW AD-7170A 1.02 /dev/sr0
$ df /storage Filesystem 1K-ブロック 使用 使用可 使用% マウント位置 /dev/md0 3845731848 3078934784 766797064 81% /storage $ df -h /storage Filesystem サイズ 使用 残り 使用% マウント位置 /dev/md0 3.6T 2.9T 732G 81% /storage
$ sudo mdadm --misc --detail /dev/md0
/dev/md0:
Version : 0.90
Creation Time : Fri Oct 17 21:15:30 2008
Raid Level : raid5
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 5
Preferred Minor : 0
Persistence : Superblock is persistent
Update Time : Tue Sep 22 08:58:55 2009
State : clean
Active Devices : 5
Working Devices : 5
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 64K
UUID : 7b919d4f:b9e7742c:84bd942a:d4b8378f
Events : 0.19904
Number Major Minor RaidDevice State
0 8 33 0 active sync /dev/sdc1
1 8 49 1 active sync /dev/sdd1
2 8 17 2 active sync /dev/sdb1
3 8 81 3 active sync /dev/sdf1
4 8 65 4 active sync /dev/sde1
HDDはSATA/SASのエンクロージャに全部ささってますし、最近のSATAの
デバイスであれば(少なくともahciの一部、sata_sil24、sata_mvはOk)hot plugで
つなげば認識してくれるので、無造作に(物理的に)HDDをさして認識させます。
$lsscsi [6:0:0:0] disk ATA WDC WD740GD-00FL 21.0 /dev/sda [8:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdb [11:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdc [13:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdd [14:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sde [15:0:0:0] disk ATA WDC WD10EADS-00M 01.0 /dev/sdg [16:0:0:0] disk ATA WDC WD10EACS-22D 01.0 /dev/sdf
/dev/sdgが増えました。
fdisk とかでパーティションを一つだけ切って、タイプを Linux raid autodetect
(0xfd)にしときます。
$ fdisk -l /dev/sdg Disk /dev/sdg: 1000.2 GB, 1000204886016 bytes 255 heads, 63 sectors/track, 121601 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk identifier: 0xfec868df Device Boot Start End Blocks Id System /dev/sdg1 1 121601 976760001 fd Linux raid autodetect
次にmdにこのHDDを追加します。
$ sudo mdadm /dev/md0 --add /dev/sdg1
mdadm: added /dev/sdg1
$ sudo mdadm --misc --detail /dev/md0
/dev/md0:
Version : 0.90
Creation Time : Fri Oct 17 21:15:30 2008
Raid Level : raid5
Array Size : 3907039744 (3726.04 GiB 4000.81 GB)
Used Dev Size : 976759936 (931.51 GiB 1000.20 GB)
Raid Devices : 5
Total Devices : 6
Preferred Minor : 0
Persistence : Superblock is persistent
Update Time : Tue Sep 22 09:08:50 2009
State : clean
Active Devices : 5
Working Devices : 6
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 64K
UUID : 7b919d4f:b9e7742c:84bd942a:d4b8378f
Events : 0.19909
Number Major Minor RaidDevice State
0 8 33 0 active sync /dev/sdc1
1 8 49 1 active sync /dev/sdd1
2 8 17 2 active sync /dev/sdb1
3 8 81 3 active sync /dev/sdf1
4 8 65 4 active sync /dev/sde1
5 8 97 - spare /dev/sdg1
$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdg1[5](S) sdc1[0] sde1[4] sdf1[3] sdb1[2] sdd1[1]
3907039744 blocks level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
unused devices:
こんな感じでスペアとして追加されます。
でもって、RAIDデバイスの数を変更します。
変更には mdadmの --grow オプションと --raid-devicesを組み合わせて指定します。
$ sudo mdadm /dev/md0 --grow --raid-devices=6 mdadm: Need to backup 1280K of critical section.. mdadm: ... critical section passed.
ここまでは、とりあえず数秒で終了します。
で、ここからRAIDの再構成が行われますがこれがものすごく時間がかかるので
気長に待ちましょう。
$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdg1[5] sdc1[0] sde1[4] sdf1[3] sdb1[2] sdd1[1]
3907039744 blocks super 0.91 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
[>....................] reshape = 0.0% (279424/976759936) finish=1951.8min speed=8337K/sec
unused devices:
mdのサイズにもよると思いますが、今回のサイズだと丸一日はかかるつもりで
いないとダメです(わら
この間もmdデバイスはon lineなので、通常どおり使用できます(が、まぁ今回の構成だと
このrebuild中にHDD一本でも死ぬとアウトなわけですが(わら 基本ここにはmirrorしか
入って無いので最悪死んでも復元できるので気にしない。もちろん用途によっては、
もう少し冗長性をとりましょう)
ただし、このrebuildが終わらないと「mdとしてのサイズが以前のまま(デバイス追加
する以前のサイズのまま)」なので、以下のファイルシステムのresizeはできません。
でもって、rebuildが終わったのを確認したら、ファイルシステムをresizeします。
$ sudo resize2fs /dev/md0 resize2fs 1.41.9 (22-Aug-2009) Filesystem at /dev/md0 is mounted on /storage; on-line resizing required old desc_blocks = 233, new_desc_blocks = 292 Performing an on-line resize of /dev/md0 to 1220949920 (4k) blocks.
これも容量によると思いますが、30分くらい待つと完了。
$ df /storage Filesystem 1K-ブロック 使用 使用可 使用% マウント位置 /dev/md0 4807165280 3089638432 1717526848 65% /storage $ df -h /storage Filesystem サイズ 使用 残り 使用% マウント位置 /dev/md0 4.5T 2.9T 1.6T 65% /storage
ほい、できました。
