FUture REal LOcation

GlusterFSの設定が完了したので、XenServerのSRとして設定する。 各サーバにSR用のBRICK用ディレクトリを作成。 [code] [gluster1]# mkdir /var/brick/sr-mount [gluster2]# mkdir /var/brick/sr-mount [/code] GlusterFSにSR用のボリュームを設定する。 [code] # /usr/local/sbin/gluster volume create SR_VOL \  replica 2 \  transport tcp \  gluster1.furelo.jp:/var/brick/sr-mount \  gluster2.furelo.jp:/var/brick/sr-mount # /usr/local/sbin/gluster volume start SR_VOL # /usr/local/sbin/gluster volume info [/code] NFSマウントできればOK。 [code] # mount -t nfs -o mountproto=tcp localhost:/SR_VOL /mnt # umount /mnt [/code] ここで問題なのが、これらのメールによると、XenServerのNFS SR機能は、Portmapperからポート番号を取得せずに2049に決め打ちらしい。 http://gluster.org/pipermail/gluster-users/2010-November/005751.html http://gluster.org/pipermail/gluster-users/2010-November/005755.html 対応策として２つの方法がある。 １．GlusterNFSのポート番号を2049に固定する。 [code] # vi /etc/glusterd/nfs/nfs-server.vol 以下のように、option nfs.port の行を追加すればいいらしい。 volume nfs-server     type nfs/server     option nfs.port 2049     option nfs.dynamic-volumes on     option rpc-auth.addr.BACKUP_VOL.allow *     option nfs3.BACKUP_VOL.volume-id 44fb814c-f2e7-48b3-bd2b-7533e04c3703     option rpc-auth.addr.SR_VOL.allow *     option nfs3.SR_VOL.volume-id a3a74863-60c9-4929-9f0c-dcc1d49791fe     subvolumes BACKUP_VOL SR_VOL end-volume ※ただし、Glusterの現在のバージョン(3.1.2)では、CLIで操作したときにこのファイルはデフォルトの内容に上書きされる。デーモンを再起動しても上書きされてしまうようだ。 [/code] ２．ポート転送プログラムを動かす gluster nfsのポート番号はtcpの38467番ポートになるようなので、tcpの2049番ポートに来たパケットを中継するように設定する。 [code] # zypper install socat # rpcinfo -p    program vers proto   port  service     100000    4   tcp    111  portmapper     100000    3   tcp    111  portmapper     100000    2   tcp    111  portmapper     100000    4   udp    111  portmapper     100000    3   udp    111  portmapper     100000    2   udp    111  portmapper     100005    3   tcp  38465  mountd     100005    1   tcp  38466  mountd     100003    3   tcp  38467  nfs # socat TCP-LISTEN:2049,reuseaddr,fork TCP:localhost:38467 & # vi /etc/init.d/after.local 以下の行を追加 socat TCP-LISTEN:2049,reuseaddr,fork TCP:localhost:38467 & [/code] XenCeneterからNew Storage -> NFS VHDを選択し、以下のパラメータで登録する。 [code] Name: GlusterNFS virtual disk storage Share Name: gluster2.furelo.jp:/SR_VOL [/code] ※それぞれのサーバでCreate a new SRとする。

以前、クラスタストレージであるGlusterFSを、Maildir形式のメールサーバ使えないか調べていたが、1000Base-Tのネットワーク環境では、システムコールに非常に時間がかかる(キャッシュされない)ことが分かり、あきらめた。 しかしながら、少数のファイルしかない VMイメージの保存用には問題ないと思われる。またGlusterFS v3.1.2から、GlusterのNFS領域をXenServerで利用できるようになったらしい。 そこで、XenServer上のVM (OpenSUSE)でGlusterFSを動作させ、それをXenServerのSR (Storage Repository)として利用したいと思う。 ※無駄が多いけど、VM上で構築しておけばノードの追加が楽なので。 ※試して使い物にならない程遅ければ、XenServer上に直接GlusterFSをインストールすることにする。 ※なお、Oracle VM Server for x86 2.2.1で試している方がいましたので、それを参考にします。 http://nkjmkzk.net/?p=1691 開発用ツールをインストール [code] # zypper install autoconf automake libtool gcc make flex bison readline-devel [/code] GlusterFSのソースのダウンロード [code] # cd /usr/local/src # wget http://download.gluster.com/pub/gluster/glusterfs/3.1/LATEST/glusterfs-3.1.2.tar.gz # tar zxvf glusterfs-3.1.2.tar.gz [/code] コンパイル [code] # cd glusterfs-3.1.2 # ./configure ～～～略～～～ GlusterFS configure summary =========================== FUSE client : yes Infiniband verbs : no epoll IO multiplex : yes argp-standalone : no fusermount : no readline : yes # make # make install ※デフォルトでは、/usr/local/ 以下にインストールされる。 [/code] ldconfigコマンドで共有ライブラリのキャッシュを作り直す。 [code] # /sbin/ldconfig # /usr/local/sbin/glusterfs –version glusterfs 3.1.2 built on Mar 6 2011 15:26:49 Repository revision: v3.1.1-64-gf2a067c Copyright (c) 2006-2010 Gluster Inc. <http://www.gluster.com> GlusterFS comes with ABSOLUTELY NO WARRANTY. You may redistribute copies of GlusterFS under the terms of the GNU Affero General Public License. [/code] 引き続き初期設定を行う。 各サーバで、以下のデーモンが起動されるようにしておく [code] ※なぜか起動しなかったため、起動スクリプトに以下の修正を行った。 # diff -u /tmp/glusterd glusterd — /tmp/glusterd 2011-03-06 11:44:37.077995074 +0900 +++ glusterd 2011-03-06 11:43:23.375896074 +0900 @@ -24,7 +24,8 @@ start() { echo -n $"Starting $BASE:" – startproc $GLUSTERD + $GLUSTERD + # startproc $GLUSTERD return $? } # /sbin/chkconfig glusterd on # /etc/init.d/glusterd start # vi /etc/hosts 192.168.11.102 gluster1.furelo.jp gluster1 192.168.11.103 gluster2.furelo.jp gluster2 [/code] 各サーバ間のpeerを張る。(片方向にpeerを張るだけで良い。自身とのpeerは不要。) [code] [gluster1]# /usr/local/sbin/gluster peer probe gluster2.furelo.jp Probe successful [/code] peer状況を確認する。 [code] # /usr/local/sbin/gluster peer status Number of Peers: 1 Hostname: gluster2.furelo.jp Uuid: 7ecd445c-601a-4cc7-bd48-568f97d3ee14 State: Peer in Cluster (Connected) [/code] 各サーバで、GlusterFSが利用する領域(BRICK)を作成する。 [code] # mkdir /var/brick # mkdir /var/brick/backup ※任意のディレクトリをBRICKに指定できるが、今回は、/var/brick ディレクトリに大容量のパーティションをマウントし、このサブディレクトリを各用途で利用することにする。 [/code] 任意の一台で、以下のコマンドを入力し、バックアップ領域をRAID1構成にする。 [code] # /usr/local/sbin/gluster volume create BACKUP_VOL \ replica 2 \ transport tcp \ gluster1.furelo.jp:/var/brick/backup \ gluster2.furelo.jp:/var/brick/backup # /usr/local/sbin/gluster volume info # /usr/local/sbin/gluster volume start BACKUP_VOL # /usr/local/sbin/gluster volume info [/code] 各サーバでglusterfs をfuseでマウントする。 [code] # mount -t glusterfs localhost:BACKUP_VOL /var/backup ※もし、NFSでマウントする場合、GlusterのNFS機能がTCPのみのサポートなので、以下の様に行う。 # mount -t nfs -o mountproto=tcp localhost:/BACKUP_VOL /var/backup [/code] 認識されているか確認する。 [code] # df -k Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/system-root 6631976 2277552 4017528 37% / devtmpfs 509812 108 509704 1% /dev tmpfs 524464 4 524460 1% /dev/shm /dev/xvda1 69410 23664 42162 36% /boot /dev/xvdb1 516054864 1565272 488275532 1% /var/brick localhost:BACKUP_VOL 412843904 203136 391669632 1% /var/backup [/code] ※なお、既存データがある場合、self-heal機能を使って同期を行う必要がある。 ※self-heal機能を使うには、一度すべてのファイルにアクセスすればいい。 [code] # du /var/backup/ [/code] 問題なければ、起動時に自動マウントするようにする。 [code] # vi /etc/hosts ※GlusterFSでマウントする場合、以下の様な設定を追加する localhost:BACKUP_VOL /var/backup glusterfs acl,user_xattr,_netdev 3 0 ※NFSでマウントする場合、以下の様な設定を追加する。 localhost:/BACKUP_VOL /var/backup nfs _netdev,mountproto=tcp,rsize=8192,wsize=8192 3 0 [/code] NFSやCIFSの場合だと、専用に起動スクリプト S05nfs や S04cifs があるので自動マウントしてくれるようなのだが、 GlusterFSの様な、その他のネットワークファイルシステムについては考慮されてないようだ。 適当に以下の様に行った。 [code] # vi /etc/init.d/after.local /bin/mount -a -t nfs /bin/mount -a -t glusterfs # chmod a+x /etc/init.d/after.local [/code] しかし、NFSの場合、以下のエラーが出てマウントされなかった。 GlusterFSでは問題なかったので、GlusterFSを使うことにし、原因は調べてない。 [code] Master Resource Control: Running /etc/init.d/after.local mount.nfs: mounting localhost:/BACKUP_VOL failed, reason given by server: No such file or directorydone [/code] ※なお、一度作ったボリューム設定を削除したい場合以下の様に行う。 [code] # /usr/local/sbin/gluster volume stop BACKUP_VOL # /usr/local/sbin/gluster volume delete BACKUP_VOL [/code]