クラスタの利用ガイド
マスタマシンのホスト名は ibq0.slis.tsukuba.ac.jp です.ibq0 は統一認証サーバと連携しており,申請受付後に統一認証のアカウントとパスワードでSSHログインすることができます(ただし,学外からのアクセスはできません).
SSHによるログインの方法については,例えばこちらの春日キャンパス情報基盤システムのページをご覧ください(接続先は ibq0.slis.tsukuba.ac.jp になることにご注意ください).
メンテナンスなどのお知らせはニュースのページに掲載しています.
Hadoopの使用方法
ibq0のシェルにログインすると, hadoop コマンドのパスが通った状態になります.
hadoop コマンドを用いて,HDFSへのアクセスや,MapReduceジョブの登録などを自由に行うことができます.
hadoop コマンドの使用方法については,Hadoop MapReduceチュートリアルなどを参照してください.
HDFSの使用状況はHDFSのWebUIで,リソースの使用状況はyarnのWebUIで,それぞれ確認することができます.
ibxサーバへのログイン
申請者はibq0にログイン後,必要であればクラスタ内の別のサーバにログインして,重い計算処理に用いることができます.
ログイン可能なのは,クラスタ内のサーバのうち,プレフィックスが ibx のサーバ(以下ibxサーバ)のみです.
例えば, ibx0 にログインする場合は,ibq0のシェル上で下記のコマンドを実行します.
ssh ibx0
申請書を受付された利用者のアカウントは,ibq0で自動的に新しい公開鍵暗号を生成し, ibq0 のホームディレクトリ直下の .ssh フォルダ内に秘密鍵を, ibx をプレフィックスに持つ全てのサーバ内に公開鍵を配布するように設定しています.
この仕組みのため,上記のsshコマンドによるログインではパスワードは不要です.
もちろん,他のユーザには自分のアカウントでログインすることは( ibq0 に自分のアカウントでログインされない限り)できません.
ibxサーバの利用状況の参考のため,各ibxサーバにおける直近15分の平均CPU負荷を,約15分間隔で収集しています. これは下記のコマンドで確認することができます. 値が0.0に近い値であれば,ほとんどCPU負荷がかかっていないことを意味しています.
cat /work/load-survey
共有ディスク領域
クラスタ内の diskcommons サーバは,11TBのディスク領域を持っており,これをNFSによりクラスタ内で共有しています.
ibq0 およびibxサーバは,全て /work ディレクトリにこの共有ディスク領域をマウントしています.
ただし,NFSの仕様上,共有ディスク領域内の全てのファイルは,あらゆるユーザによって読み書きが可能であることに注意してください.
/work/home ディレクトリ以下に,各ユーザのアカウント名のフォルダを作成しています.
強制力はありませんが,紳士協定として,自分のフォルダ以外はアクセス(特に書き込みアクセス)しないようにお願いします.