スーパーコンピュータシステムの基本的な利用方法
本ページでは、本スーパーコンピュータシステムの基本的な使用方法についてご説明します。内容は重複致しますが、説明会（講習会）にて配布した資料についても以下に掲載しますので合わせてご参照ください。
| 資料名 | 更新日 | 日本語版 | 英語版 | 概略説明 |
|---|---|---|---|---|
| システム紹介 | 2012/03/21 | ここから | ここから | システムの概略説明 |
| システムの基本的使用方法 | 2012/05/10 | ここから | ここから | システム構成の概略とシステムの基本的な利用に必要なコマンド群の利用方法について解説 |
| Univa Grid Engine概説 | 2012/06/26 | ここから | ここから | システム利用に必要なUniva Grid Engineの基本的な利用方法について解説 |
| ジョブを投入するノウハウ | 2013/02/22 | ここから | ここから | UGEを介してジョブ投入を行う際に、効率よくシステムを利用して頂く為に必要な考慮点について解説 |
| ユーザ登録 | 2012/05/10 | ここから | ここから | |
| ログイン手順(Windows編) | 2017/01/11 | ここから | Windows環境のユーザ端末からスーパーコンピュータシステムへのログイン手順を説明 (システムの基本的使用方法内に記載されている手順を最新版に更新し記載) |
|
| ログイン手順(Mac編) | 2017/01/11 | ここから | Mac環境のユーザ端末からスーパーコンピュータシステムへのログイン手順を説明 (システムの基本的使用方法内に記載されている手順を最新版に更新し記載) |
スーパーコンピュータシステムはハードウェア構成で記述したハードウェアで構成されます。このハードウェアについて多数ユーザが効率的に共用できるようジョブ管理システムUGE(Univa Grid Engine)を利用してシステム利用環境を構築しています。 環境は以下の構成要素で構成されます。
ゲートウェイノード
インターネットから本システムに接続する為のノードです。システム利用の為にシステム外からまずこのノードにログインします。
ログインノード
ユーザがプログラム開発や、ジョブ管理システムにジョブの投入を行う為のノードです。ゲートウェイノードからqloginコマンドでログインします。 システム内に複数台存在し、ユーザはログイン時に負荷状況の低いログインノードに割り振られてログインします。
計算ノード
ジョブ管理システムの管理下にあってユーザから投入されたジョブを実行する為のノードです。計算機の種別によりThin計算ノード、Medium計算ノード、 Fat計算ノードがあります。
キュー
UGE上の概念で、計算ノードを論理的にグループ化するものです。キューを指定してジョブの実行をUGEに対して指示すると、指定した条件に合致するように 自動的に計算ノード上で計算が実行されます。キューには後述のように複数種類があります。具体的な利用方法については後述します。
これらの構成要素の関連を示したシステム利用の概略図を示します。
ではシステムの基本的な利用方法について順を追ってご説明します。
システムへのログイン
まずゲートウェイノードにssh経由でゲートウェイノード(gw.ddbj.nig.ac.jp)にログインして頂きます。お手元の端末で利用可能なsshクライアントソフトを各自ご用意頂き接続をお願いします。認証方法はパスワード認証です。
・Phase1システムゲートウェイ ⇒ gw.ddbj.nig.ac.jp
・Phase2システムゲートウェイ ⇒ gw2.ddbj.nig.ac.jp
ゲートウェイノードは システム外部からの入口であり、このノード上では計算の実行およびプログラムの編集処理を実行することは禁止されており 、環境設定もされていません。その点ご注意ください。 ゲートウェイノードにログインできたら、そのままログインノードへ以下の手順に従ってログインをして下さい。
ログインノードへのログイン
UGEのコマンドである、qloginを使用します。 以下のようにします。
[username@gw ~]$ qlogin
Your job 6896426 ("QLOGIN") has been submitted
waiting for interactive job to be scheduled ...
Your interactive job 6896426 has been successfully scheduled.
Establishing /home/geadmin/UGER/utilbin/lx-amd64/qlogin_wrapper session to host t266i
qloginを利用すると、qloginが複数のログインノードの負荷情報を確認し負荷が低いログインノードを自動的に選択しますので、そのまま選択されたノードにログインします。 (上の例では、このログインセッション自体がインタラクティブジョブ（JobID6896426)として認識され、計算ノードt266が選択されてログイン処理が行われています。) この時にログインしたログインノード上でqstatコマンド(後述)を実行すると、
[username@gw ~]$ qstat
job-ID prior name user state submit/start at queue
slots ja-task-ID
---------------------------------------------------------------------------------
--------------------------------
6896426 0.00000 QLOGIN username r 06/14/2012 13:27:53 login.q@t261i
1
というように今qloginでログインしたログインセッションがUGE管理下のジョブとして確認できます。 ログインノード上では各種開発環境、スクリプティング言語環境が用意されています。開発作業を行う場合は、そのままログインノード上で作業を行ってください。 ログインノード上でのプログラミング環境についてはプログラミング環境をご参照ください。 ここでログインノード上では、大規模な計算処理を実行しないでください。必ずUGEに計算ジョブを投入することで計算ノード上で実行するようにしてください。
GPGPU開発環境を利用したプログラム開発を行う為にGPGPUを搭載したログインノードを用意しています。当該ノードにログイン したい場合は、ゲートウェイノード上でqloginを行う場合に
qlogin -l gpu
と、-l オプションでgpuを指定してください。これでGPGPUを搭載したログインノードにログインができます。（ Phase1、Phase2 共通）
Xeon Phi Coprocessor開発環境を利用したプログラム開発を行う為にXeon Phi Coprocessorを搭載したログインノードを用意しています。当該ノードにログイン したい場合は、ゲートウェイノード上でqloginを行う場合に
qlogin -l phi
と、-l オプションでphiを指定してください。これでXeon Phi Coprocessorを搭載したログインノードにログインができます。 ( Phase2 専用）
次に計算ノードへのジョブの投入方法についてご説明します。
計算ジョブの投入
計算ノードに計算ジョブを投入するには、qsubコマンドを利用します。qsubコマンドでジョブを投入する為には、投入するジョブスクリプトを作成する 必要が有ります。簡単な例ですが以下のように記述します。
#!/bin/sh #$ -S /bin/sh pwd hostname date sleep 20 date echo “to stderr” 1>&2
この時、行の先頭に、"#$"が指定されている行が、UGEへのオプション指示行になります。オプション指示行をシェルスクリプトにする、またはqsubコマンド 実行時のオプションとして指定することでUGEに動作を指示します。主なオプションとしては以下のものがあります。
| 指示行の記述 | コマンドラインオプション指示 | 指示の意味 |
|---|---|---|
| #$ -S インタプリタパス | -S インタプリタパス | コマンドインタプリタをパス指定する。シェル以外のスクリプト言語も指定可能。このオプションは指定必要 |
| #$ -cwd | #$ -cwd | ジョブ実行のカレントワーキングディレクトリを指定する。これによりジョブの標準出力、エラー出力もcwd上に出力される。 指定しない場合はホームディレクトリがカレントワーキングディレクトリとなりジョブ実行される。 |
| #$ -N ジョブ名 | -N ジョブ名 | ジョブの名前を指定する。この指定が無ければスクリプト名がジョブ名になる。 |
| #$ -o ファイルパス | -o ファイルパス | ジョブの標準出力の出力先を指定する。 |
| #$ -e ファイルパス | -e ファイルパス | ジョブの標準エラー出力の出力先を指定する。 |
qsubには上記の他にも指定可能なオプションが多数ありますので、詳細についてはシステムにログイン後"man qsub"として、qsubコマンドの オンラインマニュアルを参照して確認してください。
ジョブ投入時のキューの選択について
ソフトウェア構成でもご説明している通り、本システムでは以下のキューを設定しています(2017年7月現在)。
キューの選択は、qsubコマンドの-lオプションで可能です。
各キューを指定して投入したい場合は下表の「キュー指定のオプション」を指定してqsubを実行してください。
何も指定しなければ、month_hdd.qに投入されます。
ただし、month_hdd.qのリソースに空きがなかった場合、
Thinノードで構成された他のキュー(month_ssd.q、month_gpu.qおよびmonth.q)に空きがあれば、
そちらのキューに割り当てられます。
2014年12月に短時間ジョブ向けキュー（short.q）が追加されました。
Phase1システム 2012年3月導入
| キュー名 | ジョブスロット数 | 実行時間の上限 | 用途 | キュー指定のオプション |
|---|---|---|---|---|
| month_hdd.q | 832 | 62日 | 実行時間2ヶ月間で他にリソース要求が無い時 | 指定なし または -l month(デフォルト) |
| month_gpu.q | 248 | 62日 | GPUを使用 | -l gpu または -l month -l gpu |
| month_medium.q | 160 | 62日 | medium計算ノードを使用 | -l medium または -l month -l medium |
| month_fat.q | 768 | 62日 | fat計算ノードを使用 | -l fat または -l month -l fat ※ |
| debug.q | 48 | 3日 | デバッグ、動作確認用 | -l debug |
| login.q | 192 | 無期限 | ゲートウェイノードからqloginする際に利用 | |
| short.q | 744 | 3日 | 短時間ジョブ向け | -l short |
※month_fat.qにジョブ投入時は「Fat計算ノードにジョブを投入する際のTIPS」も参考にして下さい。
Phase2システム 2014年3月増設
2012年導入時と比較し、新たに並列演算処理に優れた month_phi.q キューが追加されました。
| キュー名 | ジョブスロット数 | 実行時間の上限 | 用途 | キュー指定のオプション |
|---|---|---|---|---|
| month_hdd.q | 1020 | 62日 | 実行時間2ヶ月間で他にリソース要求が無い時 | 指定なし または -l month(デフォルト) |
| month_ssd.q | 640 | 62日 | SSDを利用したい場合に使用 | -l ssd または -l month -l ssd |
| month_phi.q | 600 | 62日 | 大量の並列計算を利用する場合に使用 | -l phi または -l month -l phi |
| month_gpu.q | 310 | 62日 | GPUを使用 | -l gpu または -l month -l gpu |
| month_medium.q | 640 | 62日 | medium計算ノードを使用 | -l medium または -l month -l medium |
| debug.q | 80 | 3日 | デバッグ、動作確認用 | -l debug (-l gpu / -l phi)※ |
| login.q | 420 | 無期限 | ゲートウェイノードからqloginする際に利用 | |
| short.q | 930 | 3日 | 短時間ジョブ向け | -l short |
※gpu搭載ノードのデバッグキューの場合 ⇒ -l debug -l gpu
xeon phi搭載ノードのデバッグキューの場合 ⇒ -l debug -l phi
例えば、month_ssd.qにtest.shというジョブを投入したければ、以下のようにコマンドを投入します。
qsub -l ssd test.sh
また、例えば、medium計算ノードにtest.shというジョブを投入したければ、以下のようにコマンドを投入します。
qsub -l medium test.sh
また、例えば、fat計算ノードにtest.shというジョブを投入したければ、以下のようにコマンドを投入します。
qsub -l fat test.sh
但し、構成として、GPGPUを搭載しているノードは、SSDも搭載しており、SSDを搭載しているノードはHDDも搭載しているので、SSDを利用する為の キューのスロットが一杯になっていれば、ジョブはGPUのキューに流れるように設定されています。また、HDDのキューが一杯であれば、その時に投入した ジョブは、SSDのキューに投入されるように設定されています。その点ご注意ください。
ジョブの実行上限時間の指定について
ジョブ投入時は、qsubコマンドの -l d_rt オプションおよび、-l s_rt オプションでジョブの実行上限時間を指定してください。
-l d_rt オプションおよび、-l s_rt オプションには同じ値を指定してください。
なお、-l d_rt オプションおよび -l s_rt オプションに指定できる上限値はキューの実行時間の上限までです。
ジョブの標準実行上限時間は3日であるため、-l d_rt オプションおよび -l s_rt オプションを指定しなかった場合、ジョブは3日で終了します。
コマンド実行例
ジョブの投入時にジョブの実行上限時間に192時間(8日×24時間)を指定して実行する。( -l d_rt オプション、 -l s_rt オプションを指定して実行する。)
qsub -l d_rt=192:00:00 -l s_rt=192:00:00 test.sh
ジョブの投入状況の確認
qsubで投入したジョブがジョブとして投入されたかを確認します。投入したジョブの状態確認にはqstatコマンドを利用します。例えばジョブが 投入されていたとすれば以下のように表示されます。
qstat
job-ID prior name user state submit/start at queue
slots ja-task-ID
----------------------------------------------------------------------------------
-------------------------------
6929724 0.00000 jobname username r 06/18/2012 13:00:37 month_hdd.q@t274i
1
6929726 0.00000 jobname username r 06/18/2012 13:00:37 month_hdd.q@t274i
1
6929729 0.00000 jobname username r 06/18/2012 13:00:37 month_hdd.q@t287i
1
6929730 0.00000 jobname username r 06/18/2012 13:00:37 month_hdd.q@t250i
1
この時、"state"欄の文字の意味は以下のようになります。
| 文字 | 意味 |
|---|---|
| r | ジョブ実行中 |
| qw | ジョブはキューで待機中 |
| t | ジョブは実行ホストへ転送処理中 |
| E | ジョブにエラーが発生 |
| d | ジョブは削除処理中 |
また、キューの利用状況を確認したい場合は、"qstat -f"と入力します。以下のような出力が出力されます。
[username@t266 pgi]$ qstat -f
queuename qtype resv/used/tot. load_avg arch states
---------------------------------------------------------------------------------
debug.q@t139i BP 0/0/16 0.44 lx-amd64
---------------------------------------------------------------------------------
debug.q@t253i BP 0/0/16 0.49 lx-amd64
---------------------------------------------------------------------------------
debug.q@t254i BP 0/0/16 0.43 lx-amd64
---------------------------------------------------------------------------------
debug.q@t255i BP 0/0/16 0.44 lx-amd64
---------------------------------------------------------------------------------
debug.q@t256i BP 0/0/16 0.41 lx-amd64
(中略)
---------------------------------------------------------------------------------
month_hdd.q@t267i BP 0/16/16 16.65 lx-amd64 a
6901296 0.00000 job_name username r 06/17/2012 22:20:32 16
---------------------------------------------------------------------------------
month_hdd.q@t268i BP 0/0/16 0.50 lx-amd64
---------------------------------------------------------------------------------
month_hdd.q@t269i BP 0/0/16 0.57 lx-amd64
---------------------------------------------------------------------------------
(中略)
month_hdd.q@t280i BP 0/6/16 2.18 lx-amd64
---------------------------------------------------------------------------------
month_hdd.q@t281i BP 0/12/16 12.79 lx-amd64
6901296 0.00000 job_name username r 06/17/2012 22:20:32 12
---------------------------------------------------------------------------------
month_hdd.q@t282i BP 0/6/16 1.34 lx-amd64
---------------------------------------------------------------------------------
month_hdd.q@t283i BP 0/16/16 16.63 lx-amd64 a
6901296 0.00000 job_name username r 06/17/2012 22:20:32 16
---------------------------------------------------------------------------------
month_hdd.q@t284i BP 0/16/16 16.59 lx-amd64 a
6901296 0.00000 job_name username r 06/17/2012 22:20:32 16
---------------------------------------------------------------------------------
(以下略)
これにより、どのノード(キュー)にジョブが投入されているかを判別することができます。
また、 各キューのジョブの投入状況、キューの負荷状況等、全体を把握するのには、"qstat -g c"として確認することが 出来ます。
[username@t266 pgi]$ qstat -g c
CLUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE
--------------------------------------------------------------------------------
debug.q 0.03 0 0 128 128 0 0
login.q 1.00 122 0 70 192 0 0
month_fat.q 0.47 450 0 318 768 0 0
month_gpu.q 0.03 0 0 976 992 0 16
month_hdd.q 0.04 1 0 95 96 0 0
month_medium.q 0.24 32 0 128 160 0 0
month_ssd.q 0.03 0 0 32 32 0 0
web_month.q 0.03 0 0 16 16 0 0
web_week.q 0.03 0 0 16 16 0 0
また、"qstat -j ジョブID"とすることで、ジョブの詳細情報を取得することができます。
[username@t266 pgi]$ qstat -j 6901165
==============================================================
job_number: 6901165
exec_file: job_scripts/6901165
submission_time: Sun Jun 17 22:12:36 2012
owner: username
uid: XXXX
group: usergroup
gid: XXXX
sge_o_home: /home/username
sge_o_log_name: username
sge_o_path: /home/geadmin/UGER/bin/lx-amd64:/usr/lib64/qt-3.3/bin:/
opt/pgi/linux86-64/current/bin:/usr/local/pkg/java/current/bin:/opt/intel/composer
_xe_2011_sp1.6.233/bin/intel64:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/
sbin:/sbin:/opt/bin:/opt/intel/composer_xe_2011_sp1.6.233/mpirt/bin/intel64:/opt/
intel/itac/8.0.3.007/bin:/home/username/bin
sge_o_shell: /bin/bash
sge_o_workdir: /lustre1/home/username/workdir
sge_o_host: t352i
account: sge
cwd: /home/username
hard resource_list: mem_req=4G,s_stack=10240K,s_vmem=4G,ssd=TRUE
mail_list: username@t352i
notify: FALSE
job_name: job_name
jobshare: 0
shell_list: NONE:/bin/sh
env_list:
script_file: userscript
parallel environment: mpi-fillup range: 128
binding: NONE
usage 1: cpu=83:14:55:50, mem=2934667.66727 GBs, io=88.79956,
vmem=57.457G, maxvmem=56.291G
binding 1: NONE
scheduling info: (Collecting of scheduler job information is turned off)
また、実行状況を確認していて、ジョブの状況が異常でジョブの終了を待たずにただちに削除したい場合はqdelコマンドを使用します。 "qdel ジョブID"とします。自分が投入しているジョブをすべて削除したい場合は、"qdel -u ユーザ名"とすることで実行可能です。
結果の確認
ジョブの結果は、ファイル名がジョブ名.oジョブIDのファイルににジョブの標準出力、ファイル名がジョブ名.eジョブIDのファイルにジョブの標準エラー出力 が出力されています。ファイルをご確認ください。また実行したジョブがどのぐらいのリソースを利用したか等の詳細情報については、qacctコマンドで確認することができます。
qacct -j 1996
==============================================================
qname month_ssd.q
hostname t046i
group usergroup
owner username
project NONE
department defaultdepartment
jobname jobscript.sh
jobnumber XXXX
taskid undefined
account sge
priority 0
qsub_time Wed Mar 21 12:35:43 2012
start_time Wed Mar 21 12:35:47 2012
end_time Wed Mar 21 12:45:45 2012
granted_pe NONE
slots 1
failed 0
exit_status 0
ru_wallclock 598
ru_utime 115.199
ru_stime 482.510
ru_maxrss 427756
ru_ixrss 0
ru_ismrss 0
ru_idrss 0
ru_isrss 0
ru_minflt 27853
ru_majflt 44
ru_nswap 0
ru_inblock 2904
ru_oublock 2136
ru_msgsnd 0
ru_msgrcv 0
ru_nsignals 0
ru_nvcsw 23559
ru_nivcsw 6022
cpu 598.520
mem 17179871429.678
io 0.167
iow 0.000
maxvmem 3.929G
arid undefined
高速領域(Lustre領域)の使用方法
Lustre構成
本スーパーコンピュータシステムではユーザホームディレクトリをLustre File Systemで構成されたファイルシステム上に構築しています。Lustreファイルシステムは、主に大規模なスーパーコンピュータシステムで利用される並列ファイルシステムです。
本システムでは、Phase1(2012年3月)でMDS(後述)2台、OSS(後述)12台、OST(後述)72セットで構成したLustre File Systemを、2ファイルシステム導入しました。
Phase2(2014年3月)では、MDS2台、OSS18台、OST108セットで構成したLustre File Systemを3ファイルシステム追加導入し、現在計5ファイルシステムで運用しています。
Lustreの構成要素
Lustre File Systemは、概略で示すとObject Storage Server(OSS)と呼ばれるIOサーバと、Object Storage Target(OST)と呼ばれるディスク装置と、ファイルのメタデータ を管理するMetaData Server(MDS)と呼ばれるサーバを構成要素として成り立ちます。各コンポーネントの説明を下表に記述します。
fat
| コンポーネント | 用語説明 |
|---|---|
| Object Storage Server(OSS) | OST(後述)を管理し、ネットワークからのOSTに対するIO要求を制御します。 |
| Object Storage Target(OST) | ブロックストレージデバイスで、ファイルデータを格納する装置です。一つのOSTは一つの仮想ディスクと考えられ、複数の物理ディスク から構成されます。ユーザデータは一つ以上のオブジェクトとして、一つ以上のOSTに格納されます。1ファイルあたりのオブジェクト数は設定変更が可能で、これをチューニング することでストレージのパフォーマンスの調整を行うことができます。本システム構成ではOSS 1台に対してOSTを8個管理するよう構成しています。 |
| Meta Data Server(MDS) | 1つのLustreファイルシステムに1台(本構成ではHA構成の2台)のサーバで構成され、ファイルシステム内でファイルが割り当てられているオブジェクトの位置情報、ファイル属性情報を管理し、 ファイルIO要求を適切なOSSに誘導します。一旦ファイルIOが開始されれば、MDSは、そのファイルIOに関与せず、クライアントとOSS間で直接データ 転送が行われます。この為Lustre File Systemは高いIO性能を持つことが可能となっています。 |
| Meta Data Target(MDT) | Lustreファイルシステム内のファイルのメタデータ(ファイル名、ディレクトリ、ACL等)を格納するストレージデバイスです。MDSに接続されます。 |
ファイルストライピングについて
Lustreの特長は、1つのファイルを複数のセグメントに分割し、これを複数のOST上に分散して格納できることです。この機能をファイルストライピング(file striping)と呼びます。 ファイルストライピングのメリットは、一つのファイルが複数のOST上に分割して格納される為、それに対してクライアントから並列にread/writeを実行可能で、大容量のファイルについては 高速にread/writeができることです。 しかしファイルストライピングにはデメリットもあります。ファイルは複数のOST上に分散される為、分散したデータのハンドリングのオーバーヘッドが増大することです。 この為、一般にストライプサイズ、ストライプカウントを変更して有効と考えられるのは、
対象となるファイルサイズが数GBであるとき。
等です。Lustreはメタデータは、MDSで一元管理される為、メタデータ操作(ls -lや大量の小サイズファイルの作成等)を伴うファイル操作は、MDSに負荷が 集中し、ローカルファイルシステム上の同等操作に比較して高速ではありません。その点に注意し、同一ディレクトリ上に数万の 小サイズのファイルを置くなどの操作は避けて頂きたくお願い致します（そのような場合は複数のディレクトリに分けて格納したほうが良い。）。
ホームディレクトリの使用状況の確認
ユーザの現在のホームディレクトリの使用状況は、"lfs quota"コマンドで確認することができます。
[munakata@t260 ~]$ lfs quota -u username ./
Disk quotas for user username (uid 3055):
Filesystem kbytes quota limit grace files quota limit grace
./ 792362704 0 1000000000 - 10935 0 0 -
Disk quotas for group tt-gsfs (gid 10006):
Filesystem kbytes quota limit grace files quota limit grace
./ 8250574892 0 0 - 5684904 0 0 -
| 項目 | 意味・説明 |
| kbyte | 使用中のファイル容量(KB) |
| quota | ファイル容量/数の制限値(ソフトリミット) |
| limit | ファイル容量/数の絶対制限値(ハードリミット) |
| grace | 制限値越えの許容期間 |
| files | 使用中のファイル数 |
ファイルストライプの設定方法
以下の手順で実施してください。まず、現状のストライプカウントを確認します。システムデフォルトは1になっています。 "lfs getstrip 対象ファイル(ディレクトリ)"で確認することができます。
[munakata@t261 ~]$ ls -ld tmp drwxr-xr-x 8 username tt-gsfs 4096 6月 19 01:11 2012 tmp [munakata@t261 ~]$ lfs getstripe tmp tmp stripe_count: 1 stripe_size: 1048576 stripe_offset: -1 tmp/SRA010766-assembly-out22
ストライプの設定は、"lfs setstripe"コマンドで設定することができます。
| オプション名 | 説明 |
| -c | ストライプ数、ストライプ幅を設定します。 |
| -o | オフセットを指定します。 |
| -s | ストライピングサイズを指定します |
ログインノード上でのXクライアントの利用方法
ログインノード上でX-Window Clientを利用する場合は、Windows 上の場合は、対応したX-Window サーバエミュレータをユーザ側でご用意下さい。
Macの場合は、 Xcode Toolsのなかに、X11 SDKがありますので、これをインストールしてX11を利用可能にしてください。
Phase2システム 計算機利用方法 （2014/3利用～）
Phase1システムをご利用されていた方が、Phase2システムをご利用になるためには、Phase1システムからのデータ移行が必要となります。
このデータ移行用に、Phase2システムの一部ThinノードにPhase1システムのInfiniBandと接続されたデータ移行専用ノードを用意しております。
データ移行専用ノードでは、Phase1とPhase2両方の機器にアクセス可能となり、Phase1とPhase2のホーム領域間でのデータ移動が可能となります。
Phase2システムのゲートウェイからログインしてご利用下さい。
以下イメージ図になります。
Phase1、Phase2各ホーム領域を閲覧可能なノードが限定されます。詳しくは下記表をご確認下さい。
| 各ホーム領域参照ノード | Phase1ホーム領域パス | Phase2ホーム領域パス |
|---|---|---|
| Phase1－Thin計算ノード,Midium計算ノード | /home/USER | 参照不可 |
| Phase2－Thin計算ノード,Midium計算ノード | 参照不可 | /home/USER |
| Phase2－GW,ログインノード,データ移行用ノード | /home_ph1/USER | /home/USER |
| Fat計算ノード | /home/USER | /home_ph2/USER |
Phase2システムゲートウェイにログイン後、"-l trans"のオプション付きでqloginを行って頂くとデータ移行用ノードへログイン可能となります。
下記にコマンド実行例を記載します。
①データ移行用ノードへのqlogin
[username@gw2 ~]$ qlogin -l trans
Your job 82 ("QLOGIN") has been submitted
waiting for interactive job to be scheduled ...
Your interactive job 82 has been successfully scheduled.
Establishing /home/geadmin2/UGER/utilbin/lx-amd64/qlogin_wrapper session to host nt103i ...
username@nt103i's password: ・・・この場合nt103がデータ移行用ノードになります。
Last login: Wed Feb 19 16:27:01 2014 from nt091i
[username@nt103 ~]$
②cpコマンド実行例
[username@nt103]$ cp /home_ph1/username/(転送元ファイル名) /home/username/(転送先ファイル名)
③rsyncコマンド実行例
[username@nt103]$ rsync -av /home_ph1/username/(転送元ファイル・ディレクトリ名) /home/username/(転送先ファイル・ディレクトリ名)
※Phase2システムのゲートウェイ(GW2)、ログインノード(login.q)上においてもデータ移行は可能ですが、極力データ移行用ノードでデータ移行を実施して頂けます様ご協力お願い致します。
なお、Phase1システムとPhase2システムではOSのバージョンが異なるため、データ移行したプログラムについて再コンパイルが必要となる場合があります。ご了承ください。
