ソフトウェア構成

OSについて

2014年3月現在、スーパーコンピュータシステムは、OSとしてLinuxを採用しており、全ての計算ノードはディストリビューションとしてRed Hat Enterprise Linux 6 を利用しています。
なお、各導入PhaseシステムでOSのバージョンが異なりますのでご注意ください。
このため、Phase1システムからPhase2システムへ移動したプログラムについては、再コンパイルが必要となる場合があります。ご了承ください。

システム	OS	バージョン
Phase1システム	Red Hat Enterprise Linux 6	6.1
Phase2システム	Red Hat Enterprise Linux 6	6.4

ジョブ管理システムについて

スーパーコンピュータシステムでは、Univa Grid Engine(UGE)をジョブ管理システムとして利用しています。 Univa Grid Engineとは、旧Sun Micro Systems社が所有していたオープンソースソフトウェアであるSun Grid Engine6.2U5をから派生した商用製品で、基本的なシステム概念、ユーザコマンド体系等は Sun Grid Engineと同一です。 UGEを利用したシステムの基本的な利用方法についてはシステム利用方法をご参照ください。

UGEのジョブ関連上限設定について

1ユーザが同時利用可能ジョブスロット数は、以下の通りです。

設定項目	設定値
ジョブスロット上限(一般研究用アカウント)	300
ジョブスロット上限(大規模利用アカウント)	300
1ユーザ当りジョブ投入上限	5000
1ユーザ当り投入タスク上限	75000

計算機リソース拡張申し込みを行うことで、ジョブスロット上限は大規模利用アカウントまでの拡張が許可されますので必要な方は申請を行ってください。

キュー構成について

利用する計算ノードの種別と利用期間により以下のキューを設定しています。(2017年11月現在)

2014年12月に短時間ジョブ向けキュー（short.q）が追加されました。

Phase1システム　2012年3月導入　

キュー名	ジョブスロット数	実行時間の上限	用途	キュー指定のオプション
month_hdd.q	832	62日	実行時間2ヶ月間で他にリソース要求が無い時	指定なしまたは -l month(デフォルト)
month_gpu.q	248	62日	GPUを使用	-l gpu または -l month -l gpu
month_medium.q	160	62日	medium計算ノードを使用	-l medium または -l month -l medium
month_fat.q	768	62日	fat計算ノードを使用	-l fat または -l month -l fat
debug.q	48	3日	デバッグ、動作確認用	-l debug
login.q	192	無期限	ゲートウェイノードからqloginする際に利用
short.q	744	3日	短時間ジョブ向け	-l short

Phase2システム　2014年3月増設

2012年導入時と比較し、新たに並列演算処理に優れた month_phi.q キューが追加されました。

キュー名	ジョブスロット数	実行時間の上限	用途	キュー指定のオプション
month_hdd.q	1020	62日	実行時間2ヶ月間で他にリソース要求が無い時	指定なしまたは -l month(デフォルト)
month_ssd.q	640	62日	SSDを利用したい場合に使用	-l ssd または -l month -l ssd
month_phi.q	600	62日	大量の並列計算を利用する場合に使用	-l phi または -l month -l phi
month_gpu.q	310	62日	GPUを使用	-l gpu または -l month -l gpu
month_medium.q	640	62日	medium計算ノードを使用	-l medium または -l month -l medium
debug.q	80	3日	デバッグ、動作確認用	-l debug　(-l gpu / -l phi)※
login.q	420	無期限	ゲートウェイノードからqloginする際に利用
short.q	930	3日	短時間ジョブ向け	-l short

　※gpu搭載ノードのデバッグキューの場合　⇒　-l debug -l gpu
　　 xeon phi搭載ノードのデバッグキューの場合　⇒　-l debug -l phi

ジョブの投入方法、ジョブ管理システムの具体的な利用法については、システム利用方法をご参照ください。

ファイル転送ソフトウェアについて

システム内と外部のデータ転送には、sftp,scpとasperaが利用可能です。具体的な転送方法については、ファイル転送をご参照ください。

プログラミング環境について

コンパイラ環境について

開発環境として以下の3種が利用可能です。

パッケージ名	バージョン	対応言語	インストール位置	ドキュメントURL(サイト外)
Intel Composer XE Linux	16.0.1(XE2016)	C、C++、Fortran77, 90,IV,2003,2008	/opt/intel/xe_2016/	URL
PGI Accelerator CDK Cluster Development Kit	16.4	C、C++、C99、Fortran77 90,95,2003、HPF	/opt/pgi/linux86-64/current/	URL
Gnu Compiler(OSS)	4.8.5	C、C++、Objective-C、Fortran77, 90,2003,2008、Java、Ada	/usr/local/bin/	URL

使用方法については、プログラミング環境をご参照ください。

MPI環境について

MPI環境としてはが使用可能となっています。使用方法については、プログラミング環境をご参照ください。

科学技術計算ライブラリについて

以下のものが利用可能です。詳細についてはプログラミング環境をご参照ください。

パッケージ名	バンドル製品	インストール位置
Intel Cluster Studio	Intel MKL、Intel IPP、Intel TBB、Intel MPI、Intel Trace Analyzer/Collector	/opt/intel
PGI Accelerator CDK Cluster Development Kit	PGDBG、PGPROF、ACML、ScaLAPACK(v1.7)	/opt/pgi

GPU利用環境について

前述のように、64ノードのThinノードについてGPGPUのTesla2090を1台搭載しています。利用環境としてNvidia社の CUDA(2016年6月現在バージョン7.5)をインストールしています。またGPUのドライババージョンは352.39(2016年6月現在)です。 OpenCLについてはNVIDIA GPU Computing SDKに収録されています。環境の具体的な利用方法については、プログラミング環境をご参照下さい。

プロファイラについて

PGIコンパイラ環境に同梱されているpgprofが利用可能です。詳細についてはプログラミング環境を参照してください。

シェル環境について

システムへのログインシェルは、bash,tcsh,zshが利用可能です。シェルについてはディストリビューションに同梱されているものを利用しています。ログインシェルの変更は可能です。本システムはLDAPを利用してユーザ管理をしている為、変更には、chshではなく、システム利用TIPSに記載された方法に従って変更を実施してください。

Java環境について

利用可能です。Javaは64ビットバージョンのみをインストールしています。利用方法詳細についてはプログラミング環境をご参照ください。

一般ユーザが利用可能なスクリプト言語について

ログインノード、計算ノードで一般ユーザが利用可能なスクリプト言語環境は以下の通りです。

言語	バージョン	インストールパス
ruby	2.3.0	/usr/local/bin/ruby
python	2.7.2/3.5.1	/usr/local/bin/python
perl	5.22.1	/usr/local/pkg/perl

用意しているバイオ系データベースについて

詳細については、利用可能DBを参照下さい。