ハードウェア構成

• システム構成図
• 計算ノード構成
• 各CPU仕様
• 各計算ノードの推奨使用用途について
• 内部ネットワーク構成
• ストレージ構成
• システム総リソース

システム構成図

2014年3月現在のシステム構成概略図です。

計算ノード構成

2014年3月現在、計算ノードとして以下の仕様、種別の計算ノードが利用可能です。

FAT、Medium、Thin計算ノードでCPU種別が異なりますのでご留意ください。また、Thinノードについては他の業務用途にノードを上記の台数から切り出して利用しており、利用可能 台数は予告なく変更になります。現時点で利用可能なノード数についてはシステム稼働状況をご参照下さい。

各CPU仕様

各CPUの基本仕様です。(Intel のホームページから引用)

E5-2670 (開発コードネームSandyBridge)の特長は、新しい拡張命令セットであるIntel AVXをサポートしている点です。AVXを利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX対応しているソフトウェアについてはThinノードを利用して頂いたほうが有利です。
E5-2680v2 (開発コードネームIvy Bridge-EP)は、E5-2600シリーズの後継となる製品で、プラットフォームはそのままに製造プロセスルールを32nmから22nmへ微細化することで更なる性能向上と消費電力削減を図ったモデルです。

Thinノード内に搭載されているGPGPU、Xeon Phi Coprocessorの仕様です。

グラフィックス系プロセッサの特徴　：　単体コアの理論性能を低下させ熱問題を回避した上でコア数を何千個にも増やしたことにより高いスループット性能を実現。
Xeon系コプロセッサの特徴　：　単体コアで処理できる命令数を増やし、クロック速度を下げコア性能を高めたことで消費電力低減を実現。単体コアの内部で4命令を同時処理する仕組みを採用しています。

また各計算ノードは、一つのフルバイセクションのInfiniBandスイッチファブリックに接続されており、各ノードお互いの使用帯域幅に影響を受けることなく通信を行うことが可能です。

各計算ノードの推奨使用用途について

FAT計算ノード

CPUコアとして768コアを搭載し、10TBの物理メモリを単一メモリ空間上のメモリとしてアクセス可能なNUMA(Non Uniformed Memory Access)アーキテクチャを採用したサーバです。単一プロセスで大きなメモリアドレス空間を必要とするようなマルチスレッドプログラム(大規模アセン ブル時のde novo アセンブラ。Velvet、AllpathsLG、SOAPdenovo等)利用に向いています。 但しプロセッサは後述のThin計算ノードと比べ一世代前のプロセッサとなります。
台数としてはFATノードは1台でそれをユーザ全員で共有しておりますので、利用プログラム、必要なメモリ量、試してみたい計算アルゴリズム等を事前に十分検討して頂き、ご利用頂きますようお願いします。

Medium計算ノード

2TBの物理メモリを搭載した80コアを搭載した計算ノードです。FAT計算ノードほどではないが大規模なメモリを必要とするようなプログラムを実行するのに向いています。

Thin計算ノード

各導入フェーズにおいてサーバ向けCPUとして最新のCPUを採用し、2012年導入時のThin計算ノードにはIntel Xeon CPU E5-2670を2基、2014年導入のThin計算ノードにはIntel Xeon E5-2680v2を2基搭載しています。
単体CPU性能としてはThin計算ノードが本構成の中では高くなりますので、MPI並列に対応したアプリケーション、 またはタスク間に依存関係の無い単純並列(embarassingly parallel)なジョブ、または複数のノードから大量の並列IOを行うようなジョブにはThin計算ノードをご利用ください。
また、一部のノードにはGPGPU、Coprocessor、SSDを搭載しています。

これらの計算ノードは、基本的にジョブ管理システムを介して利用して頂くことになります。具体的な利用方法については、システム利用方法をご参照ください。

内部ネットワーク構成

2014年導入のThin計算ノードはInfiniBand 4×FDR ×1、その他各計算ノード間は、InfiniBand 4×QDR ×1によりフルバイセクションで接続されています。またすべての計算ノードはInfiniBandコアスイッチ群に接続されており、InfiniBandコアスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。

ストレージ構成

ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。

高速領域

高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。但し、Lustreは小サイズのファイルを大量(数万)アクセスするなどの場合については高い性能を持つわけでは ありません。

計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。容量については極力希望に沿った割当を行う方針ですが、例えば100TBを数年間利用など要求値が破格な場合、割り当てをお断りする場合 がありますので予めご了承ください。また割り当て容量は年度末時に実際の利用実体を確認し、割り当てを削減する場合もありますのでご了承ください。

省電力領域

業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。構成の詳細については割愛します。ご了承ください。

SSD領域

ハードウェア構成で記述したSSD搭載ノード上に搭載されたSSDは、当該ノード上で/ssdにマウントされており利用可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。但し /ssdはログインノードと共有されていません。この為利用したい場合はジョブスクリプトの中で計算処理前にデータをホームディレクトリ上から予めコピーし、結果を/ssdに書き出した場合は、ジョブの終了前に結果を/ssdからホームディレクトリに 退避する必要が有ります。

システム総リソース