ハードウェア構成
システム構成図
2019年3月現在のシステム構成概略図です。
計算ノード構成
2019年3月現在、計算ノードとして以下の仕様、種別の計算ノードが利用可能です。
| ノード種別 | 導入時期 | CPU型式 | CPU数 | コア数 (CPU当り) | コア数 (合計) | メモリ容量 | GPGPU Coprocessor | SSD | ネットワーク (1ノード当り) | ホスト名 | ノード数 | 総コア数 | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Fat計算ノード | 2019年 | Intel Xeon Gold 6154 | 8 | 18 | 144 | 6TB | 無し | 無し | InfiniBand 4×EDR×4 | fat1,fat2 | 2 | 288 | HyperThread:OFF TurboBoost:ON |
| Medium計算 ノード |
2019年 | Intel Xeon Gold 6148 | 4 | 20 | 80 | 3TB | 無し | 無し | InfiniBand 4×EDR×1 | m01-m08 | 10 | 800 | HyperThread:OFF TurboBoost:ON |
| Thin計算ノード | 2019年 | AMD EPYC7501 | 2 | 32 | 64 | 512GB | 無し | SSD(1.6TB,3.2TB)×1 (ノード当り) |
InfiniBand 4×EDR×1 | at001-at136 | 136 | 8,704 | HyperThread:OFF TurboBoost:ON |
| Thin計算ノード | 2019年 | Intel Xeon Gold 6130 | 2 | 16 | 32 | 384GB | 無し | SSD(1.6TB,3.2TB)×1 (ノード当り) |
InfiniBand 4×EDR×1 | it001-it052 | 52 | 1,664 | HyperThread:OFF TurboBoost:ON |
| Thin計算ノード(GPGPU搭載) | 2019年 | Intel Xeon Gold 6136 | 2 | 12 | 24 | 384GB | NVIDIA V100 SXM2×4 |
SSD(1.6TB,3.2TB)×1 (ノード当り) |
InfiniBand 4×EDR×1 | igt001-igt016 | 16 | 384 | HyperThread:OFF TurboBoost:ON |
Fat、Medium、Thin計算ノードでCPU種別が異なりますのでご留意ください。また、Thinノードについては他の業務用途にノードを上記の台数から切り出して利用しており、利用可能 台数は予告なく変更になります。現時点で利用可能なノード数についてはシステム稼働状況をご参照下さい。
各CPU仕様
各CPUの基本仕様です。(Intel と AMD のホームページから引用)
| プロセッサ名 | Xeon Gold 6154 | Xeon Gold 6148 | AMD EPYC7501 | Xeon Gold 6130 | Xeon Gold 6136 |
|---|---|---|---|---|---|
| コードネーム | Skylake | Skylake | Naples | Skylake | Skylake |
| リリース時期 | 2017年第3四半期 | 2017年第3四半期 | 2017年第2四半期 | 2017年第3四半期 | 2017年第3四半期 |
| コア数 | 18 | 20 | 32 | 16 | 12 |
| 物理スレッド数 | 36 | 40 | 64 | 32 | 24 |
| クロックスピード | 3.00GHz | 2.4GHz | 2.0GHz | 2.1GHz | 3.00GHz |
| 理論演算性能(CPU当り) | 1728.0GFLOPS | 1536.0GFLOPS | 512.0GFLOPS | 1075.2GFLOPS | 1152.0GFLOPS |
| Turbo boost最大周波数 | 3.70GHz | 3.70GHz | 3GHz | 3.70GHz | 3.70GHz |
| Cache | 24.75MB | 27.5MB | 64MB | 21MB | 24.75MB |
Intel製CPUとしてskylakeの世代を導入しています。新しい拡張命令セットであるIntel AVX-512をサポートしており、利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX-512に対応しているソフトウェアについてはIntel製CPU搭載のThinノードを利用して頂いたほうが有利です。
今回、AMD製CPUとしてEPYC7501を導入しています。1CPU32コアを有することが特徴です。メモリも8チャネルあり大容量のメモリを搭載可能です。今回は512GB/nodeのメモリを搭載しています。
Thinノード内に搭載されているGPGPUの仕様です。
| 名称 | Tesla V100 SXM2 (GPGPU) |
| コア数(個) | 640 |
| クロック速度 | 1,455MHz |
| 単精度浮動小数点演算ピーク性能 | 15TFLOPS |
| 倍精度浮動小数点演算ピーク性能 | 7.5TFLOPS |
| 単体コア理論性能 | 1.3GLOPS |
| メモリサイズ | 6GB(GDDR5) |
| メモリバンド幅 | 900GB/sec |
| 1GFLOPS毎のメモリバンド幅 | 266GB/sec |
| 接続帯域 | 8 (PCIe2.0 x16)GB/sec |
各計算ノードの推奨使用用途について
Fat計算ノード
CPUコアとして144コアを搭載し、6TBの物理メモリを単一メモリ空間上のメモリとしてアクセス可能なNUMA(Non Uniformed Memory Access)アーキテクチャを採用したサーバです。単一プロセスで大きなメモリアドレス空間を必要とするようなマルチスレッドプログラム(大規模アセン ブル時のde novo アセンブラ。Velvet、AllpathsLG、SOAPdenovo等)利用に向いています。
FATノードはUGE配下ではなく、申請制での利用となります。詳細は別途案内いたします。
利用プログラム、必要なメモリ量、試してみたい計算アルゴリズム等を事前に十分検討して頂き、ご利用頂きますようお願いします。
Medium計算ノード
3TBの物理メモリを搭載した80コアを搭載した計算ノードです。Fat計算ノードほどではないが大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。
Thin計算ノード
導入フェーズにおいてサーバ向けCPUとして最新のCPUを採用し、2019年導入のThin計算ノードにはIntel Xeon GOLDとAMD EPYCを搭載しています。
MPI並列に対応したアプリケーション、 またはタスク間に依存関係の無い単純並列(embarassingly parallel)なジョブ、または複数のノードから大量の並列IOを行うようなジョブにはThin計算ノードをご利用ください。全ノードでSSDを搭載しています。また、一部のノードにはGPGPUを搭載しています。
これらの計算ノードは、基本的にジョブ管理システムを介して利用して頂くことになります。具体的な利用方法については、システム利用方法をご参照ください。
内部ネットワーク構成
2019年導入のThin計算ノードはInfiniBand 4×EDR ×1を搭載し、各計算ノード間はInfiniBand 4×EDR スイッチにより接続されています。InfiniBandスイッチはSpine-Leaf構成となっており、上流への接続帯域：下流への接続帯域は1:4となっています。InfiniBandスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。
ストレージ構成
ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。
| ストレージ種別 | マウントディレクトリ | マウントプロトコル | ローカル／リモートの別 | 利用可能な計算ノード | アクセス速度 | 主な用途、備考 |
|---|---|---|---|---|---|---|
| 高速領域 | /lustre6 - /lustre8 | lustre | リモート | すべての種別の計算ノードからアクセス可能 | 高い。 複数ノードからの高並列での書き込みに対応。 |
ホームディレクトリ、及びジョブの出力用スクラッチエリア |
| SSD領域 | /data1 | ダイレクトマウント | ローカル | Thin計算ノードで利用可能 | 非常に高い。 | ジョブのスクラッチデータ置き場（再起動で削除）但しノード間で共有はできない。 |
| GPFS領域 | /gpfs1 - /gpfs3 | Spectrum Scale | リモート | 研究用途ノードでは通常無し | 高い。 複数ノードからの高並列での書き込みに対応。 |
業務用途 |
| Tape領域 | リモート | 研究用途ノードでは通常無し | 低い。 | データバックアップ |
高速領域
高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。但し、Lustreは小サイズのファイルを大量(数万)アクセスするなどの場合については高い性能を持つわけでは ありません。
| 項目名 | Phase3 システム |
|---|---|
| ファイルシステム容量 | 3.8PB (×1ファイルシステム) 5PB(×2ファイルシステム) |
| ストライプカウント(システムデフォルト) | 1 |
| ストライプサイズ | 1,048,576 |
| ユーザ当りのquotaサイズ | 1TB (申請により拡張可能) |
計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。容量については極力希望に沿った割当を行う方針ですが、例えば100TBを数年間利用など要求値が破格な場合、割り当てをお断りする場合 がありますので予めご了承ください。また割り当て容量は年度末時に実際の利用実体を確認し、割り当てを削減する場合もありますのでご了承ください。
GPFS領域,Tape領域
業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。構成の詳細については割愛します。ご了承ください。
SSD領域
ハードウェア構成で記述したSSD搭載ノード上に搭載されたSSDは、当該ノード上で/ssdにマウントされており利用可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。但し /data1はログインノードと共有されていません。この為利用したい場合はジョブスクリプトの中で計算処理前にデータをホームディレクトリ上から予めコピーし、結果を/data1に書き出した場合は、ジョブの終了前に結果を/data1からホームディレクトリに 退避する必要が有ります。
