サイトポリシー サイトマップ
2019 年 03 月 20 日

ハードウェア構成

 


システム構成図

2019年3月現在のシステム構成概略図です。

network overview 20190223

計算ノード構成

2019年3月現在、計算ノードとして以下の仕様、種別の計算ノードが利用可能です。

 
ノード種別導入時期CPU型式CPU数コア数
(CPU当り)
コア数
(合計) 
メモリ容量GPGPU
Coprocessor
SSDネットワーク
(1ノード当り)
ホスト名ノード数総コア数備考
Fat計算ノード 2019年 Intel Xeon Gold 6154 8 18 144 6TB 無し 無し InfiniBand 4×EDR×4 fat1,fat2 2 288 HyperThread:OFF
TurboBoost:ON
Medium計算
ノード
2019年 Intel Xeon Gold 6148 4 20 80 3TB 無し 無し InfiniBand 4×EDR×1 m01-m08 10 800 HyperThread:OFF
TurboBoost:ON
Thin計算ノード 2019年 AMD EPYC7501 2 32 64 512GB 無し SSD(1.6TB,3.2TB)×1
(ノード当り)
InfiniBand 4×EDR×1 at001-at136 136 8,704 HyperThread:OFF
TurboBoost:ON
Thin計算ノード 2019年 Intel Xeon Gold 6130 2 16 32 384GB 無し SSD(1.6TB,3.2TB)×1
(ノード当り)
InfiniBand 4×EDR×1 it001-it052 52 1,664 HyperThread:OFF
TurboBoost:ON
Thin計算ノード(GPGPU搭載) 2019年 Intel Xeon Gold 6136 2 12 24 384GB NVIDIA V100
SXM2×4
SSD(1.6TB,3.2TB)×1
(ノード当り)
InfiniBand 4×EDR×1 igt001-igt016 16 384 HyperThread:OFF
TurboBoost:ON

Fat、Medium、Thin計算ノードでCPU種別が異なりますのでご留意ください。また、Thinノードについては他の業務用途にノードを上記の台数から切り出して利用しており、利用可能 台数は予告なく変更になります。現時点で利用可能なノード数についてはシステム稼働状況をご参照下さい。

各CPU仕様

各CPUの基本仕様です。(Intel と AMD のホームページから引用)

プロセッサ名Xeon Gold 6154Xeon Gold 6148AMD EPYC7501Xeon Gold 6130Xeon Gold 6136
コードネーム Skylake Skylake  Naples Skylake  Skylake
リリース時期 2017年第3四半期    2017年第3四半期    2017年第2四半期    2017年第3四半期     2017年第3四半期   
コア数 18 20 32 16 12
物理スレッド数 36 40 64 32 24
クロックスピード 3.00GHz 2.4GHz 2.0GHz 2.1GHz 3.00GHz
理論演算性能(CPU当り) 1728.0GFLOPS 1536.0GFLOPS 512.0GFLOPS 1075.2GFLOPS 1152.0GFLOPS
Turbo boost最大周波数 3.70GHz 3.70GHz 3GHz 3.70GHz 3.70GHz
Cache 24.75MB 27.5MB 64MB 21MB 24.75MB

Intel製CPUとしてskylakeの世代を導入しています。新しい拡張命令セットであるIntel AVX-512をサポートしており、利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX-512に対応しているソフトウェアについてはIntel製CPU搭載のThinノードを利用して頂いたほうが有利です。
今回、AMD製CPUとしてEPYC7501を導入しています。1CPU32コアを有することが特徴です。メモリも8チャネルあり大容量のメモリを搭載可能です。今回は512GB/nodeのメモリを搭載しています。

Thinノード内に搭載されているGPGPUの仕様です。

名称 Tesla V100 SXM2 (GPGPU)    
コア数(個) 640
クロック速度 1,455MHz
単精度浮動小数点演算ピーク性能 15TFLOPS
倍精度浮動小数点演算ピーク性能 7.5TFLOPS
単体コア理論性能 1.3GLOPS
メモリサイズ 6GB(GDDR5)
メモリバンド幅 900GB/sec
1GFLOPS毎のメモリバンド幅 266GB/sec
接続帯域 8 (PCIe2.0 x16)GB/sec

 

各計算ノードの推奨使用用途について

Fat計算ノード

CPUコアとして144コアを搭載し、6TBの物理メモリを単一メモリ空間上のメモリとしてアクセス可能なNUMA(Non Uniformed Memory Access)アーキテクチャを採用したサーバです。単一プロセスで大きなメモリアドレス空間を必要とするようなマルチスレッドプログラム(大規模アセン ブル時のde novo アセンブラ。Velvet、AllpathsLG、SOAPdenovo等)利用に向いています。 
FATノードはUGE配下ではなく、申請制での利用となります。詳細は別途案内いたします。
利用プログラム、必要なメモリ量、試してみたい計算アルゴリズム等を事前に十分検討して頂き、ご利用頂きますようお願いします。

Medium計算ノード

3TBの物理メモリを搭載した80コアを搭載した計算ノードです。Fat計算ノードほどではないが大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。

Thin計算ノード

導入フェーズにおいてサーバ向けCPUとして最新のCPUを採用し、2019年導入のThin計算ノードにはIntel Xeon GOLDとAMD EPYCを搭載しています。
MPI並列に対応したアプリケーション、 またはタスク間に依存関係の無い単純並列(embarassingly parallel)なジョブ、または複数のノードから大量の並列IOを行うようなジョブにはThin計算ノードをご利用ください。全ノードでSSDを搭載しています。また、一部のノードにはGPGPUを搭載しています。

これらの計算ノードは、基本的にジョブ管理システムを介して利用して頂くことになります。具体的な利用方法については、システム利用方法をご参照ください。

内部ネットワーク構成

2019年導入のThin計算ノードはInfiniBand 4×EDR ×1を搭載し、各計算ノード間はInfiniBand 4×EDR スイッチにより接続されています。InfiniBandスイッチはSpine-Leaf構成となっており、上流への接続帯域:下流への接続帯域は1:4となっています。InfiniBandスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。

ストレージ構成

ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。

ストレージ種別マウントディレクトリマウントプロトコルローカル/リモートの別利用可能な計算ノードアクセス速度主な用途、備考
高速領域 /lustre6 - /lustre8 lustre リモート すべての種別の計算ノードからアクセス可能 高い。
複数ノードからの高並列での書き込みに対応。
ホームディレクトリ、及びジョブの出力用スクラッチエリア
SSD領域 /data1 ダイレクトマウント ローカル Thin計算ノードで利用可能 非常に高い。 ジョブのスクラッチデータ置き場(再起動で削除)但しノード間で共有はできない。
GPFS領域 /gpfs1 - /gpfs3 Spectrum Scale リモート 研究用途ノードでは通常無し 高い。
複数ノードからの高並列での書き込みに対応。
業務用途
Tape領域     リモート 研究用途ノードでは通常無し 低い。 データバックアップ

高速領域

高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。但し、Lustreは小サイズのファイルを大量(数万)アクセスするなどの場合については高い性能を持つわけでは ありません。

項目名Phase3 システム
ファイルシステム容量 3.8PB (×1ファイルシステム)
5PB(×2ファイルシステム)
ストライプカウント(システムデフォルト) 1
ストライプサイズ 1,048,576
ユーザ当りのquotaサイズ 1TB (申請により拡張可能)

計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。容量については極力希望に沿った割当を行う方針ですが、例えば100TBを数年間利用など要求値が破格な場合、割り当てをお断りする場合 がありますので予めご了承ください。また割り当て容量は年度末時に実際の利用実体を確認し、割り当てを削減する場合もありますのでご了承ください。

GPFS領域,Tape領域

業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。構成の詳細については割愛します。ご了承ください。

SSD領域

ハードウェア構成で記述したSSD搭載ノード上に搭載されたSSDは、当該ノード上で/ssdにマウントされており利用可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。但し /data1はログインノードと共有されていません。この為利用したい場合はジョブスクリプトの中で計算処理前にデータをホームディレクトリ上から予めコピーし、結果を/data1に書き出した場合は、ジョブの終了前に結果を/data1からホームディレクトリに 退避する必要が有ります。