HOME > システムの紹介 > 計算クラスタ

大規模計算クラスタ HPE Apollo 2000 および DL380

沿革
共有メモリシステム
計算クラスタ
アプリケーション紹介

大規模計算クラスタは CPUノードとしてHPE社製 Apollo 2000 を 104ノード、GPUノードとしてHPE社製 DL380 を 9ノード導入しています。

ハードウェア(CPUノード)

CPUノードは搭載メモリの異なる３タイプの大規模計算クラスタ Apollo 2000 （合計104ノード）から構成されています。 搭載メモリ256GB、512GB および 1,024GB のノード数はそれぞれ44ノード、40ノード、20ノードです。 いずれの計算ノードも、28コアを有する Intel 64bit Xeon プロセッサ G6348 2.6GHz を2ソケット、合計56コアを搭載した計算ノードです。

クラスタ構成のシステムは、ノード障害によるシステム全体への影響が最小限にとどまり、保守性が良いという特徴があります。

Apollo2000
CPUノードApollo2000
CPU型番Intel Xeon Gold 6348 (Ice Lake)
基本動作周波数2.6GHz
L3キャッシュ42MB
ノードあたりのコア数56
ノードあたりのCPU理論演算性能4.65TFLOPS
ノードあたりの主記憶DDR4-3200 256GBDDR4-3200 512GBDDR4-3200 1,024GB
ノードあたりの内蔵ディスク480GB SATA RI SSD
OSRed Hat Enterprise Linux 8
インターコネクトノード間:InfiniBand HDR200 (200Gbps)
ノード数444020
CPU理論演算性能205TFLOPS186TFLOPS93.2TFLOPS
バッチキューSMALL, APC

ハードウェア(GPUノード)

GPUノードは大規模計算クラスタ DL380G11（9ノード）から構成されています。

DL380G11 は、32コアを有する Intel 64bit Xeon プロセッサ P8462Y+ 2.8GHz を2ソケット、合計64コアを搭載した計算ノードです。
搭載メモリは 1,024GB、GPUボードとして NVIDIA H100(80GBメモリ搭載) を2枚搭載しています。

GPUノードを利用する場合には、専用のバッチキュー(APGキュー)をご利用いただくことになります。

なお、ログインノードにもGPUが搭載されていますが、そのボードはNVIDIA A100(80GBメモリ搭載）となりますのでご注意ください。

DL380
GPUノードDL380G11
CPU型番Intel Xeon Platinum 8462Y+ (Sapphire Rapids)
基本動作周波数2.8GHz
L3キャッシュ60MB
ノードあたりのコア数64
ノードあたりのCPU理論演算性能5.73TFLOPS
ノードあたりの主記憶DDR5-4800 1,024GB
ノードあたりの内蔵ディスク480GB SATA RI SSD x2 (RAID1)
ノードあたりのGPUNVIDIA H100 80GB x2
OSRed Hat Enterprise Linux 8
インターコネクトノード間:InfiniBand HDR200 (200Gbps)
ノード数9
CPU理論演算性能51.6TFLOPS
バッチキューAPG
GPUカードNVIDIA H100 (PCIe用)
Compute Capability9.0
Micro architectureNVIDIA Hopper
TF32 Tensorコア(TFlops)378
756(スパース性機能を用いた場合）
FP64 Tensorコア(TFlops)51
FP32 (非Tensor演算)(TFlops)51
FP64 (非Tensor演算)(TFlops)26
Tensorコア数456
FP32コア数14,592
相互接続インタフェースPCI Express Gen5
相互接続帯域幅128GB/s
GPUメモリ80GB HBM2e
GPUメモリ帯域幅2,000 GB/s

ソフトウェア

Apollo 2000 および DL380 上で動作するオペレーティングシステムは HPE Superdome Flex (以下 SDF ) と同じく Red Hat Enterprise Linux (RHEL) です。
また、GPUカードを搭載しているGPUノードではGPU対応アプリケーションの実行も可能です。