NVIDIA A100 は 倍精度FP64から、P32、FP16、INT8、INT4 まで、あらゆる精度をサポート。 マルチインスタンス GPU (MIG) テクノロジでは、1 個の A100 GPU で複数の AI モデルを同時に運用できるため、計算リソースの使用を最適化できます。また、A100 の数々の推論高速化は、スパース行列演算機能によってさらに 2 倍の性能を発揮します。
ジーデップ・アドバンスのGSV-SMC4U8GはGen4のPCI-Exppress Gen4 の NVIDIA A100を最大8枚搭載可能です。
NVIDIA A100 (PCI Express Gen4) 性能
ピーク FP64 | 9.7 TF |
ピーク FP64 Tensor コア | 19.5 TF |
ピーク FP32 | 19.5 TF |
ピーク TF32 Tensor コア | 156 TF | 312 TF* |
ピーク BFLOAT16 Tensor コア | 312 TF | 624 TF* |
ピーク FP16 Tensor コア | 312 TF | 624 TF* |
ピーク INT8 Tensor コア | 624 TOPS | 1,248 TOPS* |
ピーク INT4 Tensor コア | 1,248 TOPS | 2,496 TOPS* |
GPU メモリ | 40 GB |
GPU メモリ帯域幅 | 1,555 GB/s |
相互接続 | PCIe Gen4 64 GB/s |
マルチインスタンス GPU | 最大 7MIG @5GB のさまざまなインスタンス サイズ |
フォーム ファクター | PCIe |
最大 TDP 電力 | 250W |
主要アプリケーション実効性能 | 90% |
1CPUあたり最大32コアを実現する第3世代EPYCでは、CPUのマイクロアーキテクチャが第2世代EPYCのZen 2から新世代のZen 3へと進化しており、キャッシュ階層や内部の分岐予測や実行ユニットなどの見直しなどにより、IPCがさらに高くなっています。またメモリは6チャンネルに対応。Infinity Fabricとメモリクロックを同期してメモリ性能の向上が図られています。