NVIDIA H100 vs NVIDIA A100 vs NVIDIA RTX 6000Ada ベンチマーク

2023.07.11 レポート

NVIDIA エリートパートナー　株式会社ジーデップ・アドバンスでは最新のデータセンター向けGPU「NVIDIA H100」と従来の「NVIDIA A100」そして2023年1月から出荷が始まった「NVIDIA RTX 6000Ada」のAI学習ベンチマークを取得しました。
尚、この結果は2023年7月6日時点で入手可能なドライバーやCUDA、学習モデルの最新バージョンを用いたものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合がありますことをご了承下さい。

ベンチマーク対象カード

検証比較対象としたカードは以下の通りです。

	NVIDIA RTX 6000Ada	NVIDIA A100	NVIDIA H100
アーキテクチャ	Ada Lovelace	Ampere	Ada Lovelace
メモリ容量	48GB GDDR6	80GB HBMe2	80GB HBMe2
メモリ帯域	最大960GB/s	最大1,935GB/s	最大1,935GB/s
メモリバス幅	384bit	5120bit	5120bit
CUDAコア数	18176	6912	14,592
Tensorコア数	568	432	456
RTコア数	142	0	0
インターフェース	PCIe Gen4 x16	PCIe Gen4 x16	PCIe Gen5 x16
NVLink	非対応	対応	対応
熱設計電力(TDP)	300W	300W	350W
冷却方法	アクティブ	パッシブ	パッシブ

「NVIDIA RTX 6000Ada」は2023年1月から出荷が開始されたNVIDIA社のハイエンドグラフィックカードです。NVIDIA Ada Lovelaceアーキテクチャを採用し、第3世代の RT コア、第4世代の Tensor コア、次世代 CUDA® コアを搭載し 48GB の広帯域GDDR6メモリと組み合わせることにより、高いAI学習性能及び推論性能を実現します。
さらに、グラフィック性能としても前世代となるNVIDIA RTX A6000と比較して約2倍の性能パフォーマンスを提供し、レンダリング、グラフィックス、NVIDIA Omniverseを使ったコンテンツ制作などの開発や研究もさらに加速出来ます。

検証機
GSV-741SI4U4G

　CPU:Intel(R) Xeon(R) Gold 6430 2100 MHz x2
　MEMORY:DDR5 256GB
　OS:Ubuntu 22.04.1 LTS (Jammy Jellyfish)
　Kernel:5.15.0-73-generic
　CUDA:12.0

検証結果

学習件数/秒で RTX 6000Ada のパフォーマンスを1とした場合の比較

GPU	resnet50	bert base FP16	bert base FP32	bert large FP16	bert large FP32
RTX 6000Ada	1.00	1.00	1.00	1.00	1.00
RTX 6000Ada x 2枚	1.96	1.91	1.91	1.87	1.87
RTX 6000Ada x 4枚	3.89	3.74	3.81	3.70	3.65
A100 80GB	1.50	1.38	1.56	1.47	1.43
A100 80GB x 2枚	2.98	2.75	3.07	2.90	2.80
H100	1.77	1.91	2.00	2.15	1.96
H100 80GB x 2枚	3.52	3.78	3.95	4.21	3.77

結果考察

RTX 6000Ada を2枚使用した学習スピードは NVIDIA A100 を1枚を利用した時よりも約30％程高速になることが確認されました。これは AdaLovelaceアーキテクチャの採用とCUDAコア数、Tensorコア数の違い、2枚で96GBになるGPUメモリなどが要因と思われます。
RTX 6000Ada のリテールプライスは税別約110万円(2枚で220万円）、アカデミックやインセプションパートナー向けの特別価格が一枚税別約90万円（2枚で180万円）ほどとなっています。これに対してNVIDIA A100は1枚約220万円の価格設定となりますので、RTX6000AdaはAI学習においても非常にコストパフォーマンスの高い製品という結果となりました。

2023年7月現在 NVIDIA A100 の納期が未定で実質的に受注停止の状況です。LLM等大規模なAI学習については「RTX 6000Ada」の複数枚利用がコスト的にも性能的にもお勧めです。
（2023年8月　データセンター向けGPU「NVIDIA L40S」が受注開始になりました。こちらも合わせてご検討下さい）

・予算に合わせて1枚単位で増設可能
　予算に合わせて増設や交換が可能で、ワークステーションモデルであれば最大4枚、サーバーモデルであれば最大8枚搭載も可能

・TDP300Wのアクティブファンクーリング
　ビデオカード自体に冷却ファンが搭載されたアクティブクーリングですので搭載対応モデルが多様で、静音性が高い構成も可能です。

・ビデオ出力端子が付き
　4つの DisplayPort 1.4 出力端子が備わっているため別途ビデオカード、ビデオチップが不要です。
　

尚、この結果は2023年7月7日時点のドライバーやCUDA、学習モデルを利用したものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合があります。また、本ベンチマーク数値は一定の条件下で測定されたものであり、製品の性能を保証するものではございません。

アカデミックキャンペーンのご案内

NVIDIA エリートパートナー　株式会社ジーデップ・アドバンスでは、今回ベンチーマークを取得した「NVIDIA RTX 6000 Ada」のアカデミックキャンペーンを展開中です。ぜひこの機会に高性能なGPUカードをご検討下さい。