NVIDIA エリートパートナー　株式会社ジーデップ・アドバンスでは2023年1月から出荷が始まった「NVIDIA RTX 6000Ada」のAI学習ベンチマークを取得しました。
Geforeシリーズや、RTX A6000 と比較してどの程度のパフォーマンスがあるのか速報値として公表致します。尚、この結果は2022年1月23日時点で入手可能なドライバーやCUDA、学習モデルの最新バージョンを用いたものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合がありますことをご了承下さい。

※2023年7月取得　NVIDIA H100 vs NVIDIA A100 vs NVIDIA RTX 6000Ada ベンチマーク　はこちらから

ベンチマーク対象カード

検証比較対象としたカードは以下の通りです。

Geforce RTX 4090 は Geforce RTX 3090 の後継として 2022年10月12日に発売が開始された AdaLovelaceアーキテクチャのGPUです。Ampere世代のGPUと比較して約1.5倍のCUDAコア、Tensorコア、RTコアを搭載し、消費電力は450Wと今回比較するカードの中では最大となります。対して 2023年1月から出荷の始まったRTX 6000 Ada も AdaLovelaceアーキテクチャを搭載し、RTX4090を上回るCUDAコア、Tensorコア、RTコアを搭載し、メモリ容量も48GB GDDR6とアクティブファンのグラフィックカードとしては最大容量となります。RTX 6000 Ada は今回からNVLINK™非対応となっています。これはマザーボード側のPCI-Expressの帯域がGen3の2倍のGen4が標準となり広帯域化してきたため、エクスターナルなインターフェースの見直しが入ったタイミングと推察します。ただ、そもそもNVLINK™やNVSwitch™で繋がっているSXMフォームファクターのGPUシステムとは異なり、PCI-Expressで常時接続されているGPUシステムでNVLINK™を利用するにはそのための前処理が必要となりますので、通信量の少ない処理ですとオーバーヘッドとなり、あまり恩恵が得にくい事象も過去にはありました。今回は2枚の NVIDIA RTX A6000 と1枚のRTX 6000 Ada、2枚のRTX 6000 Adaとの比較も検証しています。

検証機
GWS-TRP/4G
CPU:AMD Ryzen Threadripper PRO 5965WX 24-Cores
MEMORY:DDR4 128GB
SSD:NVMe M.2 960GB
OS:Ubuntu 22.04.1 LTS (Jammy Jellyfish)
Kernel:5.15.0-57-generic 
CUDA:12.0

検証結果

学習件数/秒で Geforce RTX 3090 のパフォーマンスを1とした場合の比較

結果考察

今回の NVIDIA RTX 6000 Ada のベンチマークでは、一部の学習モデルで従来のRTX A6000の約2倍のパフォーマンスを確認できました。また、bart base や bart large など自然言語系の学習では  RTX 6000Ada １枚で、2枚のRTX A6000と同等かそれ以上の値を示しており、コストパフォーマンスの妥当性を示した結果となりました。
RTX 6000 Ada は300Wで動作する3年保証ビジネスユースのカードであり、最新のAda Lovelaceアーキテクチャを搭載したフラッグシップモデルです。本結果から、ご予算さえ合えば充分選択肢として検討する価値のあるカードと言えると思います。
尚、この結果は2022年1月23日時点のドライバーやCUDA、学習モデルを利用したものであり、今後ソフトウェアのバージョンアップ等により性能値が変化する場合があります。また、本ベンチマーク数値は一定の条件下で測定されたものであり、製品の性能を保証するものではございません。

アカデミックキャンペーンのご案内

NVIDIA エリートパートナー　株式会社ジーデップ・アドバンスでは、今回ベンチーマークを取得した「NVIDIA RTX 6000 Ada」と「NVIDIA RTX A6000」のアカデミックキャンペーンを展開中です。ぜひこの機会に高性能なGPUカードをご検討下さい。