数年前、NVIDIA の創業者であり CEO の Jensen Huang からこんな話しを聞きました。「NVIDIA は 1993 年に GPU の会社として創業した。2006 年に CUDA を発明して GPU Computing の会社になった。そしていま AI のワークロードを支える AI Computing の会社になった。これから数年後に NVIDIA は Computing Company になる」と。
”AI” が取れる意味は「ソフトウェアがソフトウェアを書く時代が来る。すなわち全てのソフトウェアが AI になる時、Computing = AI Computing となるから」だと。

5 月 14 日に GPU Technology Conference(GTC 2020)の基調講演が YouTube で公開されました。GTC 2020 は元々3 月 23 日から 26 日まで米国カリフォルニア州サンノゼで開催される予定でしたが、オンライン開催となり、基調講演は行われないままになっていました。
今回はライブではなく、録画で、しかも Jensen の自宅のキッチンで収録されました。私は一度だけ Jensen の家に行ったことがありますが、もしかしたらその家だったかもしれません。基調講演は 5 月 14 日の午後 10 時（日本時間）に YouTube 上にテーマ毎に 9 つのパートに分かれてアップロードされました。事前にメディア向けの説明会があったようで、同時に各社から記事も公開されました。

基調講演は合計 1 時間 45 分あります。Jensen は同じことを 2 度言う癖がありますが、今回はそれはなかったので、もしこれがライブだったら 3 時間以上の長い基調講演になっていたことでしょう。3 月に現地に行く予定だった人には不幸中の幸いだったかもしれません（笑） 

講演の流れは例年通りで、まず最新のグラフィックスの話題から始まりました。RTX グラフィクスはSIGGRAPH 等で発表済みですが、GTC では初めてだと思います（RTXサーバーは数社から出ていますが、その一つが BOXX で、ジーデップ・アドバンスは BOXXの日本総代理店なので、いつでもご用命を承ります）。

続いて HPC とデータアナリティクス（Part 3）からディープラーニングの応用例（Part 4および Part 5） となり、いよいよ注目の Part 6 で新しい GPU アーキテクチャである Ampereが発表されました。YouTube のパート毎の時間配分を見ても Part 6 が一番長くなっています。

NVIDIA A100 は TSMC の 7nm のテクノロジーを使い、ダイサイズ 826mm2、トランジスタ数 540 億という巨大な半導体です。さらに HBM2 メモリを 40GB 搭載し、メモリバンド幅は 1.6TB/s、CUDA コア数は 6,912、Tensor コア数は 432 となっています。

NVIDIA V100 と比較するとトランジスタ数は約 2.6 倍になっていますが、CUDA コア数は5,120 から 6,912 と 35%増しに留まっています。NVIDIA の GPU はムーアの法則に従って増え続けるトランジスタを利用して CUDA コアの数を増やして性能を向上させて来ましたが、今回は増えたトランジスタのほとんどを Tensor コアに使っているようです。そういう意味では NVIDIA A100 は GPU というより Google の TPU や Huawei の Ascend のようなTensor プロセッサと言った方がいい気がしますが、CUDA コアが一つでもあれば GPU と言うのかもしれません。最近各社がディープラーニングの演算用に Tensor 計算専用のプロセッサを発表しているので、 「汎用プロセッサ」である GPU の様々な機能を保ちつつ、Tensor 計算専用機との闘いも視野に入れたトランジスタの配分になっているのでしょう。
その大幅に機能が強化された Tensor コアでは FP64、TF32、BF16、FP16、INT8、INT4など様々な精度がサポートされました。

NVIDIA V100のTensorコアでは演算は16ビットの浮動小数点(FP16)で行列の掛け算を行い、足し算は32ビットの浮動小数点(FP32)で行う構造でしたが、NVIDIA A100では64ビットの倍精度浮動小数点(FP64)がサポートされた他、新方式のTensor Float 32という方式が採用され、FP32で書かれたプログラムをFP16に書き換えることなく、最大20倍の性能向上が得られるとしています。

またこれまでNVIDIA V100はディープラーニングの学習用で、推論で主に使われるINT8やINT4はサポートしていませんでしたが、これらの精度もサポートし、学習から推論まで全て対応出来るようになりました。この強烈な性能を持つNVIDIA A100を8基搭載した第三世代のDGXであるNVIDIA DGX A100も発表されました。

NVIDIA DGX A100は６Uの筐体で理論ピークで5PFLOPS(FP16)を可能にするモンスターマシンです。GPUのメモリは320GB、また先ごろ買収が完了したMellanoxの高速ネットワークによって、複数ノードで性能がスケールさせることが出来ます（NVIDIA DGX A100はDGX取扱量が日本でNo.1のジーデップ・アドバンスにお任せください）。
NVIDIA A100およびNVIDIA DGX A100はまさにデータセンターを変える画期的な製品で、NVIDIAが”Computing Company”へ確かな一歩を進めたと言えるでしょう。

さてハードウェアは進化しました。ソフトウェアも進化しました。みなさん自身はどうでしょうか？日本ディープラーニング協会は緊急事態宣言下の外出自粛を活用して、#今こそ学ぼう、というキャンペーンを実施しています。そしてその勉強の成果を多くの方に確かめて頂くために2020年7月4日（土）のG検定を半額で実施することを発表しています。是非この機会に勉強して、いつかはNVIDIA DGX A100を使いこなせるAI人材になりましょう！

追伸
ジーデップ・アドバンスではDGXユーザー様と招待者様に限定し、今回のGTC KEYNOTEとDGX A100®についての速報オンラインイベントを5月20日に開催致します。

株式会社ジーデップ・アドバンス「 GTC2020 基調講演 速報オンラインイベント」
2020年5月14日に行われたNVIDIAのCEOのJensen Huangの基調講演の内容をジーデップ・アドバンス代表の飯野と技術顧問の林が対談形式で解説します。また著名なテクニカライターである笠原一輝氏を迎え、今回の基調講演の核心に迫ります。
日時　2020年5月20日（水）　14:00 ~15:30(予定）
第一部　Jensen基調講演注目ポイント　ジーデップ・アドバンス代表　飯野匡道　技術顧問　林憲一
第二部　テクニカルライター笠原一輝氏によるGTC2020基調講演核心解説
お申し込みはこちらから

林　憲一
1991年東京大学工学部計数工学科卒、同年富士通研究所入社し、超並列計算機AP1000の研究開発に従事。1998年にサン・マイクロシステムズに入社。米国本社にてエンタープライズサーバーSunFireの開発に携わる。その後マイクロソフトでのHPC製品マーケティングを経て、2010年にNVIDIA に入社。エンタープライズマーケティング本部長としてGPU コンピューティング、ディープラーニング、プロフェッショナルグラフィックスのマーケティングに従事し、GTC Japanを参加者300人のイベントから5,000人の一大イベントに押し上げる。2019年1月退職。同年3月 株式会社ジーデップ・アドバンス Executive Adviser に就任。日本ディープラーニング協会のG検定及びE資格取得。