NVIDIA Clalaの使い方（その1）の続編です。 医用画像処理における AI の開発と導入を加速するNVIDIAのアプリケーションフレームワーク「NVIDIA Clara™ Imaging」についてDGXで利用するまでを詳しく解説します。

Clara Train SDK（その２: Welcome.ipynb: Getting Started）

早速 Welcom.ipynb を開いてみましょう。

赤枠のところが、Clara Train SDK ということなので、まずはここから、CTスキャンで取得した生画像に、部位分けした部分がどのような権能を持っているかをラベルを付け(Annotated)をおこない、様々なデータを学習させることで、データ分別を自動化すること目的だとわかります。

つぎに、GPU の負荷状況をモニタリングするツールについて説明があります。

ブラウザの左側、PCIカードのようなタブを押してみると、TeslaV100, T4 のようなモニタリングに対応しているGPU を使っていれば状況観察が出てきますが、そうではなければ出てきません。また、このコンテナを動作させる状況にも依存しており、 cuda10.2 の Nvidia Driver 環境でこのコンテナを動作させることを念頭に作られているため、cuda11.1 の場合には、python のモジュール構築にエラーが出ています。本筋的にはこのようなアプライアンス的な動作をさせるには、参照環境下で動作させることを推奨します。ただ、当方は、どのあたりに限界があるのかを探す必要もあるため、修正を加えることにしました。その１では、jupyter labを起動させるために ./installDashBoardInDocker.sh を実行していますが、これを次のように修正します。

修正したら無事に出てくることが分かったので先に進むことにします。

大項目が４つあり、本家ではすべて解説していますが、日本では１，３について解説されてあったので、まず、１．Getting Started からやってみることにします。
-> Getting Started をクリックすると。

Clara Train SDK のあらましが説明されています。ここでは、
・Medical Model ARcivie(MMAR)の理解
つまり、

この構造を持った、ディレクトリ群を使って作業をすることを理解し
・この中の、config 下の json ファイルで環境構築を行い
・１つまたは複数のGPUを使って学習を行ってみて
・学習済みモデルを作り上げる。
・そのモデルを使ってテストデータをもとに、推論をしてみましょう

となります。このコースが終わってからどうするかや、AutoML を使った自動化については、GTC2020へのログインができるのであれば、公演番号 s22563 でそこから先も解説されています。これはまたやってみることにしたいと思います。

このサンプルで使用しているデータセットは spleen ：脾臓になります。具体的なデータは、
http://medicaldecathlon.com　ここにアクセスして、Download data から取得できます。

https://drive.google.com/drive/folders/1HqEgzS8BV2c7xYNrZdEAnrHk7osJJ–2

ディレクトリにある、Task09_Spleen.tar が具体的なデータになります。これは、（その１）のデータダウンロードに書かれているとおりです。

レッツポチポチ：MMARの理解：
Play ボタンを押していき、MMAR の構造、どのあたりを編集する必要があるかを理解します。
config_train.json をいろいろ修正すればいいということがわかってきます。ここで解説している、MMAR の Rootディレクトリは、MMARs/GettingStarted なわけですから、その config/ 下 trn_base.json に確かにそれらの内容が記載されていることがわかります。

次に、TnsorBoard をスタートさせるのはいいのですがこの段階では学習はスタートしていないので、何も表示されません。

この状態で待機させ、次の学習ステップが進んでから参照してみましょう。

レッツポチポチ：学習開始：

開始から、終了まで V100 16GB で、

実行時間は６分から７分程度になります。流れだけ追うなら、あとは、play ボタンをポチポチ押すだけで、chekpoint file のexport, 学習済みモデルの評価、そして、画像データを使って、推論をしてみるという流れになります。

最後の項目が、複数の GPU を使用した学習の高速化です。Horovod は複数のノードを束ねて計算を高速化させるフレームワークですが、今回の検証はそこまでは考えてないので、１台、4GPU でどこまで高速化するか見てみましょう。

練習というところで、

train_2gpu.sh を編集してみて 4 GPU にしてどうなるか試してみようというのがあります。リンクになってますので、train_2gpu.sh をクリックすると、

ファイルの記載内容が表示されます。この、2 -> 4 に修正し、Ctr-S でファイルの保存修正になりますので、再度 train_2gpu.sh を実行してみると、

Best validation metric: 0.14018323383431297 at epoch 2
2020-12-01 05:47:14,761 - nvmidl.utils.train_conf - INFO - Total Training Time 136.937926530838