ハイパースケール推論デバイス NVIDIA® T4
NVIDIA® T4 GPU は世界最先端の推論アクセラレータです。
320のTuting Tensorコアと2560のCUDAコアを搭載した T4 は、最新 AI のさまざまなアプリケーションを加速する画期的な多精度の推論パフォーマンスを発揮します。小さなフォームファクターと 70 W の電力設計により T4 は、スケールアウト サーバー向けに最適化され、リアルタイムで最先端の推論を実行することに特化しています。
テクノロジー＆推奨アプリケーション
革新的なパフォーマンス
T4 は、革新的な Turing Tensor コア テクノロジと多精度コンピューティングが採用されており、さまざまなワークロードに対応します。FP32 から FP16、INT8、さらには INT4 の精度に対応する画期的な性能を備えた T4 は、CPU の最大 40 倍のパフォーマンスを発揮します。
リアルタイムで最先端の推論
対話型 AI、レコメンダー システム、画像検索などのサービスのユーザー エンゲージメントには応答性が重要です。モデルの精度と複雑さが増すにつれ、正解を即座に提供するには飛躍的に膨大な計算能力が必要になります。T4 は、最大 40 倍のスループットを実現するため、より多くのリクエストをリアルタイムで対応できます。
推論用として効率化されたGPU
Tesla T4は4×4行列の積和演算用の新しいテンソル・コアのTuringアーキテクチャを採用し推論用として効率化されたGPUです。新しいTensorコアは推論を前提に設計されており320のTuting Tensorコアと2560のCUDAコアを搭載。ピーク時性能は4ビットの整数演算で260TOPS、浮動小数点演算で65TOPS、INT8（8ビット整数）で130TOPS、INT4で260TOPSとなり、たとえば言語処理の推論では、CPU比で34倍、前モデルのP4に比べても3.5倍の性能向上を実現しています。
