GPU仮想化に関する動向など

Alibaba CloudのGPUを搭載するECSインスタンスをテストする中で直近のGPU仮想化の動向など色々わかったことをまとめてみます。

1. NVIDIA vGPU SoftwareのUpdates

NVIDIAの公式サイトのドキュメントにリリースノートがあります。リリースノートにはバージョンアップ毎の新機能の追加などが記載されています。

URLはこちら

主に新機能（New Features)について取り上げてみます。　私が最後にGPU仮想化のシステムを手掛けたのは2017年だったのですが、今はvMotionに対応したことに1番関心がひかれました。　vMotionの有無は運用性に大きく関わるものだからです。　また、7.1と7.2は新機能の追加はなく、対応する環境（HypervisorやゲストOSなど）の拡充とBugfixがメインです。

• New Features in Release 7.0
  • vSphere vMotionのサポート
  • 1台の仮想マシンで複数のvGPUを利用
  • コンテナのサポート
• New Features in Release 7.1
  • 機能追加なし
• New Features in Release 7.2
  • 機能追加なし

2. NVIDIA GPU Cloud (NGC) container registry

NVIDIAの公式サイトを確認します。　一言で言うと”AI対応コンテナー”とのこと。　AIに必要なソフトウェア群をまとめNVIDIAのGPUに最適化していることが特長のようです。

URLはこちら

また、NGC container registryを利用するべき3つの理由も以下の通り紹介されています。　必要なツールが揃いかつ最適化されたコンテナイメージが提供されることはノウハウの共有の点でとてもよいことに思えます。　

また2点目にある”どこからでもアクセス”にはカタログは無料との記載があります。　日本サイトでのMarketplace対応を待たずに利用できるかもしれません。

しかし、同じページなるFAQには以下の記載が見つかります。　基本は各クラウドベンダーが提供するマーケットプレイスを利用しましょうとのこと。　まあ、無料のイメージを持ち込みした際の動作は自己責任ということでしょう。

NGC の AI コンテナーをクラウド サービス プロバイダーで実行する方法は?
NVIDIA は、サポートされている各クラウド サービス プロバイダーのマーケットプレイス セクションで仮想マシン イメージ ファイルを提供しています。NGC コンテナーを実行するには、インスタンスの種類を選択し、NGC イメージを実行し、NGC からコンテナーを取得してください。取扱説明書は NGC ドキュメントにありますが、正確な手順はクラウド プロバイダーによって異なります。

3. Alibaba Cloud Marketplaceでのイメージ提供

Internationalサイトになりますが、GPU利用のための環境を事前に構築済のイメージを提供しています。　先に結論から言うとDeep Learningで利用する際にはかなり有用かと。　必要な環境がそろっている点、チューニング済な点、また将来このイメージがデファクトスタンダードになることで、知識やノウハウの共有がより促進される可能性があるためです。　日本サイトでの提供が待たれます。

URLはこちら

公開は2019/2/1とのこと。　

”Product Highlights”にはこのイメージの詳細が案内されています。ポイントとしては

• AI研究者にクラウド上のGPUを手軽かつ短時間に提供
• NVIDIAが認定し、かつ最適化され必要な環境が統合された Deep Learning のフレームワークを提供
• NVIDIAは従来の複雑で特殊なチューニングが必要だったDeep Learningの実行環境を不要とするイノベーションを実現
• NVIDIAのDeep Learningのエキスパートのコミュニティによるオンラインサポート

Product Highlights
• Provides AI researchers with fast and easy access to NVIDIA GPUs in the cloud, with performance-engineered deep learning framework containers that are fully integrated, optimized, and certified by NVIDIA. • NVIDIA accelerates innovation by eliminating the complex do-it-yourself task of building and optimizing a complete deep learning software stack tuned specifically for GPUs.

• Online support by a community of NVIDIA deep learning experts

”Produt Description”のポイントをまとめました。

• キーワードは”NVIDIA GPU Cloud (NGC) container registry”
• NGCの仮想マシンイメージはDeep Learningに最適化された環境
• ”NVIDIA GPU Cloud container registry”から利用できるHPC アプリケーション
• Dockerコンテナにも同様（認定、テスト済、チューニング済）に対応
• ”NVIDIA GPU Cloud container registry”は以下を含む
  • NVCaffe
  • Caffe2
  • CNTK(Microsoft Cognitive Toolkit)
  • Digits
  • MXNet
  • PyTorch
  • TnesorFlow
  • Theano
  • Torch
  • CUDA
• Alibaba Cloud ECSのgn5インスタンスに最適化されている

Product Description
The NVIDIA GPU Cloud (NGC) Virtual Machine Image is an optimized environment for running GPU-optimized deep learning frameworks and HPC applications available from the NVIDIA GPU Cloud container registry. The Docker containers available on the NGC container registry are tuned, tested, and certified by NVIDIA to take full advantage of NVIDIA GPUs, the driving force behind accelerated computing and artificial intelligence. The GPU accelerated deep learning frameworks and applications on the NGC container registry include: NVCaffe, Caffe2, CNTK (Microsoft Cognitive Toolkit), Digits, MXNet, PyTorch, TensorFlow, Theano, Torch and CUDA. Containers from the NGC container registry require this Image for the best GPU acceleration on Alibaba Cloud GN5 GPU instances.

4. NVIDIA Quadro Virtual Workstation Now Available in Alibaba Cloud Marketplace

2019年3月18日に”NVIDIA Quadro Virtual Workstation”がMarketplaceで公開されたとのこと。　NGCはDeep LearningやHPC向けのAIコンテナですが、こちらは3D CADなどのワークステーション向けという点が異なります。

NVIDIAの公式ブログの紹介になります。

URLはこちら

Alibaba CloudはvGPUを導入した中国における最初のパブリッククラウドとのこと。

Alibaba Cloud is the first public cloud in China to introduce vGPU-based instances, delivering unparalleled 3D experiences from the cloud.

また、このブログ記事のポイントは以下部分かと思います。 ”NVIDIA Quadro Virtual Workstaion(Quadro vWS）”をMarketplaceでの提供を開始したことです（ベータアクセスですが）。

Alibaba Cloud also announced beta access to NVIDIA Quadro Virtual Workstation (Quadro vWS) software in the Alibaba Cloud Marketplace. Quadro vWS enables visual computing workloads for creative and technical professionals such as CAD, real-time simulation, rendering, photo-realistic imaging and product design.

また、記事の全体として、今回のリリースによりDaaSでの3D CADの促進などGPU仮想化のクラウドでの利用がより促進されるとのことでした。

以下の記事ではGPU仮想化環境を手作りしましたが、日本サイトでもMarketplaceでの提供が待ち遠しいですね。また、LinuxだけではなくWindowsも提供されるとよりよいと思いました。

以上