この投稿では、2024年8月に開催されたVMware by Broadcomの年次カンファレンス「VMware Explore 2024 Las Vegas」での、VMware Private AI関連の発表についてご紹介します。 

VMware Explore 2024 Las Vegasの概要については、以下の投稿をご確認ください。
VMware Explore 2024 Las Vegas 速報レポート 

なお、この投稿のスライドは、以下のセッションのものです。
INVB1960LV: Private AI and Advanced Services on VCF: What's Next?

VMware Private AIの振り返り

VMware Private AI関連の発表については、今年も目玉のひとつとして扱われていました。生成AIに関連し、VMware by Broadcomで特に注力しているVMware Cloud Foundation（VCF）をベースとするソリューションであるため、注目度が高く感じられます。

まずは簡単に、昨年に開催されたVMware Explore 2023 Las Vegasで発表されたVMware Private AIについて振り返ります。

大規模言語モデル（LLM）を利用した生成AI活用が注目され、VMwareからは、企業がデータのプライバシーやセキュリティを保ちながらAIワークロードを展開できるソリューションとしてVMware Private AIが提供開始されました。昨年の主なVMware Private AIの発表内容は以下の2点です。

• VCFとNVIDIA AI Enterpriseを組み合わせた「VMware Private AI Foundation with NVIDIA」（これはPAIF-Nと略されることがあります）
• オープンソースの活用例を示す「VMware Private AI Reference Architecture for Open Source」

昨年のVMware Private AIの発表については、以下の投稿をご確認ください。
VMware Explore 2023 Las Vegas レポート - VMware Private AI

　

PAIF-Nについては、すでに 2024年5月に一般提供が開始されており、VMware Cloud Foundation（VCF）のアドオンとして利用可能です。

PAIF-Nの概要については、以下の投稿をご確認ください。
VMware Private AI Foundation with NVIDIA 概要

PAIF-Nの設計や構築、運用については、VCFにVMware製品を展開する「VMware Validated Solutions」として公開されており、以下のドキュメントにて説明されています。
Private AI Ready Infrastructure for VMware Cloud Foundation

　

ここからは、VMware Private AIの主な新機能についてご紹介します。今回の発表では、昨年よりもさらにVMware Cloud Foundation（VCF）をベースにしたものが中心となっている印象がありました。また、VCF 9を待たずにVCF 5.2.1という直近のバージョンでの新機能もあります。 

Model Store

生成AIの開発や利用をするうえで、LLMは特に重要なコンポーネントです。企業でLLMを利用する際には、Hugging Face Model HubやNVIDIAのNGCなどに公開されているモデルを利用することが一般的です。その際に、次のような課題が発生します。

• 公開されているLLMであっても、チューニングの際に企業の機密情報が追加される。
• 大容量のモデル（ファイル）のダウンロードが発生してしまう。
• 適切ではないモデル（間違ったバージョンなど）が使用されてしまう。

VCF 5.2.1にあわせて、このような課題の解決策となる「Model Store」が提供される予定です。

これはコンテナ レジストリであるHarborに機能追加されます。インターネットからダウンロードした大容量のLLMファイルを、オンプレミスに構築されたHarborレジストリに保存して、さらにセキュリティをvSphereやコンテナ イメージで設定していたロールベース アクセス制御（RBAC）に統合できるようになります。

Guided Deployment

現時点で提供されているバージョンのVCFでも、SDDC Managerにて、PAIF-N関連のコンポーネントを展開し、AIワークロードを稼働させるためのガイド（ドキュメントへのリンク）が提供されています。

VCF 5.2.1で予定されている新機能である「Guided Deployment」は、SDDC ManagerではなくvSphere Clientに実装されるようです。そして、ドキュメントへのリンクだけでなく、ソリューションを構成するIaaS Control Plane（旧称はvSphere with Tanzu）、Aria Automation、Data Services Managerといったコンポーネントの展開を順番に実施できるように見受けられました。

Data Indexing and Retrieval Service

生成AIを活用する手法のひとつに、RAG（Retrieval-Augmented Generation）と呼ばれるものがあります。この手法では、LLMでの生成の前に情報を検索して、そのデータを含めてLLMによる回答を生成する手法です。これにより、企業に蓄積された文章やドキュメントなどをベースとした、チャット回答文の生成などが可能となります。

RAGにおいては、LLMに渡すデータの質が重要であり、それを得るための検索も重要となります。RAGで利用するデータは、適切なサイズに分割（チャンク化）され、インデックスが作成された状態である必要があります。また、検索の精度を向上させるために、データを「ベクトル化」（Embedding、埋め込みとも呼ばれる）してデータベースに格納しておくことが一般的です。

「Data Indexing and Retrieval Service」は、このインデックス作成や検索の機能を提供するものです。AI/ML IaaS Servicesのひとつであると説明されています。
※後述の、AI Agent Builder Serviceも同様のようです。

これらのサービスは、IaaS Control Plane（旧称vSphere with Tanzu）のスーパーバイザー サービスとVCF Automationによって提供するようです。そして、同じく VCF Automation を利用した Model Runtime（モデルによる推論サーバーを起動して、エンドポイントのURLを発行する）のデモも紹介されていました。

AI Agent Builder Service

AIを用いて特定のタスクを処理するようなアプリケーションは「AIエージェント」と呼ばれます。たとえば、ChatBotのようなアプリケーションもAIエージェントと呼ばれます。「AI Agent Builder Service」もAI/ML IaaS Servicesのひとつで、カスタマイズされたChatBotを作成できるサービスのようです。

デモでは、前述の Data Index & Retrieval Serviceを利用したChatBotを作成する様子が紹介されていました。

GPU / vGPU に関連する新機能

GPUやvGPUに関連する新機能としては、以下のものが紹介されていました。

• vGPU profile visibility
• GPU Reservations
• GPU HA via preemptible VMs

これらは、GPUおよびvGPUに対する機能拡張のようで、主にvSphere DRSやvSphere HAで、よりGPUを活用できる機能拡張です。

vSphere Clientでは、vGPUプロファイル割り当て状況が表示できるようになります。そして、vGPUプロファイルのメモリ容量を考慮した予約による、仮想マシンの効率的な配置ができるようになります。さらに、HAによる仮想マシンのフェイルオーバーでリソース競合が発生した場合に、優先度の低いGPU仮想マシンをシャットダウンするといった設定が可能となるようです。 

さいごに

この投稿の最後に、AI活用するアプリケーションのサンプルについてご紹介しておきたいと思います。

VMware Explore 2024の開催にあわせて、PAIF-Nの一環として RAG Starter Pack v2.0 が紹介されました。これは昨年から公開されていた生成AIのリファレンス アーキテクチャに、NVIDIA NIMを利用したRAGのサンプルが追加されたものです。
Building Production-grade AI-driven Apps on VMware Private AI Foundation with NVIDIA NIMs

ほかにも、Summarize-and-Chat というサンプル アプリケーションも紹介されています。
Introducing Summarize-and-Chat service for VMware Private AI

これらは、これから生成AIやRAGを利用したアプリケーションの企画や開発を開始する際の参考となるでしょう。

VMware Private AIでも、VMware by Broadcomが特に注力しているVCFを軸として、さまざまな新機能が発表されたことをお伝えしました。ひきつづき、VCFとそれを活用したAIインフラの動向に注目していきたいと思います。

　

参考情報

• INVB1960LV: Private AI and Advanced Services on VCF: What's Next?
• Announcing New Capabilities Coming to VMware Private AI Foundation with NVIDIA
• Private AI Ready Infrastructure for VMware Cloud Foundation
• Building Production-grade AI-driven Apps on VMware Private AI Foundation with NVIDIA NIMs
• Introducing Summarize-and-Chat service for VMware Private AI