Azure Kubernetes Service (AKS) でフル マネージド GPU ノード プールを作成する (プレビュー)

従来、Azure Kubernetes Service (AKS)で NVIDIA GPU ワークロードを実行するには、各 GPU ノードに NVIDIA GPU ドライバー、Kubernetes デバイス プラグイン、および GPU メトリック エクスポーターをインストールして維持する必要があります。 これらのコンポーネントにより、GPU スケジューリング、コンテナー レベルの GPU アクセス、テレメトリが有効になりますが、手動または NVIDIA GPU オペレーター を使用してインストールすると、運用オーバーヘッドが増加します。

フル マネージド GPU ノード (プレビュー) では、AKS は NVIDIA GPU ドライバー、デバイス プラグイン、および Data Center GPU Manager (DCGM) メトリック エクスポーター をインストールして維持します。 GPU ノード プールの作成は 1 つのステップになり、GPU 容量は他の AKS ノード プールと同様に動作します。

マネージド GPU ノード プールは、 gpuProfile.nvidiaの下の 2 つのフィールドを使用して構成します。

• managementMode (Managed または Unmanaged) は、AKS がフル マネージド GPU スタック (ドライバー、デバイス プラグイン、DCGM メトリック エクスポーター) をインストールするか、ドライバーのみをインストールするかを制御します。 既定値は Unmanaged です。
• migStrategy (None、 Single、または Mixed) は、A100 や H100 などのサポートされている GPU SKU のマルチインスタンス GPU (MIG) 戦略を設定します。 既定値は None です。

この記事では、マネージド GPU ノード プールをプロビジョニングし、必要に応じて MIG を有効にし、スタックを確認し、サンプル GPU ワークロードを実行します。

開始する前に

• この記事は、AKS クラスターがすでに存在していることを前提としています。 クラスターがない場合は、Azure CLI、Azure PowerShell、または Azure portal を使用して作成します。
• Azure CLI バージョン 2.85.0 以降がインストールされている必要があります。 バージョンを見つけるには、 az --versionを実行します。 インストールまたはアップグレードが必要な場合は、Azure CLI のインストールを参照してください。
• aks-preview拡張機能の最新バージョンをインストールしてアップグレードする必要があります。
• この記事のaz aks get-credentialsの例を実行する前に、kubectlを使用して AKS クラスターの資格情報を取得します。

マネージド GPU コンポーネント

マネージド GPU ノード プールには、すべてのノードに次のコンポーネントを含めることができます。

プロファイルのインストール

次の 2 つの gpuProfile フィールドで、AKS がインストールするコンポーネントを決定します。

• gpuProfile.driver (Install または None): AKS が NVIDIA GPU ドライバーをインストールするかどうか。
• gpuProfile.nvidia.managementMode (Managed または Unmanaged): AKS が Kubernetes に接続する GPU スタックもドライバーの上にインストールするかどうか。

これらによって、次の 3 つのインストール プロファイルが生成されます。

既定値と上書き

• 既定値: --enable-managed-gpuまたは--gpu-driverを渡さない場合、AKS は NVIDIA GPU 対応 VM サイズで作成されたノード プールにドライバーのみのプロファイルを適用します。
• オーバーライド: managementMode: Managedはドライバーを必要とするため、--gpu-driver Noneとドライバーがまだインストールされている場合、--enable-managed-gpu=trueは無視されます。 ドライバーをスキップするには、 --enable-managed-gpu=false と --gpu-driver Noneの両方を設定します。
• 不変性: managementMode、 migStrategy、 driver はすべて作成時に固定されます。 プロファイルを変更するには、新しいノード プールを作成します。

aks-preview CLI 拡張機能をインストールする

1. aks-preview コマンドを使用して az extension add CLI 拡張機能をインストールします。 バージョン 19.0.0b29 以降が必要です。

   az extension add --name aks-preview
   

2. az extension update コマンドを使用して拡張機能を更新して、最新バージョンが確実にインストールされた状態にします。

   az extension update --name aks-preview
   

ManagedGPUExperiencePreview フィーチャーフラグを登録する

ManagedGPUExperiencePreview コマンドを使用してサブスクリプションに az feature register 機能フラグを登録します。

az feature register --namespace Microsoft.ContainerService --name ManagedGPUExperiencePreview

制限事項

• この機能は現在、 NVIDIA GPU 対応の仮想マシン (VM) サイズ のみをサポートしています。
• 汎用ノード プールを更新して GPU VM サイズを追加することは、AKS ではサポートされていません。
• GPU メトリックはサポートされていないため、Windowsノード プールはこの機能ではサポートされていません。 WINDOWS GPU ノード プールを作成すると、AKS によってドライバーと DirectX デバイス プラグインが自動的にインストールおよび管理されます。 詳細については、AKS Windows GPU のドキュメントを参照してください。
• この機能を使用するための既存 のマルチインスタンス GPU ノード プールの移行はサポートされていません。
• 既存の NVIDIA GPU ノード プールからマネージド GPU ノード プールへのインプレース アップグレードはサポートされていません。 既存の GPU ノードを移行、切断、ドレインするには、 --enable-managed-gpu=trueで作成された新しい GPU ノード プールにワークロードを再デプロイします。 詳細については、「 AKS でのノード プールのサイズ変更」を参照してください。
• managementModeのmigStrategy、driver、およびgpuProfileフィールドは、ノード プールの作成後に変更できません。 これらの値を変更するには、新しいノード プールを作成します。
• クラスター オートスケーラーは、プレビュー期間中、マネージド GPU ノード プールではサポートされていません。 これらのプールを手動でスケーリングします。

AKS マネージド GPU ノード プールを作成する (プレビュー)

--enable-managed-gpu=trueをaz aks nodepool addに渡して、マネージド GPU ノード プールを既存の AKS クラスターに追加します。 AKS は gpuProfile.nvidia.managementMode を Managed に設定し、GPU ドライバー、デバイス プラグイン、DCGM メトリック エクスポーターを自動的にインストールします。

マネージド マルチインスタンス GPU (MIG) ノード プールの作成 (プレビュー)

マルチインスタンス GPU (A100 や H100 など) をサポートする GPU SKU の場合は、 --gpu-mig-strategy フラグを使用してノード プールの作成時に MIG 戦略を構成します。 この戦略では、MIG パーティションを Kubernetes に公開する方法を制御します。

• Single: すべての MIG インスタンスは、標準の nvidia.com/gpu リソースで集計されます。
• Mixed: 各 MIG プロファイルは、 nvidia.com/mig-1g.10gbなどの個別のリソースとして公開されます。
• None (既定値): MIG が構成されていません。

migStrategy フィールドは、ノード プールの作成後は変更できません。

MIG パーティション分割、サポートされている VM サイズ、GPU インスタンス プロファイルの背景については、「 AKS と NVIDIA Multi-Instance GPU でのマルチインスタンス GPU ノード プールの作成 」を 参照してください。

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Single

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Mixed

マネージド GPU ノード プールを確認する (プレビュー)

ノード プールの準備ができたら、次のチェックを実行して、完全なマネージド スタックがインストールされていて正常であることを確認します。

1. Node Problem Detector (NPD) から GPU 固有のノード条件を確認します。

   GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
   kubectl describe node $GPU_NODE
   

   マネージド GPU ノードでは、次の条件の両方が Falseを報告する必要があります。

   状態	地位	理由
   UnhealthyNvidiaDevicePlugin	False	HealthyNvidiaDevicePlugin
   UnhealthyNvidiaDCGMServices	False	HealthyNvidiaDCGMServices

2. マネージド GPU ラベルがノードに存在することを確認します。

   kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
   

   予想される出力: enabled。

3. GPU リソースがノードの割り当て可能なリソースでアドバタイズされていることを確認します。

   kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
   

   MIG 以外のノード プールの場合、出力には "nvidia.com/gpu": "1" (SKU に応じて複数) が含まれます。 MIG Mixed ノード プールの場合、出力には、 "nvidia.com/mig-1g.10gb": "7"などの MIG 固有のリソースが含まれます。

4. サンプル ワークロードを実行して、コンテナー内からの GPU アクセスを確認します。

   apiVersion: v1
   kind: Pod
   metadata:
     name: managed-gpu-test
   spec:
     restartPolicy: Never
     tolerations:
       - key: "sku"
         operator: "Equal"
         value: "gpu"
         effect: "NoSchedule"
     containers:
     - name: gpu-test
       image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
       command: ["nvidia-smi"]
       resources:
         limits:
           nvidia.com/gpu: 1
   

   ポッド ログを表示して、GPU デバイス、ドライバーのバージョン、CUDA のバージョンを示す nvidia-smi 出力を確認します。

   kubectl logs managed-gpu-test
   

マネージド GPU ノード プールのスケーリング (プレビュー)

az aks nodepool scaleを使用して、マネージド GPU ノード プールを手動でスケーリングします。 新しいノードは、フル マネージド GPU スタックをインストールします。

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 2

別のインストール用プロファイル

フル マネージド スタック プロファイルが適切でない場合、AKS は GPU ノード プールで 2 つの代替プロファイルをサポートします。

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC6s_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC6s_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false \
    --gpu-driver None

次のステップ

• AKS で管理されている GPU 対応ノードに サンプル GPU ワークロード をデプロイします。
• GPU ノード プール上のマネージド NVIDIA DCGM エクスポーターからの GPU 使用率とパフォーマンス メトリック について説明します。

関連資料

• 標準 (管理されていない) GPU エクスペリエンスには、AKS で NVIDIA GPU を使用します。
• MIG パーティション分割とサポートされている VM サイズでバックグラウンド用のマルチインスタンス GPU (MIG) ノード プールを作成します。
• GPU ドライバーとデバイス プラグインを自分で管理するための NVIDIA GPU オペレーター。
• マネージド NVIDIA DCGM エクスポーターからの GPU メトリックを監視します。
• AKS 上の Node Problem Detector (NPD) を使用した GPU 正常性の監視。
• Windows GPU ノード プール用に AKS で Windows GPU を使用します。
• Azure GPU VM のサイズ NVIDIA GPU 対応 VM の完全な一覧。
• 複数の AKS GPU ノードで分散推論を実行します。