為 Azure Machine Learning 設定 Kubernetes 叢集的參考

本文包含使用 Azure 機器學習 設定 Kubernetes 的參考資訊。

支援的 Kubernetes 版本和區域

• 安裝 Azure 機器學習 延伸模組的 Kubernetes 叢集具有 “N-2” 的版本支持視窗，與 Azure Kubernetes Service （AKS） 版本支持原則一致，其中 'N' 是 Azure Kubernetes Service 的最新 GA 次要版本。

  • 例如，如果 AKS 今天引進 1.20.a，則支援 1.20.a、1.20.b、1.19.c、1.19.d、1.18.e 和 1.18.f 版。

  • 如果客戶執行不支援的 Kubernetes 版本，則會要求在要求叢集支援時升級。 Azure 機器學習 擴充功能支持原則並未涵蓋執行不支援 Kubernetes 版本的叢集。

• Azure 機器學習 擴充功能區域可用性：

  • Azure 機器學習 擴充功能可以部署至 AKS 或已啟用 Azure Arc 的 Kubernetes，而 Azure Arc 已啟用 Kubernetes 的區域則位於已啟用 Azure Arc 的 Kubernetes 區域支援中。

建議的資源規劃

當您部署 Azure 機器學習 擴充功能時，某些相關服務會部署到適用於 Azure 的 Kubernetes 叢集 機器學習。 下表列出 相關服務及其叢集中的資源使用量 ：

排除您自己的部署/Pod， 最低系統資源需求 總數如下：

ARO 或 OCP 叢集的必要條件

停用安全性增強型 Linux （SELinux）

已啟用 SELinux 的機器不支援 Azure 機器學習 數據集（Azure 機器學習 定型作業中使用的 SDK v1 功能）。 因此，您必須在所有背景工作角色上停用selinux，才能使用 Azure 機器學習 數據集。

ARO 和 OCP 的特殊許可權設定

針對 ARO 或 OCP 叢集上的 Azure 機器學習 擴充功能部署，授與對 Azure 機器學習 服務帳戶的特殊許可權存取權、執行oc edit scc privileged命令，並在 “users：

• system:serviceaccount:azure-arc:azure-arc-kube-aad-proxy-sa
• system:serviceaccount:azureml:{EXTENSION-NAME}-kube-state-metrics
• system:serviceaccount:azureml:prom-admission
• system:serviceaccount:azureml:default
• system:serviceaccount:azureml:prom-operator
• system:serviceaccount:azureml:load-amlarc-selinux-policy-sa
• system:serviceaccount:azureml:azureml-fe-v2
• system:serviceaccount:azureml:prom-prometheus
• system:serviceaccount:{KUBERNETES-COMPUTE-NAMESPACE}:default
• system:serviceaccount:azureml:azureml-ingress-nginx
• system:serviceaccount:azureml:azureml-ingress-nginx-admission

收集的記錄詳細數據

叢集中有關 Azure 機器學習 工作負載的一些記錄會透過擴充元件收集，例如狀態、計量、生命週期等。下列清單顯示收集的所有記錄詳細數據，包括收集的記錄類型，以及傳送至或儲存的記錄類型。

Azure 機器學習 作業會與自定義數據記憶體連線

永續性磁碟區 （PV） 和永續性磁碟區宣告 （PV） 是 Kubernetes 概念，可讓使用者提供及取用各種記憶體資源。

1. 建立 PV，以 NFS 為例

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv 
spec:
  capacity:
    storage: 1Gi 
  accessModes:
    - ReadWriteMany 
  persistentVolumeReclaimPolicy: Retain
  storageClassName: ""
  nfs: 
    path: /share/nfs
    server: 20.98.110.84 
    readOnly: false

2. 在具有 ML 工作負載的相同 Kubernetes 命名空間中建立PVC。 在 中metadata，您必須新增要由 Azure 機器學習 辨識的標籤ml.azure.com/pvc: "true"，並新增註釋ml.azure.com/mountpath: <mount path>來設定掛接路徑。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc  
  namespace: default
  labels:
    ml.azure.com/pvc: "true"
  annotations:
    ml.azure.com/mountpath: "/mnt/nfs"
spec:
  storageClassName: ""
  accessModes:
  - ReadWriteMany      
  resources:
     requests:
       storage: 1Gi

支援的 Azure Machine Learning 污點和容差

Taint 和 Toleration 是 Kubernetes 概念，可共同運作，以確保 Pod 不會排程到不適當的節點上。

與 Azure 機器學習 整合的 Kubernetes 叢集（包括 AKS 和 Arc Kubernetes 叢集）現在支援特定的 Azure 機器學習 污點和容忍，讓使用者在 Azure 機器學習 專用節點上新增特定的 Azure 機器學習 污點，以防止非 Azure 機器學習 工作負載排程到這些專用節點上節點。

我們僅支援將 amlarc 特定污點放在您的節點上，其定義如下：

最佳作法

根據 Azure 機器學習 專用節點的排程需求，您可以新增多個 amlarc 特定的污點，以限制哪些 Azure 機器學習 工作負載可以在節點上執行。 我們列出使用 amlarc 污點的最佳作法：

• 若要防止非 Azure 機器學習 工作負載在 Azure 機器學習 專用節點/節點集區上執行，您可以只將污點新增aml overall至這些節點。
• 若要防止非系統 Pod 在 Azure 機器學習 專用節點/節點集區上執行，您必須新增下列污點：
  • amlarc overall 污點
  • amlarc system 污點
• 若要防止非 ml 工作負載在 Azure 機器學習 專用節點/節點集區上執行，您必須新增下列污點：
  • amlarc overall 污點
  • amlarc workloads 污點
• 若要防止從工作區 X 建立的工作負載無法在 Azure 機器學習 專用節點/節點集區上執行，您必須新增下列污點：
  • amlarc overall 污點
  • amlarc resource group (has this <workspace X>) 污點
  • amlarc <workspace X> 污點
• 若要防止計算目標 X 未建立的工作負載在 Azure 機器學習 專用節點/節點集區上執行，您必須新增下列污點：
  • amlarc overall 污點
  • amlarc resource group (has this <workspace X>) 污點
  • amlarc workspace (has this <compute X>) 污點
  • amlarc <compute X> 污點

透過 HTTP 或 HTTPS 整合其他輸入控制器與 Azure 機器學習 擴充功能

除了預設的 Azure 機器學習 推斷負載平衡器 azureml-fe 之外，您也可以透過 HTTP 或 HTTPS 將其他負載平衡器與 Azure 機器學習 擴充功能整合。

本教學課程有助於說明如何整合 Nginx 輸入控制器或 Azure 應用程式閘道。

必要條件

• inferenceRouterServiceType=ClusterIP，讓 Nginx 輸入控制器可以自行處理 TLS 終止，而不是在透過 HTTPS 公開服務時將其移交給 allowInsecureConnections=True。
• 若要與 Nginx 輸入控制器整合，您需要搭配 Nginx 輸入控制器設定 Kubernetes 叢集。
  • 建立基本控制器：如果您從頭開始，請參閱這些指示。
• 若要與 Azure 應用程式閘道 整合，您需要具有 Azure 應用程式閘道 輸入控制器的 Kubernetes 叢集設定。
  • Greenfield 部署：如果您從頭開始，請參閱這些指示。
  • Brownfield 部署：如果您有現有的 AKS 叢集和 應用程式閘道，請參閱這些指示。
• 如果您想要在此應用程式上使用 HTTPS，則需要 x509 憑證及其私鑰。

透過 HTTP 公開服務

為了公開 azureml-fe，我們將使用下列輸入資源：

# Nginx Ingress Controller example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

此輸入會將 azureml-fe 服務和選取的部署公開為 Nginx 輸入控制器的預設後端。

# Azure Application Gateway example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: azure-application-gateway
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

此輸入會將azureml-fe服務和選取的部署公開為 應用程式閘道的預設後端。

將上述輸入資源儲存為 ing-azureml-fe.yaml。

1. 執行下列內容來部署 ing-azureml-fe.yaml：

   kubectl apply -f ing-azureml-fe.yaml
   

2. 檢查輸入控制器的記錄以取得部署狀態。

3. 現在，azureml-fe 應用程式應該可供使用。 您可以造訪下列項目來檢查：

   • Nginx 輸入控制器：Nginx 輸入控制器的公用 LoadBalancer 位址
   • Azure 應用程式閘道：應用程式閘道 的公用位址。

4. 建立推斷作業並叫用。

   注意

   在叫用之前，將 scoring_uri 中的ip取代為 Nginx 輸入控制器的公用 LoadBalancer 位址。

透過 HTTPS 公開服務

1. 部署輸入之前，您必須建立 kubernetes 祕密來裝載憑證和私密金鑰。 您可以執行下列內容來建立 kubernetes 祕密

   kubectl create secret tls <ingress-secret-name> -n azureml --key <path-to-key> --cert <path-to-cert>
   

2. 定義下列輸入。 在輸入中，指定 secretName 區段中的祕密名稱。

   # Nginx Ingress Controller example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: nginx
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   # Azure Application Gateway example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: azure-application-gateway
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   注意

   將上述輸入資源中的 和 <domain> 取代<ingress-secret-name>為指向 Nginx 輸入控制器/應用程式閘道 和秘密名稱之 LoadBalancer 的網域。 將上述輸入資源儲存在檔案名稱 ing-azureml-fe-tls.yaml 中。

3. 執行 來部署 ing-azureml-fe-tls.yaml

   kubectl apply -f ing-azureml-fe-tls.yaml
   

4. 檢查輸入控制器的記錄以取得部署狀態。

5. 現在應用程式 azureml-fe 可在 HTTPS 上使用。 您可以造訪 Nginx 輸入控制器的公用 LoadBalancer 位址來檢查此情況。

6. 建立推斷作業並叫用。

   注意

   使用指向 Nginx 輸入控制器的 LoadBalancer 或叫用之前 應用程式閘道 的 https 和網域取代 scoring_uri 中的通訊協定和 IP。

使用 ARM 範本部署延伸模組

受控叢集上的擴充功能可以使用ARM範本進行部署。 您可以從 deployextension.json 找到範例範本，並搭配示範參數檔案deployextension.parameters.json

若要使用範例部署範本，請使用正確的值編輯參數檔案，然後執行下列命令：

az deployment group create --name <ARM deployment name> --resource-group <resource group name> --template-file deployextension.json --parameters deployextension.parameters.json

如需如何使用ARM範本的詳細資訊，請參閱 ARM樣本檔

AzuremML 擴充功能版本資訊