Verwenden des Azure Key Vault Provider for Secrets Store CSI-Treibers in einem Azure Kubernetes Service (AKS)-Cluster

• Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
• Überprüfen Sie, ob Ihre Version der Azure CLI 2.30.0 oder höher ist. Wenn es sich um eine frühere Version handelt, installieren Sie die neueste Version.

• Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.

• Terraform der Version 1.6 oder höher.

• Azure CLI installiert und angemeldet. installieren Sie die neueste Version.

• Berechtigungen zum Erstellen von AKS und Key Vault Ressourcen.

• Legen Sie Ihr Azure-Abonnement im Azure CLI mit dem folgenden Befehl fest. Ersetzen Sie <subscriptionId> durch Ihre Abonnement-ID.

  az account set --subscription <subscriptionId>
  

Erstellen eines AKS-Clusters

Erstellen Sie einen AKS-Cluster mit dem Azure Key Vault-Anbieter zur Unterstützung des Secrets Store CSI Driver.

1. Erstellen Sie Variablen, die in den Befehlen zum Erstellen eines AKS-Clusters und eines Key Vault verwendet werden.

   export RANDOM_STRING=$(printf '%05d%05d' "$RANDOM" "$RANDOM")
   export KEYVAULT_NAME=myKeyVault${RANDOM_STRING}
   export RESOURCE_GROUP=myResourceGroup
   export CLUSTER_NAME=myAKSCluster
   export LOCATION=eastus2
   

   Azure Key Vault-Namen müssen global eindeutig, alphanumerisch einschließlich Bindestrichen und 3-24 Zeichen sein. Der Name des Schlüsseltresors verkettet den Wert der KEYVAULT_NAME-Variablen mit der 10-stelligen Zeichenfolge der myKeyVault-VariablenRANDOM_STRING.

2. Erstellen Sie mithilfe des Befehls az group create eine Azure-Ressourcengruppe.

   az group create --name $RESOURCE_GROUP --location $LOCATION
   

3. Verwenden Sie den Befehl az aks create mit dem Parameter --enable-addons azure-keyvault-secrets-provider, um einen AKS-Cluster mit Azure Key Vault Provider for Secrets Store CSI-Treiber zu erstellen.

   Der --enable-addons-Parameter erstellt eine vom Benutzer zugewiesene verwaltete Identität namens azurekeyvaultsecretsprovider-xxxx, die Sie zum Authentifizieren bei Ihrem Schlüsseltresor verwenden können. Die verwaltete Identität wird in der Knotenressourcengruppe (MC_) gespeichert und automatisch dem Skalierungssatz für virtuelle Computer zugewiesen. Sie können diese verwaltete Identität oder Ihre eigene verwaltete Identität verwenden, um auf den Schlüsseltresor zuzugreifen. Es wird nicht unterstützt, um die Erstellung der Identität zu verhindern.

   az aks create \
     --name $CLUSTER_NAME \
     --resource-group $RESOURCE_GROUP \
     --enable-addons azure-keyvault-secrets-provider \
     --generate-ssh-keys
   

   Tipp

   Wenn Sie Microsoft Entra Workload ID verwenden möchten, muss der az aks create-Befehl die Parameter --enable-oidc-issuer und --enable-workload-identity enthalten.

Erstellen eines AKS-Clusters

Erstellen Sie eine main.tf Datei, und kopieren Sie die folgende getestete Beispielkonfiguration in die Datei. Das Azure Terraform GitHub Repository verwaltet das Beispiel. Das Beispiel erstellt die Ressourcengruppe, den AKS-Cluster, den Azure Key Vault, ein Beispielgeheimnis und die erforderlichen Rollenzuweisungen.

terraform {
  required_version = ">= 1.5.0"

  required_providers {
    azurerm = {
      source  = "hashicorp/azurerm"
      version = "~> 3.116"
    }
    random = {
      source  = "hashicorp/random"
      version = "~> 3.6"
    }
  }
}

provider "azurerm" {
  features {
    resource_group {
      prevent_deletion_if_contains_resources = false
    }
  }
}

data "azurerm_client_config" "current" {}

resource "random_string" "suffix" {
  length  = 6
  upper   = false
  special = false
}

locals {
  location            = "eastus"
  resource_group_name = "rg-aks-kv-csi-demo-${random_string.suffix.result}"
  aks_name            = "aks-kv-csi-demo"
  key_vault_name      = "kvcsidemo${random_string.suffix.result}"
  secret_name         = "ExampleSecret"
}

resource "azurerm_resource_group" "this" {
  name     = local.resource_group_name
  location = local.location
}

resource "azurerm_log_analytics_workspace" "this" {
  name                = "law-aks-kv-csi-demo"
  location            = azurerm_resource_group.this.location
  resource_group_name = azurerm_resource_group.this.name
  sku                 = "PerGB2018"
  retention_in_days   = 30
}

resource "azurerm_kubernetes_cluster" "this" {
  name                      = local.aks_name
  location                  = azurerm_resource_group.this.location
  resource_group_name       = azurerm_resource_group.this.name
  dns_prefix                = "akskvcsidemo"
  kubernetes_version        = null
  oidc_issuer_enabled       = true
  workload_identity_enabled = true

  default_node_pool {
    name       = "system"
    node_count = 1
    vm_size    = "Standard_D2s_v3"

    upgrade_settings {
      drain_timeout_in_minutes      = 0
      max_surge                     = "10%"
      node_soak_duration_in_minutes = 0
    }
  }

  identity {
    type = "SystemAssigned"
  }

  key_vault_secrets_provider {
    secret_rotation_enabled = false
  }

  oms_agent {
    log_analytics_workspace_id = azurerm_log_analytics_workspace.this.id
  }

  network_profile {
    network_plugin    = "azure"
    load_balancer_sku = "standard"
  }

  tags = {
    scenario = "aks-keyvault-csi"
  }
}

resource "azurerm_key_vault" "this" {
  name                          = local.key_vault_name
  location                      = azurerm_resource_group.this.location
  resource_group_name           = azurerm_resource_group.this.name
  tenant_id                     = data.azurerm_client_config.current.tenant_id
  sku_name                      = "standard"
  purge_protection_enabled      = false
  soft_delete_retention_days    = 7
  enable_rbac_authorization     = true
  public_network_access_enabled = true
}

resource "azurerm_role_assignment" "current_user_kv_admin" {
  scope                = azurerm_key_vault.this.id
  role_definition_name = "Key Vault Administrator"
  principal_id         = data.azurerm_client_config.current.object_id
}

resource "azurerm_key_vault_secret" "example" {
  name         = local.secret_name
  value        = "HelloFromKeyVault"
  key_vault_id = azurerm_key_vault.this.id

  depends_on = [
    azurerm_role_assignment.current_user_kv_admin
  ]
}

resource "azurerm_role_assignment" "aks_csi_secrets_user" {
  scope                = azurerm_key_vault.this.id
  role_definition_name = "Key Vault Secrets User"
  # This is the managed identity automatically created by the AKS Key Vault CSI addon.
  principal_id = azurerm_kubernetes_cluster.this.key_vault_secrets_provider[0].secret_identity[0].object_id
}

output "resource_group_name" {
  value = azurerm_resource_group.this.name
}

output "aks_cluster_name" {
  value = azurerm_kubernetes_cluster.this.name
}

output "key_vault_name" {
  value = azurerm_key_vault.this.name
}

output "key_vault_secret_name" {
  value = azurerm_key_vault_secret.example.name
}

output "tenant_id" {
  value = data.azurerm_client_config.current.tenant_id
}

output "aks_csi_client_id" {
  value = azurerm_kubernetes_cluster.this.key_vault_secrets_provider[0].secret_identity[0].client_id
}

output "aks_csi_object_id" {
  value = azurerm_kubernetes_cluster.this.key_vault_secrets_provider[0].secret_identity[0].object_id
}

1. Stellen Sie die Konfiguration bereit. Führen Sie in einer Bash-Sitzung die folgenden Befehle aus, um die Ressourcen bereitzustellen:

   terraform init
   terraform validate
   terraform plan
   terraform apply
   

2. Legen Sie die variablen fest, die in den verbleibenden Befehlen aus den Terraform-Ausgaben verwendet werden:

   export RESOURCE_GROUP=$(terraform output -raw resource_group_name)
   export CLUSTER_NAME=$(terraform output -raw aks_cluster_name)
   export KEYVAULT_NAME=$(terraform output -raw key_vault_name)
   

Aktualisieren eines vorhandenen AKS-Clusters

Aktualisieren Sie einen vorhandenen AKS-Cluster mit dem Azure Key Vault-Anbieter für die CSI-Treiberunterstützung für den Secrets Store.

1. Erstellen Sie Variablen, die in den Befehlen verwendet werden. Ersetzen Sie die Werte nach Bedarf, um Ihren vorhandenen AKS-Cluster oder Key Vault zu aktualisieren.

   Wenn Sie beispielsweise einen vorhandenen Schlüsseltresor verwenden, ersetzen Sie den Wert der KEYVAULT_NAME Variablen, ohne die RANDOM_STRING Variable zu verwenden.

   Wenn Sie keinen Schlüsseltresor haben, müssen Azure Key Vault-Namen global eindeutig, alphanumerisch einschließlich Bindestrichen und 3-24 Zeichen sein. Der Name des Schlüsseltresors verkettet den Wert der KEYVAULT_NAME-Variablen mit der 10-stelligen Zeichenfolge der myKeyVault-VariablenRANDOM_STRING. Sie können den Schlüsseltresor später in diesem Artikel erstellen.

   export RANDOM_STRING=$(printf '%05d%05d' "$RANDOM" "$RANDOM")
   export KEYVAULT_NAME=myKeyVault${RANDOM_STRING}
   export RESOURCE_GROUP=myResourceGroup
   export CLUSTER_NAME=myAKSCluster
   export LOCATION=eastus2
   

2. Aktualisieren Sie einen vorhandenen AKS-Cluster mit dem Azure Key Vault-Anbieter für die Secrets Store CSI-Treiber-Funktion mithilfe des az aks enable-addons-Befehls, und aktivieren Sie das azure-keyvault-secrets-provider Add-on. Das Add-On erstellt eine benutzerseitig zugewiesene verwaltete Identität, mit der Sie sich bei Ihrem Schlüsseltresor authentifizieren können.

   az aks enable-addons \
     --addons azure-keyvault-secrets-provider \
     --name $CLUSTER_NAME \
     --resource-group $RESOURCE_GROUP
   

   Nachdem Sie den geheimen Azure Key Vault-Anbieter aktiviert haben, erstellt AKS eine verwaltete Identität mit dem Namen azurekeyvaultsecretsprovider-xxxx , mit der Sie sich bei Ihrem Schlüsseltresor authentifizieren können. Die verwaltete Identität wird in der Knotenressourcengruppe (MC_) gespeichert und automatisch dem Skalierungssatz für virtuelle Computer zugewiesen. Sie können diese verwaltete Identität oder Ihre eigene verwaltete Identität verwenden, um auf den Schlüsseltresor zuzugreifen. Es wird nicht unterstützt, um die Erstellung der Identität zu verhindern.

Überprüfen der Installation des Anbieters von verwalteten Identitäten und Schlüsseltresoren

Die folgenden Befehle verwenden die $CLUSTER_NAME und $RESOURCE_GROUP Variablen. Die Azure CLI Workflows definieren diese Variablen früher, und der Terraform-Workflow legt sie aus Ausgaben nach der Bereitstellung fest.

Überprüfen der verwalteten Identität

Führen Sie die folgenden Schritte aus, um zu überprüfen, ob die verwaltete Identität erstellt und dem Virtual Machine Scale Set des Clusters zugewiesen wurde.

1. Überprüfen Sie, ob die verwaltete Identität erstellt und dem Cluster mithilfe des az aks show Befehls zugewiesen wurde.

   az aks show \
     --name $CLUSTER_NAME \
     --resource-group $RESOURCE_GROUP \
     --query addonProfiles
   

   {
     "azureKeyvaultSecretsProvider": {
       "config": {
         "enableSecretRotation": "false",
         "rotationPollInterval": "2m"
       },
       "enabled": true,
       "identity": {
         "clientId": "00001111-aaaa-2222-bbbb-3333cccc4444",
         "objectId": "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb",
         "resourceId": "/subscriptions/<subscriptionID>/resourcegroups/MC_myResourceGroup_myAKSCluster_eastus2/providers/Microsoft.ManagedIdentity/userAssignedIdentities/azurekeyvaultsecretsprovider-myakscluster"
       }
     }
   }
   

   Die resourceId Eigenschaft zeigt die Ressourcengruppe und den Namen der Identität azurekeyvaultsecretsprovider-myakscluster an.

2. Vergewissern Sie sich, dass die verwaltete Identität den Virtual Machine Scale Sets der Knotenressourcengruppe zugewiesen ist.

   NODE_RG=$(az aks show \
     --name $CLUSTER_NAME \
     --resource-group $RESOURCE_GROUP \
     --query nodeResourceGroup --output tsv)
   
   VMSS_NAME=$(az vmss list \
     --resource-group $NODE_RG \
     --query [].name --output tsv)
   
   az vmss show --name $VMSS_NAME --resource-group $NODE_RG --query '[id, identity]'
   

   Die Ausgabe zeigt die Microsoft.Compute/virtualMachineScaleSets Ressourcen-ID des Virtual Machines Scale Set und die Eigenschaft userAssignedIdentities mit einer Ressourcen-ID für azurekeyvaultsecretsprovider-myakscluster, die bestätigt, dass die Identität des Virtual Machine Scale Set zugewiesen ist.

Überprüfen der Installation des Azure Key Vault Provider for Secrets Store CSI-Treibers

1. Rufen Sie die Anmeldeinformationen des AKS-Clusters mit dem Befehl az aks get-credentials ab.

   az aks get-credentials \
     --name $CLUSTER_NAME \
     --resource-group $RESOURCE_GROUP
   

2. Verifizieren Sie, ob die Installation mittels des kubectl get pods-Befehls abgeschlossen ist, der alle Pods mit den secrets-store-csi-driver- und secrets-store-provider-azure-Labels im kube-system-Namespace auflistet.

   kubectl get pods -n kube-system -l 'app in (secrets-store-csi-driver,secrets-store-provider-azure)' -o wide
   

   Das -o wide-Flag nimmt den Knoten, auf dem jeder Pod ausgeführt wird, in die Ausgabe auf.

   Ihre Ausgabe sollte in etwa dem folgendem Beispiel entsprechen:

   NAME                                     READY   STATUS    RESTARTS   AGE    NODE
   aks-secrets-store-csi-driver-4vpkj       3/3     Running   2          4m25s  aks-nodepool1-12345678-vmss000002
   aks-secrets-store-csi-driver-ctjq6       3/3     Running   2          4m21s  aks-nodepool1-12345678-vmss000001
   aks-secrets-store-csi-driver-tlvlq       3/3     Running   2          4m24s  aks-nodepool1-12345678-vmss000000
   aks-secrets-store-provider-azure-5p4nb   1/1     Running   0          4m21s  aks-nodepool1-12345678-vmss000000
   aks-secrets-store-provider-azure-6pqmv   1/1     Running   0          4m24s  aks-nodepool1-12345678-vmss000001
   aks-secrets-store-provider-azure-f5qlm   1/1     Running   0          4m25s  aks-nodepool1-12345678-vmss000002
   

Neuen Schlüsselvault erstellen

Führen Sie den az keyvault create Befehl aus, um einen neuen Schlüsseltresor mit aktiviertem Azure RBAC zu erstellen.

az keyvault create \
  --name $KEYVAULT_NAME \
  --resource-group $RESOURCE_GROUP \
  --location $LOCATION \
  --enable-rbac-authorization

Azure RBAC ist standardmäßig aktiviert, wenn Sie einen neuen Schlüsseltresor erstellen, auch wenn Sie den --enable-rbac-authorization Parameter nicht einschließen.

Weitere Informationen zu Key Vault-Berechtigungsmodellen und Azure RBAC finden Sie unter Bieten Sie Zugriff auf Key Vault-Schlüssel, Zertifikate und Geheimnisse mit einer rollenbasierten Zugriffssteuerung von Azure.

Aktualisieren des vorhandenen Schlüsseltresors

Führen Sie den Befehl az keyvault update aus, um einen vorhandenen Schlüsseltresor mit Azure rollenbasierten Zugriffssteuerung (Azure RBAC) zu aktualisieren. Der parameter --enable-rbac-authorization ist erforderlich, um Azure RBAC zu aktivieren, wenn Sie einen vorhandenen Schlüsseltresor aktualisieren, der Azure RBAC deaktiviert hat.

az keyvault update \
  --name $KEYVAULT_NAME \
  --resource-group $RESOURCE_GROUP \
  --enable-rbac-authorization

Weitere Informationen zu Schlüsseltresor-Berechtigungsmodellen und Azure RBAC finden Sie unter Bereitstellen des Zugriffs auf Schlüsseltresorschlüssel, Zertifikate und geheime Schlüssel mit einer rollenbasierten Azure-Zugriffssteuerung

Hinzufügen von Rollenzuweisungen und Geheimnissen zum Schlüsseltresor

1. Führen Sie den Befehl az keyvault show aus, um zu überprüfen, ob Azure RBAC für den Schlüsseltresor aktiviert ist.

   az keyvault show \
     --name $KEYVAULT_NAME \
     --resource-group $RESOURCE_GROUP \
     --query properties.enableRbacAuthorization
   

   Die Ausgabe sollte sein true.

2. Fügen Sie mithilfe des Befehls az role assignment create eine Rollenzuweisung für Ihr Benutzerkonto für den Schlüsseltresorbereich hinzu, um im nächsten Schritt ein Schlüsseltresor-Secret hinzufügen zu können.

   Die Rolle "Key Vault Secrets Officer" mit eindeutiger ID b86a8fe4-44ce-4948-aee5-eccb2c155cd7 wird hinzugefügt, und Sie können den Namen oder den eindeutigen Bezeichner verwenden. Die Verwendung des eindeutigen Bezeichners der Rolle ist eine bewährte Methode, um Probleme zu vermeiden, wenn sich der Rollenname ändert.

   KEYVAULT_ID=$(az keyvault show \
     --name $KEYVAULT_NAME \
     --resource-group $RESOURCE_GROUP \
     --query id -o tsv)
   
   MYID=$(az ad signed-in-user show --query id --output tsv)
   
   az role assignment create \
     --assignee-object-id $MYID \
     --role "b86a8fe4-44ce-4948-aee5-eccb2c155cd7" \
     --scope $KEYVAULT_ID \
     --assignee-principal-type User
   

   Es kann mehrere Minuten dauern, bis die Rollenzuweisung wirksam wird. Sie können überprüfen, ob die Rollenzuweisung mit dem folgenden Befehl erstellt wurde:

   az role assignment list \
     --assignee-object-id $MYID \
     --scope $KEYVAULT_ID \
     --query '[].{Role:roleDefinitionName, Scope:scope}' \
     --output table
   

3. Erstellen Sie mit dem Befehl ExampleSecret in dem Schlüsseltresor ein Nur-Text-Secret in dem Schlüsseltresor mit dem Namen az keyvault secret set.

   Ihr Key Vault kann Schlüssel, Geheimnisse und Zertifikate speichern. Der value Parameter verwendet die RANDOM_STRING Variable, um einen eindeutigen Wert für den geheimen Schlüssel zu erstellen.

   az keyvault secret set \
     --vault-name $KEYVAULT_NAME \
     --name ExampleSecret \
     --value MyAKSExampleSecret${RANDOM_STRING}
   

4. Überprüfen Sie mit dem Befehl az keyvault secret show, ob das Secret dem Schlüsseltresor hinzugefügt wurde.

   az keyvault secret show --vault-name $KEYVAULT_NAME --name ExampleSecret
   

Neuen Schlüsselvault erstellen

Das zuvor enthaltene Terraform-Beispiel erstellt einen neuen Schlüsseltresor mit aktivierter Azure RBAC, weist die erforderlichen Rollen zu und erstellt ExampleSecret. Es ist kein separates Konfigurationsupdate erforderlich.

1. Rufen Sie den Schlüsseltresornamen aus der Terraform-Ausgabe ab.

   KEYVAULT_NAME=$(terraform output -raw key_vault_name)
   

2. Überprüfen Sie mithilfe des az keyvault secret show-Befehls, ob ExampleSecret dem Schlüsseltresor hinzugefügt wurde.

   az keyvault secret show \
    --vault-name $KEYVAULT_NAME \
    --name ExampleSecret
   

1. Entfernen Sie die Anmeldeinformationen Ihres Clusters aus Ihrer lokalen .kube/config-Datei.

   KUBE_CONTEXT=$(kubectl config current-context)
   kubectl config delete-context $KUBE_CONTEXT
   

2. Löschen Sie die Ressourcengruppe und alle darin enthaltenen Ressourcen, einschließlich Ressourcen in der Knotenressourcengruppe (MC_) mithilfe des az group delete Befehls.

   az group delete --name $RESOURCE_GROUP --yes --no-wait
   

Mit dem terraform destroy Befehl werden alle Ressourcen entfernt, die in der aktuellen Terraform-Konfigurations- und Zustandsdatei definiert sind. Führen Sie diesen Befehl nur aus dem Arbeitsverzeichnis aus, das für diesen Artikel verwendet wird.

1. Entfernen Sie die Anmeldeinformationen Ihres Clusters aus Ihrer lokalen .kube/config-Datei.

   KUBE_CONTEXT=$(kubectl config current-context)
   kubectl config delete-context $KUBE_CONTEXT
   

2. Führen Sie den folgenden Befehl aus, um die in diesem Artikel erstellten Ressourcen zu entfernen:

   terraform destroy