Tworzenie izolowanego klastra usługi Azure Kubernetes Service (AKS) w sieci

Wdróż klaster izolowany sieciowo z ACR zarządzanym przez AKS

Usługa AKS tworzy, zarządza i uzgadnia zasób ACR w tej opcji. Nie musisz przypisywać żadnych uprawnień ani zarządzać usługą ACR. Usługa AKS zarządza regułami pamięci podręcznej, łączem prywatnym i punktem końcowym używanym w izolowanym klastrze sieci.

Tworzenie izolowanego klastra sieciowego

Podczas tworzenia izolowanego sieciowo klastra AKS wybierz jeden z następujących trybów klastra prywatnego: oparty na łączu prywatnym lub integracja serwera API z siecią wirtualną.

Ustaw źródło artefaktu i typ ruchu wychodzącego zgodnie z wymaganiami dotyczącymi izolacji sieci.

Oparte na prywatnych linkach

Utwórz izolowany klaster sieci oparty na łączach prywatnych, uruchamiając polecenie az aks create z parametrami --bootstrap-artifact-source, --enable-private-clusteri --outbound-type .

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache --outbound-type none --network-plugin azure --enable-private-cluster

Integracja serwera API z VNet

Utwórz sieciowo izolowany klaster przy użyciu integracji serwera API z siecią VNet, uruchamiając polecenie az aks create z parametrami --bootstrap-artifact-source, --enable-private-cluster, --enable-apiserver-vnet-integration i --outbound-type.

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache --outbound-type none --network-plugin azure --enable-private-cluster --enable-apiserver-vnet-integration

Zaktualizować istniejący klaster usługi AKS do typu sieciowo izolowanego

Jeśli wolisz włączyć izolację sieci w istniejącym klastrze usługi AKS zamiast tworzyć nowy klaster, użyj polecenia az aks update .

Aby włączyć funkcję izolacji sieci w istniejącym klastrze usługi AKS, najpierw uruchom następujące polecenie, aby zaktualizować bootstrap-artifact-source:

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache

Następnie należy ręcznie odtworzyć wszystkie istniejące pule węzłów:

az aks upgrade --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --node-image-only

NODEPOOLS=$(az aks nodepool list \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--query "[].name" -o tsv)
for NODEPOOL in $NODEPOOLS; do
echo "Waiting for node pool $NODEPOOL to finish upgrading..."
az aks nodepool wait \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--name "$NODEPOOL" \
--updated
echo "Node pool $NODEPOOL upgrade succeeded."
done

Zaczekaj i upewnij się, że ponowne obrazowanie zakończy się, a następnie uruchom następujące polecenie, aby zaktualizować outbound-type.

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --outbound-type none

Wdrażanie izolowanego klastra sieciowego przy użyciu usługi Bring Your Own ACR

Usługa AKS obsługuje użycie własnego rejestru ACR (BYO). Aby obsługiwać scenariusz usługi BYO ACR, przed utworzeniem klastra AKS należy skonfigurować prywatny punkt końcowy usługi ACR i prywatną strefę DNS.

W poniższych krokach pokazano, jak przygotować te zasoby:

• Własna sieć wirtualna i podsieci dla AKS i ACR.
• Reguły usługi ACR, reguły pamięci podręcznej usługi ACR, prywatny punkt końcowy i prywatna strefa DNS.
• Niestandardowa tożsamość płaszczyzny sterowania i tożsamość kubeletu.

Krok 1. Tworzenie sieci wirtualnej i podsieci

az network vnet create  --resource-group ${RESOURCE_GROUP} --name ${VNET_NAME} --address-prefixes 192.168.0.0/16

az network vnet subnet create --name ${AKS_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --address-prefixes 192.168.1.0/24

SUBNET_ID=$(az network vnet subnet show --name ${AKS_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --query 'id' --output tsv)

az network vnet subnet create --name ${ACR_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --address-prefixes 192.168.2.0/24 --private-endpoint-network-policies Disabled

Krok 2. Wyłączanie łączności wychodzącej sieci wirtualnej (opcjonalnie)

Na przykład ustaw podsieć AKS jako prywatną, ustawiając jej domyślny dostęp wychodzący na false.

az network vnet subnet update --resource-group ${RESOURCE_GROUP} --vnet-name ${VNET_NAME} --name ${AKS_SUBNET_NAME} --default-outbound false

Aby zapoznać się z innymi obsługiwanymi metodami i zagadnieniami dotyczącymi przejścia, zobacz Wyłączanie łączności wychodzącej sieci wirtualnej.

Krok 3. Tworzenie usługi ACR i włączanie pamięci podręcznej artefaktów

1. Utwórz usługę ACR z wyłączonym dostępem do sieci publicznej.

   az acr create --resource-group ${RESOURCE_GROUP} --name ${REGISTRY_NAME} --sku Premium --public-network-enabled false
   
   REGISTRY_ID=$(az acr show --name ${REGISTRY_NAME} -g ${RESOURCE_GROUP}  --query 'id' --output tsv)
   

2. Utwórz regułę pamięci podręcznej ACR przy użyciu następującego polecenia, aby użytkownicy mogli buforować obrazy kontenerów MAR i pliki binarne w nowym rejestrze ACR. Nazwa reguły pamięci podręcznej i nazwy repozytoriów muszą być zgodne z wytycznymi podanymi w następnej sekcji.

   az acr cache create -n aks-managed-mcr -r ${REGISTRY_NAME} -g ${RESOURCE_GROUP} --source-repo "mcr.microsoft.com/*" --target-repo "aks-managed-repository/*"
   

Krok 4. Tworzenie prywatnego punktu końcowego dla usługi ACR

az network private-endpoint create --name myPrivateEndpoint --resource-group ${RESOURCE_GROUP} --vnet-name ${VNET_NAME} --subnet ${ACR_SUBNET_NAME} --private-connection-resource-id ${REGISTRY_ID} --group-id registry --connection-name myConnection

NETWORK_INTERFACE_ID=$(az network private-endpoint show --name myPrivateEndpoint --resource-group ${RESOURCE_GROUP} --query 'networkInterfaces[0].id' --output tsv)

REGISTRY_PRIVATE_IP=$(az network nic show --ids ${NETWORK_INTERFACE_ID} --query "ipConfigurations[?privateLinkConnectionProperties.requiredMemberName=='registry'].privateIPAddress" --output tsv)

DATA_ENDPOINT_PRIVATE_IP=$(az network nic show --ids ${NETWORK_INTERFACE_ID} --query "ipConfigurations[?privateLinkConnectionProperties.requiredMemberName=='registry_data_$LOCATION'].privateIPAddress" --output tsv)

Krok 5. Tworzenie prywatnej strefy DNS i dodawanie rekordów

Utwórz prywatną strefę DNS o nazwie privatelink.azurecr.io. Dodaj rekordy dla punktów końcowych: REST rejestru {REGISTRY_NAME}.azurecr.io oraz danych rejestru {REGISTRY_NAME}.{LOCATION}.data.azurecr.io.

az network private-dns zone create --resource-group ${RESOURCE_GROUP} --name "privatelink.azurecr.io"

az network private-dns link vnet create --resource-group ${RESOURCE_GROUP} --zone-name "privatelink.azurecr.io" --name MyDNSLink --virtual-network ${VNET_NAME} --registration-enabled false

az network private-dns record-set a create --name ${REGISTRY_NAME} --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP}

az network private-dns record-set a add-record --record-set-name ${REGISTRY_NAME} --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP} --ipv4-address ${REGISTRY_PRIVATE_IP}

az network private-dns record-set a create --name ${REGISTRY_NAME}.${LOCATION}.data --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP}

az network private-dns record-set a add-record --record-set-name ${REGISTRY_NAME}.${LOCATION}.data --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP} --ipv4-address ${DATA_ENDPOINT_PRIVATE_IP}

Krok 6. Tworzenie płaszczyzny kontrolnej oraz tożsamości kubeletów

Tożsamość płaszczyzny sterowania

az identity create --name ${CLUSTER_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP}

CLUSTER_IDENTITY_RESOURCE_ID=$(az identity show --name ${CLUSTER_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'id' -o tsv)

CLUSTER_IDENTITY_PRINCIPAL_ID=$(az identity show --name ${CLUSTER_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'principalId' -o tsv)

Tożsamość Kubelet

az identity create --name ${KUBELET_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP}

KUBELET_IDENTITY_RESOURCE_ID=$(az identity show --name ${KUBELET_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'id' -o tsv)

KUBELET_IDENTITY_PRINCIPAL_ID=$(az identity show --name ${KUBELET_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'principalId' -o tsv)

Jeśli aktualizujesz istniejący klaster usługi AKS, pomiń powyższe polecenia tworzenia tożsamości i pobierz istniejący identyfikator obiektu tożsamości kubelet:

KUBELET_IDENTITY_PRINCIPAL_ID=$(az aks show --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --query identityProfile.kubeletidentity.objectId -o tsv)

Nadaj tożsamości kubelet uprawnienia do pobierania z ACR

Sprawdź tryb uprawnień przypisywania ról w rejestrze i wybierz odpowiednią rolę pobierania. Rejestry z włączoną funkcją ABAC używają roli Container Registry Repository Reader. Rejestry bez włączonej obsługi ABAC używają roli AcrPull.

ROLE_ASSIGNMENT_MODE=$(az acr show --name ${REGISTRY_NAME} --resource-group ${RESOURCE_GROUP} --query roleAssignmentMode -o tsv)

if [[ "${ROLE_ASSIGNMENT_MODE}" == "rbac-abac" ]]; then
  ACR_PULL_ROLE="Container Registry Repository Reader"
else
  ACR_PULL_ROLE="AcrPull"
fi

az role assignment create --role "${ACR_PULL_ROLE}" --scope ${REGISTRY_ID} --assignee-object-id ${KUBELET_IDENTITY_PRINCIPAL_ID} --assignee-principal-type ServicePrincipal

Po skonfigurowaniu tych zasobów, możesz następnie przejść do utworzenia izolowanego klastra AKS z usługą BYO ACR.

Krok 7. Tworzenie klastra izolowanego sieci przy użyciu usługi BYO ACR

Podczas tworzenia klastra z izolacją sieciową wybierz jeden z następujących trybów klastra prywatnego: oparty na łączu prywatnym lub integracja serwera API z siecią wirtualną.

Ustaw źródło artefaktu i typ ruchu wychodzącego zgodnie z wymaganiami dotyczącymi izolacji sieciowej.

Oparte na prywatnych linkach

Utwórz izolowany klaster sieci oparty na łączach prywatnych, który uzyskuje dostęp do usługi ACR, uruchamiając polecenie az aks create z wymaganymi parametrami.

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --vnet-subnet-id ${SUBNET_ID} --assign-identity ${CLUSTER_IDENTITY_RESOURCE_ID} --assign-kubelet-identity ${KUBELET_IDENTITY_RESOURCE_ID} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id ${REGISTRY_ID} --outbound-type none --network-plugin azure --enable-private-cluster

Integracja serwera API z VNet

W przypadku klastra izolowanego sieciowo skonfigurowanego z integracją serwera API z siecią wirtualną (VNet) najpierw utwórz podsieć i przypisz odpowiednią rolę, używając następujących poleceń:

az network vnet subnet create --name ${APISERVER_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --address-prefixes 192.168.3.0/24 --delegations Microsoft.ContainerService/managedClusters

export APISERVER_SUBNET_ID=$(az network vnet subnet show --resource-group ${RESOURCE_GROUP} --vnet-name ${VNET_NAME} --name ${APISERVER_SUBNET_NAME} --query id -o tsv)

az role assignment create --scope ${APISERVER_SUBNET_ID} --role "Network Contributor" --assignee-object-id ${CLUSTER_IDENTITY_PRINCIPAL_ID} --assignee-principal-type ServicePrincipal

az role assignment create --scope ${SUBNET_ID} --role "Network Contributor" --assignee-object-id ${CLUSTER_IDENTITY_PRINCIPAL_ID} --assignee-principal-type ServicePrincipal

Utwórz izolowany klaster sieci prywatnej skonfigurowany za pomocą integracji z siecią wirtualną serwera API i uzyskaj dostęp do usługi ACR, uruchamiając polecenie az aks create z wymaganymi parametrami.

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --vnet-subnet-id ${SUBNET_ID} --assign-identity ${CLUSTER_IDENTITY_RESOURCE_ID} --assign-kubelet-identity ${KUBELET_IDENTITY_RESOURCE_ID} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id ${REGISTRY_ID} --outbound-type none --network-plugin azure --enable-private-cluster --enable-apiserver-vnet-integration --apiserver-subnet-id ${APISERVER_SUBNET_ID}

Aktualizowanie istniejącego klastra usługi AKS

Jeśli wolisz włączyć izolację sieci w istniejącym klastrze usługi AKS zamiast tworzyć nowy klaster, użyj polecenia az aks update .

Podczas tworzenia prywatnego punktu końcowego i prywatnej strefy DNS dla usługi BYO ACR użyj istniejącej sieci wirtualnej i podsieci istniejącego klastra usługi AKS. Podczas przypisywania odpowiedniej roli ACR Pull do tożsamości kubelet użyj istniejącej tożsamości kubelet istniejącego klastra AKS.

Aby włączyć funkcję izolacji sieci w istniejącym klastrze usługi AKS, najpierw uruchom następujące polecenie, aby zaktualizować bootstrap-artifact-source:

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id ${REGISTRY_ID}

Następnie należy ręcznie odtworzyć wszystkie istniejące pule węzłów:

az aks upgrade --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --node-image-only

NODEPOOLS=$(az aks nodepool list \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--query "[].name" -o tsv)
for NODEPOOL in $NODEPOOLS; do
echo "Waiting for node pool $NODEPOOL to finish upgrading..."
az aks nodepool wait \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--name "$NODEPOOL" \
--updated
echo "Node pool $NODEPOOL upgrade succeeded."
done

Zaczekaj i upewnij się, że ponowne obrazowanie zakończy się, a następnie uruchom następujące polecenie, aby zaktualizować outbound-type.

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --outbound-type none

Aktualizowanie identyfikatora usługi ACR

Możesz zaktualizować prywatny rejestr ACR używany z klastrem odizolowanym od sieci. Aby zidentyfikować identyfikator zasobu usługi ACR, użyj polecenia az aks show.

az aks show --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME}

Aktualizowanie identyfikatora usługi ACR jest wykonywane przez uruchomienie az aks update polecenia z parametrami --bootstrap-artifact-source i --bootstrap-container-registry-resource-id .

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id <new-byo-acr-resource-id>

Po zaktualizowaniu identyfikatora ACR w istniejącym klastrze, należy ręcznie ponownie skonfigurować wszystkie istniejące węzły.

az aks upgrade --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --node-image-only