建立私人 Azure Kubernetes 服務（AKS）叢集

• Terraform 本地安裝。 安裝說明請參見 Install Terraform。

建立資源群組

使用 az group create 命令建立資源群組。 您也可以為您的 AKS 叢集使用現有的資源群組。

az group create \
    --name <private-cluster-resource-group> \
    --location <location>

使用具有 az aks create 旗標的 --enable-private-cluster 命令，建立具有預設基本網路的私人叢集。

此指令的關鍵參數：

• --enable-private-cluster： 啟用私有叢集模式。

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --generate-ssh-keys

1. 建立一個名為 main.tf 的檔案，並加入以下程式碼來定義 Terraform 版本並指定Azure提供者：

   terraform {
     required_version = ">= 1.3.0"
     required_providers {
       azurerm = {
         source  = "hashicorp/azurerm"
         version = "~> 4.0"
       }
     }
   }
   
   provider "azurerm" {
     features {}
     subscription_id = var.subscription_id
   }
   

2. 在 main.tf 中加入以下程式碼，建立Azure訂閱 ID、資源群組名稱、位置及 AKS 叢集名稱的輸入變數。 你可以根據需要修改預設值。

   variable "subscription_id" {
     description = "The Azure subscription ID."
     type = string
   }
   
   variable "resource_group_name" {
     description = "The name of the resource group for the AKS cluster."
     type        = string
     default     = "rg-private-aks-basic"
   }
   
   variable "location" {
     description = "The Azure region where the resources will be created."
     type        = string
     default     = "eastus"
   }
   
   variable "aks_cluster_name" {
     description = "The name of the AKS cluster."
     type        = string
     default     = "aks-private-basic"
   }
   

3. 在 main.tf 中加入以下程式碼以建立Azure資源群組：

   resource "azurerm_resource_group" "this" {
     name     = var.resource_group_name
     location = var.location
   }
   

4. 加入以下程式碼以 main.tf 建立具備基本網路功能的私有 AKS 叢集：

   resource "azurerm_kubernetes_cluster" "this" {
     name                = var.aks_cluster_name
     location            = azurerm_resource_group.this.location
     resource_group_name = azurerm_resource_group.this.name
     dns_prefix          = "privatebasicaks"
   
     private_cluster_enabled = true
   
     default_node_pool {
       name       = "system"
       node_count = 1
       vm_size    = "Standard_DS2_v2"
     }
   
     identity {
       type = "SystemAssigned"
     }
   
     network_profile {
       load_balancer_sku   = "standard"
       network_plugin      = "azure"
       network_plugin_mode = "overlay"
     }
   }
   

5. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

用這個 az aks create 指令建立一個具備進階網路功能的私有叢集。

此指令的關鍵參數：

• --enable-private-cluster： 啟用私有叢集模式。
• --network-plugin azure：指定 Azure CNI 網路外掛。
• --vnet-subnet-id <subnet-id>：VNet 中現有子網的資源 ID。
• --dns-service-ip <dns-service-ip>：Kubernetes 服務位址範圍內可用於叢集 DNS 服務的 IP 位址。 例如： 10.2.0.10 。
• --service-cidr <service-cidr>：一個用於分配服務叢集 IP 的 CIDR 標記 IP 範圍。 例如： 10.2.0.0/24 。

az aks create \
    --resource-group <private-cluster-resource-group> \
    --name <private-cluster-name> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --network-plugin azure \
    --vnet-subnet-id <subnet-id> \
    --dns-service-ip <dns-service-ip> \
    --service-cidr <service-cidr> \
    --generate-ssh-keys

1. 建立一個名為 main.tf 的檔案，並加入以下程式碼來定義 Terraform 版本並指定Azure提供者：

   terraform {
     required_version = ">= 1.3.0"
     required_providers {
       azurerm = {
         source  = "hashicorp/azurerm"
         version = "~> 4.0"
       }
     }
   }
   
   provider "azurerm" {
     features {}
     subscription_id = var.subscription_id
   }
   

2. 在 main.tf 加入以下程式碼，建立 Azure 訂閱 ID、資源群組名稱、位置、AKS 叢集名稱、虛擬網路（VNet）名稱及子網路名稱的輸入變數。 你可以根據需要修改預設值。

   variable "subscription_id" {
     description = "The Azure subscription ID."
     type = string
   }
   
   variable "resource_group_name" {
     description = "The name of the resource group for the AKS cluster."
     type = string
     default = "rg-private-aks-advanced"
   }
   
   variable "location" {
     description = "The Azure region where the resources will be created."
     type = string
     default = "eastus"
   }
   
   variable "aks_cluster_name" {
     description = "The name of the AKS cluster."
     type = string
     default = "aks-private-advanced"
   }
   
   variable "vnet_name" {
     description = "The name of the virtual network."
     type = string
     default = "vnet-private-aks"
   }
   
   variable "subnet_name" {
     description = "The name of the subnet used by AKS."
     type = string
     default = "snet-aks"
   }
   

3. 在 main.tf 中加入以下程式碼，建立Azure資源群組、VNet 及子網路：

   resource "azurerm_resource_group" "this" {
     name = var.resource_group_name
     location = var.location
   }
   
   resource "azurerm_virtual_network" "this" {
     name = var.vnet_name
     location = azurerm_resource_group.this.location
     resource_group_name = azurerm_resource_group.this.name
     address_space = ["10.0.0.0/8"]
   }
   
   resource "azurerm_subnet" "aks" {
     name = var.subnet_name
     resource_group_name  = azurerm_resource_group.this.name
     virtual_network_name = azurerm_virtual_network.this.name
     address_prefixes = ["10.240.0.0/16"]
   }
   

4. 加入以下程式碼以 main.tf 建立具備進階網路功能的 AKS 叢集：

   resource "azurerm_kubernetes_cluster" "this" {
     name = var.aks_cluster_name
     location = azurerm_resource_group.this.location
     resource_group_name = azurerm_resource_group.this.name
     dns_prefix = "privateadvancedaks"
   
     private_cluster_enabled = true
   
     default_node_pool {
       name = "system"
       node_count = 1
       vm_size = "Standard_DS2_v2"
       vnet_subnet_id = azurerm_subnet.aks.id
     }
   
     identity {
       type = "SystemAssigned"
     }
   
     network_profile {
       load_balancer_sku = "standard"
       network_plugin = "azure"
       dns_service_ip = "10.2.0.10"
       service_cidr = "10.2.0.0/24"
     }
   }
   

5. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

使用 az aks create 命令搭配 --disable-public-fqdn 旗標建立私人 AKS 叢集時，停用公用 FQDN。

此指令的關鍵參數：

• --disable-public-fqdn：停用 API 伺服器的公用完整網域名稱 (FQDN)。
• --assign-identity <resource-id>： 指定叢集所用的管理身份。
• --private-dns-zone system： 規定 AKS 在節點資源群組中建立一個私有 DNS 區域。 當你停用公開 FQDN 時，無法使用 none ，因為叢集需要私有或公共 DNS 區域來解析 API 伺服器名稱。

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resource-id> \
    --private-dns-zone system \
    --disable-public-fqdn \
    --generate-ssh-keys

1. 依照「 建立帶有進階網路的私有 AKS 叢集 」或「 建立預設基本網路的私有 AKS 叢集 」中的步驟 1-3 來設定 Terraform 設定並根據你的情境建立必要的資源。 這個例子使用了先進的網路技術。

2. 將以下程式碼加入到 main.tf 以建立一個私人 AKS 叢集，並使用用戶指派的身份停用公開 FQDN：

   resource "azurerm_user_assigned_identity" "aks" {
     name = "id-private-aks-public-fqdn-off"
     location = azurerm_resource_group.this.location
     resource_group_name = azurerm_resource_group.this.name
   }
   resource "azurerm_kubernetes_cluster" "this" {
     name = var.aks_cluster_name
     location = azurerm_resource_group.this.location
     resource_group_name = azurerm_resource_group.this.name
     dns_prefix = "privateaks"
     private_cluster_enabled = true
     private_cluster_public_fqdn_enabled = false
   
     private_dns_zone_id = "System"
   
     default_node_pool {
       name = "system"
       node_count = 1
       vm_size = "Standard_DS2_v2"
       vnet_subnet_id = azurerm_subnet.aks.id
     }
     identity {
       type = "UserAssigned"
       identity_ids = [azurerm_user_assigned_identity.aks.id]
     }
     network_profile {
       load_balancer_sku = "standard"
       network_plugin = "azure"
       dns_service_ip = "10.2.0.10"
       service_cidr = "10.2.0.0/24"
     }
   }
   

3. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

使用具有 az aks update 旗標的 --disable-public-fqdn 命令，在現有的 AKS 叢集上停用公用 FQDN。

此指令的關鍵參數：

• --disable-public-fqdn：停用 API 伺服器的公用完整網域名稱 (FQDN)。

az aks update \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --disable-public-fqdn

1. 在現有 main.tf 的 AKS 叢集上新增以下程式碼，以停用公開的 FQDN。 這個例子使用了先進的網路技術。 你可以修改它，透過更改相關的 Terraform 資源和參數，讓它使用預設的基本網路。

   resource "azurerm_kubernetes_cluster" "this" {
     name = var.aks_cluster_name
     location = azurerm_resource_group.this.location
     resource_group_name = azurerm_resource_group.this.name
     dns_prefix = "privateaks"
   
     private_cluster_enabled = true
     private_cluster_public_fqdn_enabled = false
     private_dns_zone_id = "System"
   
     default_node_pool {
       name = "system"
       node_count = 1
       vm_size = "Standard_DS2_v2"
       vnet_subnet_id = azurerm_subnet.aks.id
     }
   
     identity {
       type = "UserAssigned"
       identity_ids = [azurerm_user_assigned_identity.aks.id]
     }
   
     network_profile {
       load_balancer_sku = "standard"
       network_plugin = "azure"
       dns_service_ip = "10.2.0.10"
       service_cidr = "10.2.0.0/24"
     }
   }
   

2. 請使用 terraform plan and terraform apply 指令套用更新後的 Terraform 設定。

   terraform plan
   terraform apply
   

私有 DNS 的設定選項

你可以透過使用 Azure CLI（帶有--private-dns-zone參數）或 Azure Resource Manager 範本（帶有privateDNSZone屬性）來設定私有 AKS 叢集的私有 DNS 設定。 下表描述了 Azure CLI --private-dns-zone 參數與 Azure Resource Manager privateDNSZone 屬性所支援的值：

私有DNS的考量

在為私有 AKS 叢集設定私有 DNS 時，請考慮以下幾點：

• 如果私有 DNS 區域與 AKS 叢集屬於不同的訂閱，你需要在兩個訂閱中註冊 Microsoft.ContainerService Azure 供應商。
• 如果你用 Active Directory 服務主體來設定 AKS 叢集，AKS 不支援使用系統指派的管理身份搭配自訂的私有 DNS 區域。 叢集必須使用使用者指派的受控識別驗證。

用這個 az aks create 指令建立一個私有 AKS 叢集，並設定私有 DNS 區域。

此指令的關鍵參數：

• --enable-private-cluster： 啟用私有叢集模式。
• --private-dns-zone [system|none]： 配置叢集的私有 DNS 區域。 system 是設定私有 DNS 區域時的預設值。 如果你省略 --private-dns-zone了 ，AKS 會在節點資源群組中建立一個私有 DNS 區域。 none 禁止建立私有 DNS 區域。
• --assign-identity <resource-id>：具有私人 DNS 區域參與者和網路參與者角色之使用者指派受控身分識別的資源 ID。

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resource-id> \
    --private-dns-zone [system|none] \
    --generate-ssh-keys

1. 依照「 建立帶有進階網路的私有 AKS 叢集 」或「 建立預設基本網路的私有 AKS 叢集 」中的步驟 1-3 來設定 Terraform 設定並根據你的情境建立必要的資源。 這個例子使用了先進的網路技術。

2. 將以下程式碼加入 main.tf 中，以建立具有 AKS 管理的私有 DNS 區域的私有 AKS 叢集：

   resource "azurerm_kubernetes_cluster" "this" {
    name                = var.aks_cluster_name
    location            = azurerm_resource_group.this.location
    resource_group_name = azurerm_resource_group.this.name
    dns_prefix          = "aks-system-dns"
    private_cluster_enabled = true
    private_dns_zone_id     = "System"
    default_node_pool {
      name           = "system"
      node_count     = 1
      vm_size        = "Standard_DS2_v2"
      vnet_subnet_id = azurerm_subnet.aks.id
    }
    identity {
      type = "SystemAssigned"
    }
    network_profile {
      network_plugin    = "azure"
      load_balancer_sku = "standard"
      dns_service_ip    = "10.2.0.10"
      service_cidr      = "10.2.0.0/24"
    }
   }
   

3. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

無私人 DNS 區域：建立私人 AKS 叢集

1. 依照「 建立帶有進階網路的私有 AKS 叢集 」或「 建立預設基本網路的私有 AKS 叢集 」中的步驟 1-3 來設定 Terraform 設定並根據你的情境建立必要的資源。 這個例子使用了先進的網路技術。

2. 加入以下程式碼以 main.tf 建立沒有私有 DNS 區域的 AKS 叢集：

   resource "azurerm_kubernetes_cluster" "this" {
    name                = var.aks_cluster_name
    location            = azurerm_resource_group.this.location
    resource_group_name = azurerm_resource_group.this.name
    dns_prefix          = "aks-no-dns"
    private_cluster_enabled = true
    private_dns_zone_id     = "None"
    default_node_pool {
      name           = "system"
      node_count     = 1
      vm_size        = "Standard_DS2_v2"
      vnet_subnet_id = azurerm_subnet.aks.id
    }
    identity {
      type = "SystemAssigned"
    }
    network_profile {
      network_plugin    = "azure"
      load_balancer_sku = "standard"
      dns_service_ip    = "10.2.0.10"
      service_cidr      = "10.2.0.0/24"
    }
   }
   

3. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

用指令 az aks create 建立一個私有 AKS 叢集，並設定自訂的私有 DNS 區域或子區域。

此指令的關鍵參數：

• --enable-private-cluster： 啟用私有叢集模式。
• --private-dns-zone [<custom-private-dns-zone-resource-id>|<custom-private-dns-subzone-resource-id>]：全球雲端現有私有 DNS 區域或子區域的資源 ID，格式為 Azureprivatelink.<region>.azmk8s.io 或 <subzone>.privatelink.<region>.azmk8s.io。
• --assign-identity <resource-id>：具有私人 DNS 區域參與者和網路參與者角色之使用者指派受控身分識別的資源 ID。

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resource-id> \
    --private-dns-zone [<custom-private-dns-zone-resource-id>|<custom-private-dns-subzone-resource-id>] \
    --generate-ssh-keys

使用自訂的私有 DNS 區域時，你必須負責建立和管理 DNS 基礎設施，而不是依賴 Azure 管理的 DNS。 這包括建立 DNS 區域、連結到 VNet，以及分配 AKS 管理紀錄所需的權限。

自訂 DNS 設定時，必須使用使用者指派的管理身份，角色為 私用 DNS區域貢獻者 和 Network 貢獻者。

1. 依照「 建立帶有進階網路的私有 AKS 叢集 」或「 建立預設基本網路的私有 AKS 叢集 」中的步驟 1-3 來設定 Terraform 設定並根據你的情境建立必要的資源。 這個例子使用了先進的網路技術。

2. 加入 main.tf 程式碼以建立帶有自訂私有 DNS 區域或子區域的私有 AKS 叢集：

   resource "azurerm_user_assigned_identity" "aks" {
    name                = "aks-custom-dns-id"
    location            = azurerm_resource_group.this.location
    resource_group_name = azurerm_resource_group.this.name
   }
   resource "azurerm_private_dns_zone" "aks" {
    name                = "privatelink.eastus.azmk8s.io"
    resource_group_name = azurerm_resource_group.this.name
   }
   resource "azurerm_private_dns_zone_virtual_network_link" "link" {
    name                  = "aks-dns-link"
    resource_group_name   = azurerm_resource_group.this.name
    private_dns_zone_name = azurerm_private_dns_zone.aks.name
    virtual_network_id    = azurerm_virtual_network.this.id
   }
   resource "azurerm_role_assignment" "dns" {
    scope                = azurerm_private_dns_zone.aks.id
    role_definition_name = "Private DNS Zone Contributor"
    principal_id         = azurerm_user_assigned_identity.aks.principal_id
   }
   resource "azurerm_role_assignment" "network" {
    scope                = azurerm_virtual_network.this.id
    role_definition_name = "Network Contributor"
    principal_id         = azurerm_user_assigned_identity.aks.principal_id
   }
   resource "azurerm_kubernetes_cluster" "this" {
    name                = var.aks_cluster_name
    location            = azurerm_resource_group.this.location
    resource_group_name = azurerm_resource_group.this.name
    dns_prefix          = "aks-custom-dns"
    private_cluster_enabled = true
    private_dns_zone_id     = azurerm_private_dns_zone.aks.id
    default_node_pool {
      name           = "system"
      node_count     = 1
      vm_size        = "Standard_DS2_v2"
      vnet_subnet_id = azurerm_subnet.aks.id
    }
    identity {
      type         = "UserAssigned"
      identity_ids = [azurerm_user_assigned_identity.aks.id]
    }
    network_profile {
      network_plugin    = "azure"
      load_balancer_sku = "standard"
      dns_service_ip    = "10.2.0.10"
      service_cidr      = "10.2.0.0/24"
    }
    depends_on = [
      azurerm_role_assignment.dns,
      azurerm_role_assignment.network
    ]
   }
   

3. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

用這個 az aks create 指令建立一個私有 AKS 叢集，並設定自訂的私有 DNS 區域和子網域。

此指令的關鍵參數：

• --enable-private-cluster： 啟用私有叢集模式。
• --private-dns-zone <custom-private-dns-zone-resource-id>：現有私有 DNS 區域的資源 ID，格式適用於 Azure 的全球雲端：privatelink.<region>.azmk8s.io。
• --fqdn-subdomain <subdomain>： 用於叢集 FQDN 的子網域，位於自訂私有 DNS 區域內。
• --assign-identity <resource-id>：具有私人 DNS 區域參與者和網路參與者角色之使用者指派受控身分識別的資源 ID。

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resource-id> \
    --private-dns-zone <custom-private-dns-zone-resource-id> \
    --fqdn-subdomain <subdomain> \
    --generate-ssh-keys

1. 依照「 建立帶有進階網路的私有 AKS 叢集 」或「 建立預設基本網路的私有 AKS 叢集 」中的步驟 1-3 來設定 Terraform 設定並根據你的情境建立必要的資源。 這個例子使用了先進的網路技術。

2. 加入以下程式碼以 main.tf 建立擁有自訂私有 DNS 區域與子網域的私有 AKS 叢集：

   resource "azurerm_kubernetes_cluster" "this" {
    name                = var.aks_cluster_name
    location            = azurerm_resource_group.this.location
    resource_group_name = azurerm_resource_group.this.name
    dns_prefix          = "aks-subdomain"
    private_cluster_enabled = true
    private_dns_zone_id     = azurerm_private_dns_zone.aks.id
    fqdn_subdomain          = "team1"
    default_node_pool {
      name           = "system"
      node_count     = 1
      vm_size        = "Standard_DS2_v2"
      vnet_subnet_id = azurerm_subnet.aks.id
    }
    identity {
      type         = "UserAssigned"
      identity_ids = [azurerm_user_assigned_identity.aks.id]
    }
    network_profile {
      network_plugin    = "azure"
      load_balancer_sku = "standard"
      dns_service_ip    = "10.2.0.10"
      service_cidr      = "10.2.0.0/24"
    }
   }
   

3. 請依照初始化 Terraform 的步驟，格式化並驗證 Terraform 設定，建立 Terraform 執行計畫，套用 Terraform 設定，並配置 kubectl 以連接到私有 AKS 叢集。

您只能從 byo (自備) 或 system 更新為 none。 不支援其他更新值組合。

使用byo指令，將私有叢集從system或none更新至az aks update，同時將參數設定為--private-dns-zonenone。

az aks update \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --private-dns-zone none

1. 在現有 main.tf 的程式碼中加入以下程式碼，將私有 AKS 叢集從私有 DNS 區域更新為公開。 這個例子使用了先進的網路技術。 你可以修改它，透過更改相關的 Terraform 資源和參數，讓它使用預設的基本網路。

   resource "azurerm_kubernetes_cluster" "this" {
    name                = var.aks_cluster_name
    location            = azurerm_resource_group.this.location
    resource_group_name = azurerm_resource_group.this.name
    dns_prefix          = "aks-update"
    private_cluster_enabled = true
    private_dns_zone_id     = "None"
    default_node_pool {
      name           = "system"
      node_count     = 1
      vm_size        = "Standard_DS2_v2"
      vnet_subnet_id = azurerm_subnet.aks.id
    }
    identity {
      type         = "UserAssigned"
      identity_ids = [azurerm_user_assigned_identity.aks.id]
    }
    network_profile {
      network_plugin    = "azure"
      load_balancer_sku = "standard"
      dns_service_ip    = "10.2.0.10"
      service_cidr      = "10.2.0.0/24"
    }
   }
   

2. 請使用 terraform plan and terraform apply 指令套用更新後的 Terraform 設定。

   terraform plan
   terraform apply
   

初始化 Terraform

在包含你 main.tf 檔案的目錄中，使用 terraform init 指令初始化 Terraform。 此命令會下載使用 Terraform 管理 Azure 資源所需的 Azure 提供者。

terraform init

格式化並驗證 Terraform 設定

使用 terraform fmt and terraform validate 指令格式化並驗證 Terraform 設定。

terraform fmt
terraform validate

建立 Terraform 執行計畫

使用 terraform plan 命令建立 Terraform 執行計畫。 這個指令會顯示 Terraform 會在你的 Azure 訂閱中建立或修改的資源。

terraform plan -var="subscription_id=<your-subscription-id>"

套用 Terraform 組態

在確認執行計畫後，使用 terraform apply 指令套用 Terraform 設定。 這個指令會建立或修改你Azure訂閱中 main.tf 檔案中定義的資源。

terraform apply -var="subscription_id=<your-subscription-id>"