本文概述了 Azure VMware 解決方案 第二代(Gen 2)私有雲的主要設計考量。 它說明了這一代為基於 VMware 的私有雲環境帶來的能力,使您的應用程式能夠同時從本地基礎設施與 Azure 資源存取。 在設定 Azure VMware 解決方案 Gen 2 私有雲之前,有幾項事項需要檢視。 本文提供使用私人雲端類型時可能會遇到的使用案例解決方案。
備註
第二代可在特定 Azure 公開區域使用。 請聯絡您的 Microsoft 帳戶團隊或 Microsoft 支援服務 以確認保障範圍。
局限性
在這段期間,下列功能會受到限制。 未來將會解除這些限制:
- 你無法刪除包含私有雲的 資源群組。 您必須先刪除私有雲,才能刪除資源群組。
- 你只能在每個虛擬網路Azure部署1個私有雲。
- 每個 資源群組只能建立1個私人雲端。 單一資源群組中不支援多個私有雲。
- 私有雲和私有雲的虛擬網路必須位於相同的資源群組中。
- 私有雲建立後,你無法將私有雲從一個資源群組 移 到另一個。
- 私有雲建立後,你無法將私有雲 從 一個租戶移到另一個租戶。
- 如果你需要 ExpressRoute FastPath 或 Global 虛擬網路 Peering 來支援你的 AVS 私有雲,請透過 Azure 入口建立支援個案。
- Service Endpoints 不支援 Azure VMware 解決方案 工作負載的直接連接。
- 私人端點在連線到 Azure VMware 解決方案的各區域採取全域對等互連時不受支援。
- vCloud Director 支援使用專用端點。 不過,不支援使用公用端點的 vCloud Director。
- 不支援 vSAN 延伸叢集。
- 不支援將公用 IP 直接配置到 VMware NSX Microsoft Edge 以設定網際網路連線。 您可以在網際網路連線選項中找到受支援的網際網路選項。
- 在軟體定義資料中心(SDDC)前四台主機發生 非計畫性維護 (例如主機硬體故障)期間,您可能會遇到部分工作負載的暫時性 North-South 網路連線中斷,持續時間長達30秒。 North-South 連接指的是您的 AVS VMware 工作負載與 NSX-T Tier-0(T0)Edge 以外的外部端點之間的流量,例如Azure服務或本地環境。 此限制在特定 Azure 區域已被移除。 請向 Azure 支援查詢,確認你的區域是否受到此限制影響。
- 與私人雲端主機虛擬網路相關聯的網路安全性群組必須在與私人雲端及其虛擬網路相同的資源群組中建立。
- 預設不支援從客戶虛擬網路到 Azure VMware 解決方案 虛擬網路的跨資源群組及跨訂閱參照。 這包括資源類型,例如:使用者定義的路由 (UDR)、DDoS 保護計劃和其他連結的網路資源。 如果客戶虛擬網路與這些參考關聯,且該參考資料位於與 Azure VMware 解決方案 虛擬網路不同的資源群組或訂閱中,網路程式設計(例如 NSX 區段傳播)可能會失敗。 為避免問題,客戶應確保 Azure VMware 解決方案 虛擬網路未連接到其他資源群組或訂閱的資源。 在繼續之前,請將虛擬網路中所有此類連線(如 DDoS 防護計畫)移除。
- 若要維持跨資源群組參照,請從該跨資源群組或訂閱建立角色指派,並將「AVS on Fleet VIS Role」指派給「AzS VIS Prod App」。此角色指派可讓你使用參照,並讓該參照正確套用至你的 Azure VMware 解決方案 私有雲。
- 第二代私有雲部署若Azure政策對網路安全群組或路由表執行嚴格規則(例如特定命名規則),可能會失敗。 這些政策限制可在部署期間阻擋必要的 Azure VMware 解決方案 網路安全群組及路由表建立。 在部署私人雲前,您必須先從 Azure VMware 解決方案 虛擬網路中移除這些政策。 一旦你的私有雲部署完成,這些政策就可以重新加入你的 Azure VMware 解決方案 私有雲。
- 如果你在Azure VMware 解決方案第二代私有雲使用 私用 DNS,那麼在部署Azure VMware 解決方案第二代私有雲的虛擬網路上使用 Custom DNS 是不支援的。 自訂 DNS 會中斷生命週期作業 (例如擴縮、升級和修補)。
- 如果您正在刪除私人雲端,而某些 Azure VMware 解決方案 所建立的資源未被移除,您可以使用 Azure CLI 再次嘗試刪除 Azure VMware 解決方案 私人雲端。
- Azure VMware 解決方案 Gen 2 使用 HTTP Proxy 來區分客戶與管理網路流量。 某些 VMware Cloud Service 端點 可能不會遵循與一般 vCenter 管理流量相同的網路路徑或 Proxy 規則。 範例包括:「scapi.vmware」和「apigw.vmware」。VAMI 代理負責管理 vCenter Server Appliance(VCSA)的一般外出網際網路存取,但並非所有服務端點的互動都經過此代理。 某些互動直接源自使用者的瀏覽器或整合元件,這些元件遵循工作站的代理設定或獨立啟動連線。 因此,流向 VMware Cloud Service 端點的流量可能會完全略過 VCSA Proxy。
- 第二代的 HCX RAV 與 Bulk 遷移可能因基站同步與線上同步階段的停滯而出現較慢的效能。 客戶目前應規劃較長的遷移時段,並相應安排波次。 在適合工作負載的情況下,vMotion 在主機與網路條件允許時,提供更快且低開銷的選擇。
- 虛擬集線器(虛擬 WAN)對等:要建立第二代虛擬網路與虛擬集線器(虛擬廣域網)之間的對等連線,虛擬集線器必須與第二代虛擬網路處於同一區域。 如果你需要與不同區域的虛擬樞紐對等,你需要透過 Azure 入口網站建立支援個案。
- 來自對等互連虛擬網路 (VNET) 的 /32 路由目的地:如果您從 NSX 公告 /32 路由 (例如 HCX MON 路由或 DNS 轉寄站路由),且需要從對等互連虛擬網路存取該 /32 目的地,您需要在 Azure 入口網站中開啟支援案例。 從本機 VNET 內連線到 /32 目的地可正常運作。
- VNET Peer Sync 子網廣告與 Azure 路由表(UDR)關聯 – Azure VMware 解決方案 Gen 2 採用兩種內部架構。 目前的架構會將特定子網路和較廣泛的 Azure 位址空間,同步處理為 NSX 客戶細分或子網路路由,並與對等互連 Azure 虛擬網路同步。 因此,以第二代目前架構,您可能需要將 Azure 路由表(UDR)配置為更具體的 NSX 區段子網路路由,而非使用 Azure VMware 解決方案 工作負載區段的一般位址空間路由。
- Azure NAT 閘道不支援第二代工作負載。
- 第二代私有雲子網路不支援 Azure 子網路對等互連。
不受支援的整合
以下的第一方和第三方整合功能無法使用:
- 澤爾托DR
第 2 代的委派子網路和網路安全性群組
當部署 Azure VMware 解決方案(AVS)第二代私有雲時,Azure 會自動在私有雲的主機虛擬網路中建立多個委派子網路。 這些子網路用於隔離和保護私有雲的管理元件。
客戶可透過 Azure 入口網站或 Azure CLI/PowerShell 顯示的網路安全群組(NSG)管理這些子網的存取。 除了客戶可管理的NSG,AVS還會對關鍵管理介面套用額外的系統管理NSG。 這些系統管理的NSG對客戶來說既看不見也無法編輯,存在的目的是確保私有雲預設保持安全。
作為預設安全性狀態的一部分:
- 私有雲的網際網路存取會被停用,除非客戶明確啟用。
- 只允許必要的管理流量到達平台服務。
備註
你可能會在 Azure 入口網站看到警告,指出某些埠口似乎暴露在網路上。 發生這種情況是因為入口網站只會評估客戶可見的網路安全性群組 (NSG) 設定。 然而,Azure VMware 解決方案 也會套用額外的系統管理網路安全群組,這些群組在入口網站中看不到。 這些系統管理的網路安全群組會阻擋入站流量,除非透過 Azure VMware 解決方案 設定明確啟用存取權限。
此設計預設保持 AVS 環境安全且分離,同時仍讓客戶能管理並調整網路存取以符合需求。
路由和子網考量
Azure VMware 解決方案 Gen 2 私有雲提供 VMware 私有雲環境,供本地及 Azure 環境或資源的使用者與應用程式存取。 連線透過標準 Azure 網路提供。 需要特定的網路位址範圍和防火牆連接埠,才能啟用這些服務。 本節協助你設定網路以支援 Azure VMware 解決方案。
私有雲會用標準的 Azure 網路連接你的 Azure 虛擬網路。 Azure VMware 解決方案 Gen 2 私有雲需要最低 /22 CIDR 網路位址區塊來處理子網。 此網路可補充您的內部部署網路,因此位址區塊不應與其他虛擬網路中使用的位址區塊重疊,而這些虛擬網路位於您的訂用帳戶和內部部署網路中。 管理、vMotion 和複寫網路會在此位址區塊內自動佈建為您的虛擬網路內的子網路。
備註
您位址區塊允許的範圍為 RFC 1918 私人位址空間 (10.0.0.0/8、172.16.0.0/12、192.168.0.0/16),但 172.17.0.0/16 除外。 複寫網路不適用於 AV64 節點,而且計劃在未來日期全面淘汰。
請避免使用下列保留給 VMware NSX 使用量的 IP 架構:
- 169.254.0.0/24 - 用於內部傳輸網路
- 169.254.2.0/23 - 用於 VRF 間傳輸網路
- 100.64.0.0/16 - 用來在內部連線 T1 和 T0 閘道
- 100.73.x.x 由 Microsoft 的管理網路所使用
備註
表格中列出的大多數子網會以 Azure 虛擬網路中的子網形式顯示。 請勿手動更改這些子網路設定,因為它們由 Azure VMware 解決方案 控制平面管理,任何修改都可能帶來負面影響。
範例 /22 CIDR 網络位址區塊 10.31.0.0/22 分成下列子網:
備註
/22 CIDR 網路位址區塊專門保留給 Azure VMware 解決方案 內部管理與控制平面連接。 請勿將其任何子網路用於其他用途,包括任何私有雲的使用案例。
| 網路使用方式 | 子網路 | 說明 | 範例 |
|---|---|---|---|
| VMware NSX 網路 | /27 | NSX Manager 網路。 | 10.31.0.0/27 |
| vCSA 網路 | /27 | vCenter Server 網路。 | 10.31.0.32/27 |
| avs-mgmt | /27 | 管理設備(vCenter Server、NSX Manager 及 HCX Cloud Manager)位於「avs-mgmt」子網後方,並被程式化為該子網的次要 IP 範圍。 如果你的管理設備網路流量需要經過 NVA 或防火牆,可能需要調整與此子網相關的路由表 | 10.31.0.64/27 |
| avs-vnet-sync | /27 | Azure VMware 解決方案 Gen 2 用於將 VMware NSX 建立的路由編入虛擬網路。 | 10.31.0.96/27 |
| avs-services | /27 | 用於 Azure VMware 解決方案 Gen 2 提供者服務。 也用來設定私人雲端的私人 DNS 解析。 | 10.31.0.224/27 |
| avs-nsx-gw、avs-nsx-gw-1 | /27 | 這兩個 avs-nsx-gw 子網負責處理所有從 Azure VMware 解決方案 到 虛擬網路 及更遠範圍的外發流量。 因此,在每個情境下,這些子網都應套用 Azure 路由表(UDR)和網路安全群組(NSG)。 在初期的 AVS Gen-2 私有雲中,這些子網同時管理進站流量,所有 NSX 區段子網皆被設定為次要 IP。 在現行的 AVS Gen-2 私有雲中,新增了一個名為「avs-network-infra-gw」的第三子網路,用以處理所有進入的流量。 現在,所有 NSX 區段都被分配到這個子網,而不是 avs-nsx-gw 子網。 | 10.31.0.128/27, 10.31.0.160/27 |
| AVS-network-infra-gw | /26 | 當這個子網存在時,它會處理來自 VNET 的所有 NSX 工作負載的進出流量,並被 Azure VMware 解決方案 管理用來配置 NSX 區段子網作為次要 IP。 避免將任何 Azure 路由表與此子網關聯;相反地,請使用「avs-nsx-gw」子網來管理出站 AVS 流量,例如發送至 Azure 防火牆 或第三方網路虛擬設備(NVA)。 | 10.31.2.128/26 |
| esx-mgmt-vmk1 | /25 | vmk1 是客戶用來存取主機的管理介面。 來自 vmk1 介面的 IP 來自這些子網。 所有主機的所有 vmk1 流量都來自此子網範圍。 | 10.31.1.0/25 |
| esx-vmotion-vmk2 | /25 | vMotion VMkernel 介面。 | 10.31.1.128/25 |
| esx-vsan-vmk3 | /25 | vSAN VMkernel 介面和節點通訊。 | 10.31.2.0/25 |
| 已保留 | /27 | 保留空間。 | 10.31.0.128/27 |
| 已保留 | /27 | 保留空間。 | 10.31.0.192/27 |
備註
對於 Azure VMware 解決方案 Gen 2 部署,除了在 SDDC 部署期間輸入的 /22 子網路之外,客戶現在還必須為 HCX 管理和上行鏈路分配兩個額外的 /24 子網路。 在 AVS Gen 2 中,只需要 HCX mgmt 和 HCX 上行子網路。 AVS 第二代不需要 vMotion 和複製網路。
NSX 路由程式設計到 Azure 虛擬網路
Azure VMware 解決方案 Gen-2 NSX 路由透過位址空間整合至 Azure,並在「avs-network-infra-gw」系統建立子網路上指派為次要 IP,實現 Azure 與 AVS 客戶工作負載間的順暢連接。 當 NSX Tier-0 根據使用者設定(例如建立區段、新增靜態路由或使用 HCX MON 虛擬機)宣告路由時,Azure VMware 解決方案 控制平面會檢查該路由前綴是否存在於虛擬網路位址空間中。 如果沒有,它會建立位址空間,並將路由前綴新增為「avs-network-infra-gw」子網路上的次要 IP。 對於 Tier-0 宣告的 /32 路由(例如 HCX MON 路由),不會設定次要 IP,但資料平面會在內部進行設定,以確保可連線至 Azure VMware 解決方案 上的 /32 目的地。
除了 NSX 路由的位址空間和子網路更新之外,還有客戶應注意的內部程式設計,尤其是使用較低子網路遮罩時支援的規模。 如需更多關於擴展性的資訊,請參閱 Azure VMware 解決方案 Gen 2 的路由架構
Azure 路由資料表 (UDR) 關聯考量
Azure VMware 解決方案 Gen-2 包含兩種內部架構,並略有差異。 部分早期第二代私有雲採用最初的內部架構。 這些系統會透過定期維護更新至現行架構,並與客戶協調。 然而,與最初架構相比,現有架構的行為可能有所不同,這可能會影響某些網路設計上的考量,如下所述。
初期的第二代私有雲:
- Azure VNET 有兩個基本的閘道子網,分別叫做「avs-nsx-gw」,沒有像目前架構那樣的「avs-network-infra-gw」子網。
- 所有 AVS NSX 分段子網路都以「avs-nsx-gw」子網編寫,作為額外的 IPv4 位址,用於連接 Azure 與 NSX 工作負載。
- 來自 AVS 到 Azure VNET 及其以外位置 (例如內部部署) 流量的路由資料表 (UDR) 或 Azure NSG,需要套用至「avs-nsx-gw」子網路。
目前的第二代私有雲:
務必注意這種行為的改變。
- Azure VNET 將新增以「avs-network-infra-gw」為前綴的子網路,並搭配兩個名為「avs-nsx-gw」的基礎閘道子網,類似初期架構。
- 所有 AVS NSX 區段子網現在都被編入此子網作為次要 IPv4 位址,用於連接 Azure 與 NSX 工作負載。 這不會改變客戶的網路連線。
- VNET 對等互連會將位址空間和子網路都公告至對等互連 VNET,這與只同步處理位址空間的初始架構或 Azure 原生 VNET 同步不同。
因第二代內部架構變更而產生的設計考量
- 客戶會因 VNET 對等同步行為的變更,在對等互連 VNET 內觀察到 AVS 子網路的其他有效路由。
- 如果客戶使用 Azure 路由表(UDR)透過防火牆或網路虛擬設備從本地傳送流量到 AVS,他們應該更新 UDR,改用特定的 NSX 子網路路由,而非先前使用的寬泛超網地址範圍。 這是為了防止原本要傳送至 AVS 的流量,因 Azure 路由的最長前綴比對行為而改走更特定的 VNET 子網路路由,繞過預期的防火牆。 否則,這可能導致路由不對稱,進而引發連接性問題。
- 然而,從 AVS 到 Azure VNET 及更遠(例如本地)流量的路由表(UDR)或 Azure NSG,仍會應用於「avs-nsx-gw」子網,而非「avs-network-infra-gw」。 客戶不應在「avs-network-infra-gw」子網路上使用路由資料表(UDR),即使 NSX 區段子網路已在該子網路中設定為次要 IP。
後續步驟
從將您的 Azure VMware 解決方案服務主體設定為先決條件開始。 若想了解如何操作,請參閱啟用 Azure VMware 解決方案服務主體快速入門。
請跟隨
建立 Azure VMware 第二代私有雲