Przechodzenie w tryb failover na potrzeby ciągłości działania i odzyskiwania po awarii

Aby zmaksymalizować czas pracy, zaplanuj ciągłość działania i przygotuj się do odzyskiwania po awarii za pomocą usługi Azure Machine Learning.

Firma Microsoft stara się zapewnić, że usługi platformy Azure są zawsze dostępne. Mogą jednak wystąpić nieplanowane awarie usług. Przygotuj plan przywracania po awarii na wypadek regionalnych awarii usług. W tym artykule omówiono sposób wykonywania następujących zadań:

• Planowanie wdrożenia wieloregionalnego usługi Azure Machine Learning i powiązanych zasobów.
• Maksymalizuj szanse na odzyskanie dzienników, notesów, obrazów platformy Docker i innych metadanych.
• Projektowanie pod kątem wysokiej dostępności rozwiązania.
• Zainicjuj przejście w tryb failover do innego regionu.

Jeśli obszar roboczy lub odpowiednie składniki zostały przypadkowo usunięte, ten artykuł zawiera również obecnie obsługiwane opcje odzyskiwania.

Omówienie usług platformy Azure dla usługi Azure Machine Learning

Usługa Azure Machine Learning zależy od wielu usług platformy Azure. Niektóre z tych usług są udostępniane w ramach subskrypcji. Odpowiadasz za konfigurację tych usług o wysokiej dostępności. Inne usługi są tworzone w ramach subskrypcji firmy Microsoft i są zarządzane przez firmę Microsoft.

Usługi platformy Azure obejmują:

• Infrastruktura usługi Azure Machine Learning: środowisko zarządzane przez firmę Microsoft dla obszaru roboczego usługi Azure Machine Learning.

• Zasoby skojarzone: zasoby udostępnione w ramach subskrypcji podczas tworzenia obszaru roboczego usługi Azure Machine Learning. Te zasoby obejmują usługę Azure Storage, usługę Azure Key Vault, usługę Azure Container Registry i usługę Application Insights.

  • Domyślny magazyn zawiera dane, takie jak modele, dane dziennika treningu oraz odwołania do zasobów danych.
  • Usługa Key Vault ma poświadczenia dla usług Azure Storage, Container Registry i magazynów danych.
  • Container Registry zawiera obraz Docker dla środowisk trenowania i wnioskowania.
  • Usługa Application Insights służy do monitorowania usługi Azure Machine Learning.

• Zasoby obliczeniowe: zasoby tworzone po wdrożeniu obszaru roboczego. Możesz na przykład utworzyć wystąpienie obliczeniowe lub klaster obliczeniowy w celu wytrenowania modelu uczenia maszynowego.

  • Instancja obliczeniowa i klaster obliczeniowy: zarządzane przez firmę Microsoft środowiska do tworzenia modeli.
  • Inne zasoby: zasoby obliczeniowe firmy Microsoft, które można dołączyć do usługi Azure Machine Learning, takie jak Azure Kubernetes Service (AKS), Azure Databricks, Azure Container Instances i Azure HDInsight. Odpowiadasz za konfigurowanie ustawień wysokiej dostępności dla tych zasobów.

• Inne magazyny danych: usługa Azure Machine Learning może zainstalować inne magazyny danych, takie jak Azure Storage i Azure Data Lake Storage na potrzeby danych szkoleniowych. Te magazyny danych są udostępniane w ramach Twojej subskrypcji. Odpowiadasz za konfigurowanie ustawień wysokiej dostępności. Aby wyświetlić inne opcje magazynu danych, zobacz Tworzenie magazynów danych.

W poniższej tabeli przedstawiono, które usługi Azure są zarządzane przez Microsoft i które są zarządzane przez Ciebie. Wskazuje również usługi, które są domyślnie wysoce dostępne.

W pozostałej części tego artykułu opisano akcje, które należy wykonać, aby każda z tych usług były wysoce dostępne.

Planowanie wdrożenia w wielu regionach

Wdrożenie obejmujące wiele regionów opiera się na tworzeniu usługi Azure Machine Learning i innych zasobów (infrastruktury) w dwóch regionach świadczenia usługi Azure. Jeśli wystąpi awaria regionalna, możesz przełączyć się do innego regionu. Podczas planowania miejsca wdrażania zasobów należy wziąć pod uwagę następujące kwestie:

• Dostępność regionalna: jeśli to możliwe, użyj regionu w tym samym obszarze geograficznym, niekoniecznie takiego, który jest najbliżej. Aby sprawdzić dostępność regionalną usługi Azure Machine Learning, zobacz Produkty platformy Azure według regionów.

• Sparowane regiony platformy Azure: sparowane regiony koordynują aktualizacje platformy i ustalają priorytety działań związanych z odzyskiwaniem w razie potrzeby. Jednak nie wszystkie regiony obsługują sparowane regiony. Aby uzyskać więcej informacji, zobacz artykuł Sparowane regiony platformy Azure.

• Dostępność usługi: Zdecyduj, czy zasoby wykorzystywane przez rozwiązanie powinny działać w modelu hot/hot, hot/warm czy hot/cold.

  • Aktywny/aktywny: Oba regiony są aktywne jednocześnie, przy czym jeden z nich jest gotowy do natychmiastowego użycia.
  • Gorąca/ciepła: Aktywny region podstawowy, region pomocniczy ma krytyczne zasoby (na przykład wdrożone modele) gotowe do uruchomienia. Zasoby niekrytyczne muszą być wdrażane ręcznie w regionie pomocniczym.
  • Gorąca/zimna: Aktywny region podstawowy, region pomocniczy ma wdrożone usługi Azure Machine Learning i inne zasoby wraz z wymaganymi danymi. Zasoby, takie jak modele, wdrożenia modelu lub potoki, muszą być wdrażane ręcznie.

Usługa Azure Machine Learning bazuje na innych usługach. Niektóre usługi można skonfigurować do replikacji do innych regionów. Pozostałe musisz utworzyć ręcznie w wielu regionach. Poniższa tabela zawiera listę usług, które są odpowiedzialne za replikację oraz omówienie konfiguracji:

Aby zapewnić szybkie odzyskiwanie i ponowne uruchomienie w regionie zapasowym, zalecamy stosowanie następujących praktyk programistycznych:

• Użyj szablonów usługi Azure Resource Manager. Szablony to "infrastruktura jako kod" i umożliwiają szybkie wdrażanie usług w obu regionach.
• Aby uniknąć dryfu między dwoma regionami, zaktualizuj potoki ciągłej integracji i wdrażania w celu wdrożenia w obu regionach.
• Podczas automatyzowania wdrożeń uwzględnij konfigurację dołączonych zasobów obliczeniowych obszaru roboczego, takich jak usługa Azure Kubernetes Service.
• Tworzenie przypisań ról dla użytkowników w obu regionach.
• Utwórz zasoby sieciowe, takie jak sieci wirtualne platformy Azure i prywatne punkty końcowe dla obu regionów. Upewnij się, że użytkownicy mają dostęp do obu środowisk sieciowych. Na przykład konfiguracje sieci VPN i DNS dla obu sieci wirtualnych.

Usługi obliczeniowe i usługi danych

W zależności od potrzeb może istnieć więcej usług obliczeniowych lub danych, które są używane przez usługę Azure Machine Learning. Możesz na przykład użyć usług Azure Kubernetes Services lub Azure SQL Database. Skorzystaj z poniższych informacji, aby dowiedzieć się, jak skonfigurować te usługi pod kątem wysokiej dostępności.

Zasoby obliczeniowe

• Azure Kubernetes Service: zobacz Najlepsze rozwiązania dotyczące ciągłości działania i odzyskiwania po awarii w usłudze Azure Kubernetes Service (AKS) i Tworzenie klastra usługi Azure Kubernetes Service (AKS), który korzysta ze stref dostępności. Jeśli klaster usługi AKS został utworzony przy użyciu programu Azure Machine Learning Studio, zestawu SDK lub interfejsu wiersza polecenia, wysoka dostępność między regionami nie jest obsługiwana.
• Azure Databricks: zobacz Regionalne odzyskiwanie po awarii dla klastrów usługi Azure Databricks.
• Container Instances: Orkiestrator odpowiada za przełączanie awaryjne. Zobacz Azure Container Instances i narzędzia do orkiestracji kontenerów.
• HDInsight: zobacz Usługi wysokiej dostępności obsługiwane przez usługę Azure HDInsight.

Usługi danych

• Kontener obiektów blob platformy Azure / Azure Files / Data Lake Storage Gen2: zobacz Nadmiarowość usługi Azure Storage.
• Data Lake Storage Gen1: zobacz Wskazówki dotyczące wysokiej dostępności i odzyskiwania po awarii dla usługi Data Lake Storage Gen1.

Projektowanie na potrzeby wysokiej dostępności

Strefy dostępności

Niektóre usługi platformy Azure obsługują strefy dostępności. W przypadku regionów obsługujących strefy dostępności, jeśli jedna ze stref ulegnie awarii, wszystkie obciążenia robocze zostaną wstrzymane, a dane powinny zostać zapisane. Jednak dane są niedostępne do odświeżenia, dopóki strefa nie wróci do trybu online.

Aby uzyskać więcej informacji, zobacz Obsługa usługi strefy dostępności.

Wdrażanie krytycznych składników w wielu regionach

Określ poziom ciągłości działania, do którego dążysz. Poziom może się różnić między składnikami rozwiązania. Na przykład możesz chcieć mieć konfigurację gorącą/gorącą dla potoków produkcyjnych lub wdrożeń modelu oraz gorącą/zimną na potrzeby eksperymentowania.

Zarządzanie danymi treningowymi w izolowanym magazynie

Utrzymując magazyn danych oddzielony od domyślnego magazynu używanego przez obszar roboczy na potrzeby dzienników, możesz:

• Dołącz te same instancje magazynu jako magazyny danych do głównego i pomocniczego obszaru roboczego.
• Korzystaj z replikacji geograficznej dla kont magazynu danych i maksymalizuj czas pracy.

Zarządzanie zasobami uczenia maszynowego jako kodem

Zadania w usłudze Azure Machine Learning są definiowane przez specyfikację zadania. Ta specyfikacja obejmuje zależności od artefaktów wejściowych, które są zarządzane na poziomie instancji obszaru roboczego, w tym środowisk i zasobów obliczeniowych. W przypadku przesyłania i wdrożeń zadań obejmujących wiele regionów zalecamy następujące rozwiązania:

• Lokalnie zarządzaj bazą kodu wspieraną przez repozytorium Git.

  • Eksportowanie ważnych notesów z usługi Azure Machine Learning Studio.
  • Eksportowanie potoków utworzonych w programie Studio jako kodu.

• Zarządzanie konfiguracjami jako kodem.

  • Unikaj zakodowanych na stałe odwołań do obszaru roboczego. Zamiast tego skonfiguruj odwołanie do instancji obszaru roboczego za pomocą pliku konfiguracji i użyj MLClient.from_config(), aby zainicjować obszar roboczy.
  • Użyj pliku Dockerfile, jeśli używasz własnych obrazów Dockera.

Zainicjuj przełączenie awaryjne

Kontynuuj pracę w obszarze roboczym trybu failover

Gdy podstawowy obszar roboczy stanie się niedostępny, możesz przełączyć się na pomocniczy obszar roboczy, aby kontynuować eksperymentowanie i programowanie. Usługa Azure Machine Learning nie przesyła automatycznie zadań do pomocniczego obszaru roboczego, jeśli wystąpi awaria. Zaktualizuj konfigurację kodu, aby wskazywała nowy zasób obszaru roboczego. Zalecamy unikanie odwołań do obszaru roboczego zakodowanych na stałe. Zamiast tego użyj pliku konfiguracji obszaru roboczego, aby zminimalizować ręczne kroki użytkownika podczas zmieniania obszarów roboczych. Pamiętaj również o zaktualizowaniu wszelkich automatyzacji, takich jak potoki ciągłej integracji i wdrażania w nowym obszarze roboczym.

Usługa Azure Machine Learning nie może synchronizować ani odzyskiwać artefaktów ani metadanych między instancjami obszaru roboczego. W zależności od strategii wdrażania aplikacji może być konieczne przeniesienie artefaktów lub ponowne utworzenie danych wejściowych eksperymentów, takich jak zasoby danych, w obszarze roboczym trybu failover w celu kontynuowania przesyłania zadań. Jeśli skonfigurowano podstawowy obszar roboczy i zasoby pomocniczego obszaru roboczego tak, aby współużytkowały powiązane zasoby przy włączonej replikacji geograficznej, niektóre obiekty mogą być bezpośrednio dostępne w obszarze roboczym przełączenia awaryjnego. Jeśli na przykład oba obszary robocze korzystają z tych samych obrazów Dockera, skonfigurowanych magazynów danych i zasobów usługi Azure Key Vault. Na poniższym diagramie przedstawiono konfigurację, w której dwa obszary robocze współdzielą te same obrazy (1), magazyny danych (2) i usługę Key Vault (3).

Przenoszenie artefaktów między obszarami roboczymi

W zależności od podejścia do odzyskiwania może być konieczne skopiowanie artefaktów między obszarami roboczymi, aby kontynuować pracę. Obecnie przenośność artefaktów między obszarami roboczymi jest ograniczona. Zalecamy zarządzanie artefaktami jako kodem tam, gdzie to możliwe, aby można je było odtworzyć w wystąpieniu trybu failover.

Następujące artefakty można eksportować i importować między obszarami roboczymi przy użyciu rozszerzenia Azure CLI dla uczenia maszynowego:

Opcje odzyskiwania

Usuwanie obszaru roboczego

Jeśli obszar roboczy został przypadkowo usunięty, możesz go odzyskać. Aby uzyskać instrukcje odzyskiwania, zobacz Odzyskiwanie danych obszaru roboczego po przypadkowym usunięciu przy użyciu usunięcia nietrwałego.

Nawet jeśli nie można odzyskać obszaru roboczego, nadal możesz pobrać notesy z skojarzonego z obszarem roboczym zasobu usługi Azure Storage, wykonując następujące kroki:

• W witrynie Azure Portal przejdź do konta magazynu połączonego z usuniętym obszarem roboczym usługi Azure Machine Learning.
• W sekcji Magazyn danych po lewej stronie wybierz pozycję Udziały plików.
• Twoje notatniki znajdują się w udziale plików, którego nazwa zawiera identyfikator Twojego obszaru roboczego.

Następne kroki

Aby dowiedzieć się więcej o powtarzalnych wdrożeniach infrastruktury za pomocą usługi Azure Machine Learning, użyj szablonu Bicep lub szablonu narzędzia Terraform.