Najlepsze praktyki dotyczące używania zadań przechowywania

Ten artykuł przedstawia najlepsze wytyczne dotyczące korzystania z zadań magazynowych.

Kompozycja

Projektowanie warunków dotyczących wielu kont pamięci masowej. Rozważ włączenie miękkiego usuwania obiektów blob przed użyciem operacji usuwania w swoich warunkach i uważnie przejrzyj wpływ grupowania warunków. W tej sekcji opisano każde z tych zaleceń.

Zdefiniuj warunki zadania magazynu, aby umożliwić ponowne wykorzystanie na wielu kontach magazynu

Dzięki ponownemu użyciu warunków eliminujesz potrzebę tworzenia indywidualnych warunków zadań magazynowania dla każdego konta magazynu. Mniej definicji zadań upraszcza zarządzanie dużą liczbą kont pamięci masowej.

Stwórz warunki zadań magazynu, które działają na wielu kontenerach obiektów blob i kontach magazynu. Parametryzuj wartości za pomocą metadanych kontenera, metadanych obiektu blob lub tagów indeksu obiektu blob, zamiast kodować je na stałe w swoich warunkach. Na przykład, jeśli masz różne kontenery blobów, z których każdy ma inny czas retencji dla swoich danych względem czasu tworzenia blobu, ustaw czas retencji dla każdego kontenera jako wartość metadanych kontenera. Utwórz jedno zadanie magazynu, które wykorzystuje tę wartość metadanych kontenera w warunku dla dowolnego kontenera, zamiast tworzyć osobne zadania dla każdego kontenera z ustaloną wartością w warunku.

Ustaw metadane kontenera na dowolnym kontenerze blob na wielu kontach pamięci masowej i stwórz wiele przypisań zadań magazynowania, korzystając z opcji Assignments dla zadania magazynowania w portalu Azure.

Podobnie możesz dostosować przetwarzanie poszczególnych blobów, używając jednego zadania magazynu, używając metadanych lub tagów indeksowych blobów do ustalania niestandardowego czasu trwania lub dat dla każdego bloba.

Zrzut ekranu przedstawiający lokalizację opcji przypisania.

Gdy włączysz te przypisania zadań, wykonywanie zadania magazynu obiektów odbywa się na blobach na odpowiednich kontach równocześnie, umożliwiając skalowanie poziome.

Sprawdź poprawność edycji zadań z istniejącymi przypisaniami zadań dla wszystkich mających zastosowanie typów kont pamięci masowej

Zmiany wprowadzone w istniejącym zadaniu magazynowania są automatycznie przekazywane do powiązanych przypisań zadań. Jeśli wprowadzisz zależność od nowej funkcji w swojej zmianie, powiązane przypisania zadań mogą stać się nieważne, jeśli ta funkcja nie jest obsługiwana na tym koncie magazynu. Na przykład, jeśli edycja warunku zadania wprowadzi klauzulę zależną od wersjonowania blobów, wszelkie istniejące przypisania zadań na kontach pamięci z hierarchiczną przestrzenią nazw (HNS) mogą stać się nieważne, ponieważ nie obsługują wersji blob.

Aby uniknąć takich zakłóceń, zweryfikuj wszelkie edycje przypisań zadań na wszystkich odpowiednich typach kont pamięci.

Rozważ włączenie miękkiego usuwania blobów w koncie przechowywania przed użyciem operacji usuwania.

W celu zapewnienia rozszerzonej ochrony danych firma Microsoft zaleca włączenie miękkiego usuwania obiektów blob na Twoim koncie magazynowym. Usuwanie nietrwałe obiektów blob zapewnia dodatkową warstwę przechowywania i spokój, umożliwiając odzyskiwanie obiektów blob, które zostały przypadkowo usunięte. Włączając miękkie usuwanie obiektów blob, można przywrócić obiekty blob w okresie przechowywania, minimalizując ryzyko utraty danych z powodu nieumyślnych usunięć. Jeśli obiekty blob zostaną przypadkowo usunięte na koncie magazynu z włączoną funkcją miękkiego usuwania, można użyć operacji odzyskiwania w zadaniu związanym z magazynem w celu odzyskania obiektu blob.

Zrozumieć wpływ przypisywania zadania dotyczącego pamięci na konto z włączoną polityką zarządzania cyklem życia zasobów

Operacja usuwania może zakończyć się niepowodzeniem, jeśli polityka zarządzania cyklem życia próbuje usunąć identyczny obiekt blob. W związku z tym, jeśli zadanie magazynu zawiera operację usuwania, a zadanie jest przypisywane do konta z aktywnymi zasadami zarządzania cyklem życia, które definiują akcję usuwania, może wystąpić wysoki współczynnik niepowodzeń, jeśli operacje te dotyczą tego samego zestawu obiektów blob.

Omówienie wpływu grupowania warunków zadania magazynu

Sprawdź, czy sposób grupowania warunków prowadzi do żądanego wyniku. Niepoprawne grupowanie może spowodować nieoczekiwane operacje. Dokładnie przetestuj pogrupowane warunki, korzystając z możliwości w wersji zapoznawczej. Upewnij się, że warunki są zgodne z blobami zgodnie z oczekiwaniami.

Walidacja

Zweryfikuj warunki podczas ich tworzenia, i po raz kolejny przed włączeniem przypisania zadania dotyczącego magazynowania. W tej sekcji opisano każde z tych zaleceń.

Weryfikowanie warunków podczas ich redagowania

Należy zweryfikować każdy warunek, który został skomponowany przy użyciu funkcji podglądu warunku. Ta funkcja zapewnia interaktywne doświadczenie, które pokazuje, które z wybranych obiektów blob spełniają skonfigurowany przez Ciebie predykat warunku. Podgląd warunku nie wprowadza żadnych zmian w danych. Możesz zweryfikować warunek dla różnych zestawów blobów, określając różne konta magazynu lub prefiksy ścieżek blobów. Niepoprawnie złożone warunki mogą negatywnie wpłynąć na dane, co ma kluczowe znaczenie dla zapewnienia prawidłowego komponowania warunku.

Zobacz Podgląd wpływu warunków

Zweryfikuj warunki przed zatwierdzeniem zadań związanych z przechowywaniem danych.

Funkcja podglądu warunku jest również wyświetlana w okienku Dodaj zadanie. Przed zatwierdzeniem przypisania użyj tej funkcji, aby sprawdzić, czy zadanie magazynu działa na poprawnym zestawie blobów w koncie magazynu. Jeśli zadanie magazynowania jest używane w innych przypisaniach konta magazynowego, nie ma wpływu na niepożądane obiekty blob.

Zrzut ekranu przedstawiający panel dodawania zadania.

Użyj przebiegów pozorowania, aby sprawdzić poprawność przed wykonaniem na dużą skalę

Przed włączeniem przypisania zadania obejmującego dużą liczbę obiektów blob warto najpierw uruchomić próbne uruchomienie. Chociaż funkcja podglądu warunku jest przydatna do wyrywkowego sprawdzania warunków na małej próbce, próbne uruchomienie umożliwia pełnoskalową symulację dla wszystkich obiektów blob objętych zakresem.

Przebieg próbny:

  • Skanuje i ocenia każdy obiekt blob pasujący do filtrów prefiksów — a nie tylko ograniczoną próbkę.
  • Generuje szczegółowy raport zawierający listę wszystkich obiektów blob, które spełniły warunki, oraz operacje, które zostałyby wykonane.
  • Nie modyfikuje żadnych danych, dzięki czemu można bezpiecznie używać ich na kontach magazynu produkcyjnego.

Takie podejście jest szczególnie ważne, gdy zadanie obejmuje operacje nieodwracalne. Najpierw wykonanie próbnego uruchomienia pomaga zapobiec niezamierzonym błędnym konfiguracjom.

Zalecany przepływ pracy:

  1. Projektuj i wyświetlaj podgląd warunków za pomocą funkcji podglądu warunków w portalu Azure.
  2. Utwórz próbne przypisanie uruchomienia, aby zweryfikować warunki względem pełnego zestawu obiektów Blob.
  3. Przejrzyj raport z przebiegu próbnego, aby potwierdzić, że operacja objęłaby właściwe obiekty blob.
  4. Jeśli wyniki są zadowalające, przekształć przypisanie przebiegu testowego w przypisanie rzeczywistego przebiegu (jednorazowego lub cyklicznego) albo utwórz nowe przypisanie rzeczywistego przebiegu.

Aby uzyskać instrukcje krok po kroku, zobacz Tworzenie i użycie próbnego uruchomienia.

Skalowalność i wydajność

Włącz zadania magazynowania pojedynczo. Zastosuj techniki, aby zoptymalizować warunki i planowanie przydziałów zadań.

Włącz jednocześnie tylko jedno przypisanie zadania magazynowego

Storage Actions obecnie obsługuje wykonanie tylko jednego przypisania zadania magazynowania naraz dla jednego konta magazynu. Jeśli jednocześnie przypiszesz do konta i włączysz dwa zadania magazynowania, pierwsze zadanie zostanie uruchomione, a drugie będzie czekać, aż pierwsze zadanie się zakończy. Ta reguła dotyczy zarówno jednorazowych, jak i cyklicznych przypisań zaplanowanych zadań.

W przypadku zaplanowanych przypisań zadań, jeśli iteracja poprzedniego zadania nadal trwa, nowe iteracje są pomijane. Następne zaplanowane zadanie uruchamia się o czasie wyznaczonym przez wyzwalacz po zakończeniu poprzedniego zadania. Podczas planowania cyklicznych zadań należy wziąć pod uwagę aspekty związane ze skalowaniem, ponieważ przydziały zadań do dużych kont magazynowych mogą zajmować więcej czasu. Dlatego należy zaplanować je tak, aby każde uruchomienie zadania zakończyło się przed następną iterację, aby zapobiec pomijaniu kolejnych iteracji.

W przypadku zadań wykonywanych jednorazowo, jeśli zadanie równoległe jest już w toku, nowe zadanie zostanie odroczone na 60 minut oraz dodatkowo o losową liczbę minut przed ponowną próbą. Zasadniczo, aby uniknąć nieporozumień co do tego, który przydział zadania jest aktualnie wykonywany, włączaj tylko jeden przydział zadania jednocześnie.

Obejścia limitów skalowania

Storage Actions ma zdefiniowane limity skalowania. Zobacz Limity zasobów.

Aby zoptymalizować zarządzanie limitami skalowania, rozważ zaimplementowanie następujących obejść:

  1. Segmentacja zadań według prefiksu: Zamiast przypisywać pojedyncze zadanie do przetwarzania wszystkich obiektów blob na koncie magazynu, utwórz wiele zadań, z których każdy odpowiada za określony filtrowany podzbiór obiektów blob na podstawie ich prefiksów. Takie podejście segmentacji równomiernie dystrybuuje obciążenie i pomaga utrzymać się w granicach skali. Filtry można dodawać podczas przypisywania zadań, jak pokazano poniżej:

    Zrzut ekranu przedstawiający sekcję obiektów filtra w okienku dodawania zadania.

  2. Harmonogram przesuwny: Planowanie zadań w celu ich wykonywania o różnych porach, szczególnie przy operacjach na dużą skalę. Rozłożenie czasów wykonywania pozwala uniknąć jednoczesnych zadań, które mogą naruszać limity współbieżności i powodować konflikty podczas wykonywania zadań.

  3. Przetwarzanie przyrostowe: podziel duże zadania na mniejsze, przyrostowe kroki. Ta metoda zapewnia, że każdy segment zadań zostanie ukończony w ramach podanych limitów, zmniejszając ryzyko niekompletnych operacji.

  4. Monitorowanie i dostosowywanie: Regularnie monitoruj wydajność i postęp zadań. Dostosuj warunki, prefiksy i harmonogramy zadań zgodnie z potrzebami, aby zapewnić wydajne przetwarzanie w ramach limitów skalowania.

Stosując te strategie, można skutecznie zarządzać narzuconymi limitami skalowania, zapewniając wydajne i bezproblemowe wykonywanie zadań.

Niezawodność

Akcje magazynowe działają bardziej niezawodnie na kontach z magazynem geograficznie nadmiarowym (GRS) lub w konfiguracjach magazynu geograficznie strefowo redundantnego (GZRS).

Używanie nadmiarowości geograficznej w celu zapewnienia ciągłości działania

Konta magazynowe z GRS i GZRS replikują dane do regionu pomocniczego w przypadku awarii i przełączenia na region zapasowy. Ciągłość działań magazynowania znacznie zależy od konfiguracji nadmiarowości docelowego konta magazynowego. Konta pamięci masowej skonfigurowane z nadmiarowością geograficzną korzystają z zautomatyzowanego procesu przełączenia awaryjnego. To automatyczne zarządzanie zapewnia, że przyszłe przypisania zadań, zarówno jednorazowe, jak i cykliczne, uruchamianie iteracji będzie się odbywać w regionie pomocniczym bez problemów. Jednak zadania magazynu, które były w toku w czasie przełączenia awaryjnego, mogą napotkać błędy. Nowe zadania związane z magazynem oraz przypisania tych zadań nadal działają zgodnie z oczekiwaniami.

Spójne monitorowanie konta magazynu ma kluczowe znaczenie. W przypadku przejścia w tryb failover należy dokładnie przejrzeć raportowanie i monitorowanie zadań, aby zweryfikować pomyślne ukończenie wszystkich operacji obiektów blob oraz zidentyfikować wszelkie rozbieżności, które wymagają uwagi.

Nadzorowanie

Okresowo monitoruj wykonywanie zadań związanych z magazynowaniem i unikaj usuwania kontenera, w którym przechowywane są raporty z wykonania zadań.

Okresowo monitoruj zadania

Wykresy na stronie Overview portalu Storage Actions podsumowują wykonanie przydziałów zadań. Regularnie monitoruj tę stronę, aby upewnić się, że zadania działają zgodnie z oczekiwaniami. Użyj filtra lub kliknij odpowiednie kafelki, aby przeanalizować ewentualne anomalie lub awarie oraz przejrzeć raporty wykonania.

Upewnij się, że kontener raportu wyników nie został usunięty

Akcje magazynu generują szczegółowe raporty w formacie CSV, które są zapisywane w kontenerze raportów skonfigurowanym podczas przydziału zadania. Raporty te dostarczają informacji o operacjach wykonywanych podczas wykonywania zadania, a każdy wiersz w pliku CSV zawiera informacje o wykonanych operacjach, statusie każdej operacji oraz ewentualnych napotkanych błędach. Upewnij się, że kontener raportów nie zostanie usunięty z konta magazynu, gdy przypisanie zadania jest włączone. Jeśli kontener raportowania wyników zostanie usunięty podczas uruchamiania zadania, wykonanie zadania może zakończyć się niepowodzeniem.

Cykl życia operacji magazynowych

Skonsoliduj definicje zadań w grupie zasobów lub subskrypcji

Aby efektywnie zarządzać powiązanymi zadaniami Storage Actions, rozważ użycie jednej grupy zasobów lub subskrypcji jako repozytorium dla zasobów zadań. Takie podejście pozwala tworzyć zadania i ponownie je używać na wielu kontach magazynu w różnych subskrypcjach i regionach, bez duplikacji. Centralizując zarządzanie zadaniami, możesz usprawnić polityki zarządzania danymi, zapewnić spójność w realizacji zadań oraz zmniejszyć narzut administracyjny.

Zobacz także

  • Ostatnia aktualizacja o