Automatyzowanie reagowania na zdarzenia w agencie SRE platformy Azure

Agent monitoruje, bada i rozwiązuje zdarzenia podczas uśpienia. Uczy się z każdej poprawki, aby z czasem stawać się mądrzejszy. Zatrzymaj przełączanie kontekstu o 3:00.

Wskazówka

  • Agent potwierdza zdarzenia i rozpoczyna badanie w ciągu kilku sekund.
  • Automatycznie koreluje dzienniki, metryki, wdrożenia i wcześniejsze zdarzenia.
  • Proponuje poprawki lub rozwiązuje problemy autonomicznie na podstawie trybu uruchamiania.
  • Wiedza przechwycona w pamięci poprawia obsługę zdarzeń w przyszłości.
  • Udostępnia wątki dochodzeniowe współpracownikom za pośrednictwem głębokich linków.

Problem: 3:00 nad ranem, pięć zakładek, jeden wyczerpany inżynier

Kiedy alert zostanie wyzwolony o godzinie 3:00, nie tylko się obudzisz, ale także zmieniasz perspektywę. Otwórz PagerDuty, aby zobaczyć, co jest nie tak, następnie Grafana, aby sprawdzić metryki, potem Log Analytics, aby sprawdzić błędy, następnie Slack, aby zobaczyć, czy ktoś inny coś wie, a na końcu runbook, który został ostatnio zaktualizowany sześć miesięcy temu.

Tymczasem zegar tyka na średni czas do rozwiązania problemu (MTTR). Wiedza o tym, jak rozwiązać ten problem, znajduje się albo w dokumentacji dotyczącej przeszłych incydentów, w głowie kolegi z drużyny, albo w elemencie Runbooku, którego nikt nie czyta. Ale o 3:00, nie można go znaleźć.

Jak agent rozwiązuje ten problem

Agent rozpoczyna pracę w ciągu kilku sekund po wystąpieniu zdarzenia.

Diagram przedstawiający przepływ reagowania na zdarzenia: alerty są uruchamiane, agent potwierdza, zbiera kontekst, formułuje hipotezy, weryfikuje i rozwiązuje lub eskaluje.

Agent wykonuje następujące kroki:

  1. Potwierdza alert na platformie zdarzeń (PagerDuty, ServiceNow lub Azure Monitor).
  2. Wykonuje zapytania dotyczące narzędzi do obserwacji — Azure Monitor, Application Insights oraz wszystkich połączonych źródeł, takich jak Kusto lub narzędzia inne niż Microsoft za pośrednictwem MCP.
  3. Koreluje z historią wdrożenia — jeśli połączono kontrolę źródła lub utworzono niestandardowego agenta obsługującego wdrożenie.
  4. Sprawdza pamięć pod kątem podobnych problemów — "Widzieliśmy ten dokładny błąd trzy tygodnie temu. Oto, co to naprawiło".
  5. Tworzy hipotezy dotyczące tego, co poszło nie tak i weryfikuje każdy z nich ze dowodami.
  6. Proponuje poprawkę lub rozwiązanie autonomiczne na podstawie trybu uruchamiania.

W momencie, gdy się obudzisz, zdarzenie zostanie rozwiązane z pełną ścieżką argumentacji lub czeka na ciebie jasna rekomendacja do zatwierdzenia.

Co sprawia, że takie podejście różni się

Twój agent ulepsza tradycyjne podejścia na kilka kluczowych sposobów.

W przeciwieństwie do runbooków agent uczy się na każdym incydencie. Kiedy poprawka działa, system to zapamiętuje. Po dodaniu elementu Runbook do bazy wiedzy agent odwołuje się do niego automatycznie. Runbooki stają się przestarzałe; pamięć agenta staje się bardziej inteligentna.

W przeciwieństwie do skryptów agent dostosowuje się. Skrypt uruchamia te same kroki niezależnie od kontekstu. Twój agent rozumuje na temat konkretnej sytuacji i pracuje w celu skorelowania dowodów we wszystkich połączonych źródłach, aby zrozumieć, co jest nie tak.

W przeciwieństwie do pulpitów nawigacyjnych agent działa. Kokpity umożliwiają interpretację danych. Agent interpretuje dane, tworzy hipotezy i proponuje rozwiązania. Po zakończeniu tej pracy przeglądasz wnioski, a nie nieprzetworzone metryki.

Przed i po

W poniższej tabeli porównano ręczną odpowiedź na zdarzenia z reagowaniem na zdarzenia wspomagane przez agenta.

Obszar przed po
Potwierdzenia Czekaj, aż człowiek się obudzi Agent potwierdza natychmiast
Otwarte narzędzia 5+ kart 0 (agent obsługuje go)
Dochodzenie Ręczna korelacja między narzędziami Agent automatycznie wykonuje zapytania o wszystkie źródła
Przechwycona wiedza W głowie inżyniera Zapisano w pamięci
Przerwano uśpienie Yes Nie.
Udostępnianie wyników Zrzut ekranu lub opisz ścieżkę nawigacji Skopiuj link wątku, wklej w Teams

Udostępnianie wątków badania

Podczas aktywnego incydentu ważne jest, aby zespół był zgodny co do tego, co odkrył agent. Każdy wątek badania ma opcję Kopiuj łącze do wątku , która generuje link bezpośredni do udostępniania. Wklej go w Teams lub Slack.

Aby skopiować link wątku:

  1. Otwórz dowolny wątek badania zdarzeń.
  2. Wybierz przycisk ⋯ (więcej opcji) obok tytułu wątku.
  3. Wybierz pozycję Kopiuj link do wątku.

Skopiowany adres URL działa we wszystkich metodach dostępu. Odbiorcy z dostępem do agenta wybierają link i trafiają bezpośrednio do wątku śledztwa.

Kiedy udostępnić linki wątków:

  • Podczas telekonferencji incydentu udostępnij zespołowi analizę głównej przyczyny opracowaną przez agenta.
  • W przeglądach po zdarzeniu połącz się bezpośrednio z wątkiem badania jako dowód.
  • Wyślij konkretne odkrycie do kolegi z drużyny, aby uzyskać drugą opinię.

Wprowadzenie

Resource Czego się nauczysz
Automatyzowanie reagowania na zdarzenia Połącz swoją platformę zdarzeń, utwórz plany reagowania i obserwuj, jak twój agent obsługuje rzeczywiste zdarzenie

Następne kroki