Uruchamianie zapytań KQL w Microsoft Sentinel data lake

Eksploracja jeziora danych w portalu Microsoft Defender zapewnia ujednolicony interfejs do analizowania Twojego jeziora danych. Umożliwia uruchamianie zapytań KQL (język zapytań Kusto), tworzenie zadań i zarządzanie nimi. Zanim zaczniesz, upewnij się, że spełniasz wymagania wstępne do zapytania do jeziora danych, w tym onboarding i wymagane uprawnienia.

Strona zapytań KQL w obszarze Eksploracja usługi Data lake umożliwia edytowanie i uruchamianie zapytań KQL dotyczących zasobów usługi Data Lake i tabel federacyjnych. Utwórz zadania do przenoszenia danych z warstwy Data Lake do warstwy analitycznej lub do tworzenia tabel zagregowanych w warstwie Data Lake. Uruchom zadania na żądanie lub zaplanuj je. Strona Zadania umożliwia zarządzanie zadaniami. włączać, wyłączać, edytować lub usuwać. Aby uzyskać więcej informacji, zobacz Tworzenie zadań w Microsoft Sentinel data lake.

Wymagania wstępne

Następujące wymagania wstępne są potrzebne do uruchamiania zapytań KQL w Microsoft Sentinel data lake.

Dołączanie do usługi Data Lake

Zapytania KQL można uruchamiać w portalu Microsoft Defender po zakończeniu procesu wdrażania. Aby uzyskać więcej informacji o wdrażaniu, zobacz Wdrażanie do jeziora danych Microsoft Sentinel.

Uprawnienia

Role Microsoft Entra ID umożliwiają dostęp do wszystkich obszarów roboczych w jeziorze danych. Alternatywnie, możesz przyznać dostęp do poszczególnych obszarów roboczych przy użyciu ról kontroli dostępu opartych na rolach platformy Azure (Azure RBAC). Użytkownicy z uprawnieniami Azure RBAC dla obszarów roboczych Microsoft Sentinel mogą uruchamiać zapytania KQL względem tych obszarów roboczych w warstwie usługi Data Lake. Aby uzyskać więcej informacji na temat ról i uprawnień, zobacz Role i uprawnienia jeziora danych w usłudze Microsoft Sentinel.

Opcjonalnie można skonfigurować ograniczenie zakresu w usłudze Microsoft Sentinel lub kontrolę dostępu opartą na rolach (RBAC) na poziomie wiersza, aby dodatkowo ograniczyć dostęp do danych w obszarze roboczym. Po włączeniu określanie zakresu na poziomie wiersza ogranicza dane zwracane przez zapytania na podstawie przypisanego zakresu użytkownika. Jeśli określanie zakresu na poziomie wiersza nie jest skonfigurowane, istniejący model uprawnień na poziomie obszaru roboczego ma zastosowanie bez zmian. Konfigurowanie określania zakresów w usłudze Microsoft Sentinel (RBAC na poziomie wiersza) (wersja zapoznawcza)

Pisz zapytania KQL

Pisanie zapytań dla data lake jest podobne do pisania zapytań w zaawansowanym środowisku Advanced Hunting. Możesz użyć tej samej składni I funkcji KQL. Język KQL obsługuje zaawansowane funkcje analizy i uczenia maszynowego. Edytor zapytań oferuje interfejs do uruchamiania zapytań KQL z funkcjami takimi jak IntelliSense i autouzupełnianie, aby ułatwić wydajne pisanie. Aby uzyskać szczegółowe omówienie składni i funkcji KQL, zobacz omówienie języka zapytań Kusto (KQL).

Zapytania KQL w portalu Defender

Wybierz pozycję Nowe zapytanie , aby utworzyć nową kartę zapytania. Portal zapisuje ostatnie zapytanie na każdej karcie. Przełącz się między kartami, aby pracować na wielu zapytaniach jednocześnie.

Karta Historia zapytań zawiera listę poprzednio uruchamianych zapytań, czas przetwarzania zapytań i stan ukończenia. Poprzednie zapytanie można otworzyć na nowej karcie, wybierając je z listy. Portal zapisuje historię zapytań przez 30 dni. Wybierz zapytanie, które chcesz edytować lub uruchomić ponownie.

Wybieranie obszarów roboczych

Zapytania można uruchamiać w jednym obszarze roboczym lub wielu obszarach roboczych. Wybierz obszary robocze w prawym górnym rogu edytora zapytań, korzystając z listy rozwijanej Wybrane obszary robocze . Wybrane obszary robocze określają tabele dostępne do wykonywania zapytań. Wybrane obszary robocze mają zastosowanie do wszystkich kart zapytań w edytorze zapytań. W przypadku korzystania z wielu obszarów roboczych union() operator jest domyślnie stosowany do tabel o tej samej nazwie i schemacie z różnych obszarów roboczych. workspace() Operator służy do wykonywania zapytań dotyczących tabeli z określonego obszaru roboczego, na przykład workspace("MyWorkspace").AuditLogs.

Aby wykonać zapytanie dotyczące tabel federacyjnych, wybierz pozycję Tabele systemowe podczas wybierania obszarów roboczych. Aby uzyskać więcej informacji na temat tabel federacyjnych, zobacz Using federated tables in the Microsoft Sentinel data lake (Używanie tabel federacyjnych w Microsoft Sentinel data lake).

Jeśli wybierzesz pojedynczy pusty obszar roboczy lub obszar roboczy w trakcie wdrażania, przeglądarka schematów nie wyświetli żadnych tabel.

Wybór zakresu czasu

Użyj selektora czasu nad edytorem zapytań, aby wybrać zakres czasu dla zapytania. Za pomocą opcji Niestandardowy zakres czasu można ustawić określony czas rozpoczęcia i zakończenia. Zakresy czasu mogą trwać do 12 lat.

Zakres czasu można również określić w składni zapytania KQL, na przykład:

• where TimeGenerated between (datetime(2020-01-01) .. datetime(2020-12-31))
• where TimeGenerated between(ago(180d)..ago(90d))

Wyświetlanie informacji o schemacie

Przeglądarka schematów zawiera listę dostępnych tabel i ich kolumn dla wybranych obszarów roboczych pogrupowanych według kategorii. Tabele systemowe są wyświetlane w kategorii Zasoby . Tabele niestandardowe z _CL, _KQL_CL, _SPARKi _SPARK_CL są pogrupowane w kategorii Dzienniki niestandardowe . Użyj przeglądarki schematów, aby eksplorować dane dostępne w usłudze Data Lake oraz odnajdywać tabele i kolumny. Użyj pola wyszukiwania, aby szybko znaleźć określone tabele.

Okno wyników

W oknie wyników zostaną wyświetlone wyniki zapytania. Wyniki można wyświetlić w formacie tabeli i można wyeksportować wyniki do pliku CSV przy użyciu przycisku Eksportuj w lewym górnym rogu okna wyników. Przełącz widoczność pustych kolumn przy użyciu przycisku Pokaż puste kolumny . Przycisk Dostosuj kolumny umożliwia wybranie kolumn do wyświetlenia w oknie wyników.

Wyniki można przeszukiwać przy użyciu pola wyszukiwania w prawym górnym rogu okna wyników.

Gotowe zapytania

Karta Zapytania zawiera zbiór gotowych zapytań KQL. Te zapytania obejmują typowe scenariusze i przypadki użycia, takie jak badanie zdarzeń związanych z bezpieczeństwem i wyszukiwanie zagrożeń. Możesz użyć tych zapytań w stanie rzeczywistym lub zmodyfikować je zgodnie z określonymi potrzebami.

Wybierz zapytanie z listy przy użyciu ikony ... . Możesz otworzyć go na nowej karcie zapytania do edycji lub uruchomić ją natychmiast.

Aby uzyskać więcej informacji na temat przykładowych zapytań, zobacz Przykładowe zapytania KQL dotyczące Microsoft Sentinel data lake.

Zapytania asynchroniczne

Zapytania asynchroniczne pozwalają uruchamiać długotrwałe zapytania KQL w tle, dzięki czemu możesz kontynuować pracę w portalu, podczas gdy zapytanie jest realizowane na serwerze. Używaj zapytań asynchronicznych, gdy Twoje zapytanie może przekroczyć 8-minutowy synchroniczny limit czasu lub gdy pracujesz z szerokimi zakresami czasowymi.

Uruchamianie zapytań asynchronicznych

Długotrwałe zapytania można uruchamiać asynchronicznie, dzięki czemu można kontynuować pracę podczas wykonywania zapytania na serwerze. Aby uruchomić zapytanie asynchronicznie:

1. Wybierz strzałkę w dół na przycisku Uruchom zapytanie , a następnie wybierz pozycję Uruchom zapytanie asynchroniczne.
2. Wprowadź nazwę zapytania, aby zidentyfikować zapytanie asynchroniczne.
3. Po przesłaniu zapytania monitoruj jego stan na karcie Zapytania asynchroniczne .
4. Po zakończeniu zapytania wybierz nazwę zapytania z listy, aby wyświetlić wyniki.

Jeśli uruchomienie zapytania synchronicznego trwa dłużej niż 2 minuty, zostanie wyświetlony monit z pytaniem, czy chcesz uruchomić zapytanie asynchronicznie. Wybierz pozycję Uruchom asynchroniczną , aby zmienić zapytanie, aby było uruchamiane asynchronicznie.

Pobieranie wyników zapytania asynchroniczego

Aby wyświetlić wyniki zapytania asynchronicznego, wybierz ukończone zapytanie asynchroniczne na karcie Zapytania asynchroniczne i wybierz pozycję Pobierz wyniki. Zapytanie jest wyświetlane w komentarzach w edytorze zapytań, a wyniki są wyświetlane na karcie Wyniki.

Wyniki są przechowywane przez 24 godziny i można uzyskać do nich dostęp wiele razy. Wyniki można wyeksportować do pliku CSV za pomocą przycisku Eksportuj w lewym górnym rogu okna wyników.

Parametry i limity usługi dla zapytań asynchroniczych KQL

W poniższej tabeli wymieniono parametry usługi i limity dla zapytań asynchroniczych KQL w Microsoft Sentinel data lake.

Po przekroczeniu limitu szybkości lub limitu współbieżności żądanie jest odrzucane i nie jest umieszczane w kolejce. Licznik współbieżności zmniejsza się natychmiast po zakończeniu wykonywanego zapytania, a licznik limitu szybkości resetuje się co minutę.

Tworzenie zadań zapytań języka KQL i zarządzanie nimi

Zadania służą do uruchamiania zapytań KQL na danych w warstwie jeziora danych oraz przenoszenia wyników do warstwy analitycznej. Możesz tworzyć zadania jednorazowe lub zaplanowane oraz włączać, wyłączać, edytować lub usuwać zadania na stronie Zadania . Aby utworzyć zadanie na podstawie bieżącego zapytania, wybierz przycisk Utwórz zadanie . Aby uzyskać więcej informacji na temat tworzenia zadań i zarządzania nimi, zobacz Tworzenie zadań w Microsoft Sentinel data lake.

Wykonywanie zapytań do jeziora danych przy użyciu Azure Data Explorer

Zapytania KQL można uruchamiać względem Microsoft Sentinel data lake przy użyciu Azure Data Explorer (ADX). Usługa ADX zapewnia zaawansowany aparat zapytań i zaawansowane możliwości analityczne. Aby nawiązać połączenie z usługą Data Lake przy użyciu usługi ADX, utwórz nowe połączenie przy użyciu następującego identyfikatora URI: https://api.securityplatform.microsoft.com/lake/kql

Podczas wykonywania zapytań dotyczących tabel w usłudze Data Lake przy użyciu usługi ADX należy użyć external_table() funkcji w celu uzyskania dostępu do danych. Poniższe przykładowe zapytanie pobiera próbkę 100 rekordów z tabeli AADRiskyUsers zewnętrznej:

external_table("AADRiskyUsers")
| take 100

Zagadnienia i ograniczenia dotyczące zapytań

Podczas uruchamiania zapytań KQL w usłudze Data Lake należy pamiętać o następujących ograniczeniach i zagadnieniach.

• Wykonywanie zapytań dotyczących starszych tabel, takich jak AzureDiagnostics, nie jest obsługiwane.

• Puste tabele nie są wyświetlane w widoku schematu, a zapytania nie są obsługiwane, dopóki tabela nie zawiera danych.

• Zapytania są wykonywane dla wybranych obszarów roboczych. Przed uruchomieniem zapytania upewnij się, że wybrano odpowiednie obszary robocze.

• Wykonywanie zapytań KQL w Microsoft Sentinel data lake powoduje naliczanie opłat na podstawie mierników rozliczeń zapytań. Aby uzyskać więcej informacji, zobacz Planowanie kosztów i informacje o cenniku oraz rozliczeniach usługi Microsoft Sentinel.

• Przejrzyj zasady pozyskiwania danych i przechowywania tabel. Przed ustawieniem zakresu czasu zapytania należy pamiętać o przechowywaniu danych w tabelach usługi Data Lake oraz o tym, czy dane są dostępne dla wybranego zakresu czasu. Aby uzyskać więcej informacji, zobacz Zarządzanie warstwami danych i przechowywaniem w portalu Microsoft Defender.

• Zapytania KQL względem usługi Data Lake są mniej wydajne niż zapytania w warstwie analizy. Używaj zapytań KQL względem usługi data lake tylko podczas eksplorowania danych historycznych lub gdy tabele są przechowywane w trybie tylko dla usługi Data Lake.

• Następujące polecenia sterowania KQL są obecnie obsługiwane:

  • .show version
  • .show databases
  • .show databases entities
  • .show database

• W przypadku korzystania z stored_query_results polecenia podaj zakres czasu w zapytaniu KQL. Selektor zakresu czasu w edytorze zapytań nie działa z tym stored_query_results poleceniem.

• Używanie wbudowanych lub niestandardowych funkcji nie jest obsługiwane w zapytaniach KQL względem usługi data lake.

• Wywoływanie danych zewnętrznych za pośrednictwem zapytania KQL względem usługi data lake nie jest obsługiwane.

• Wszystkie operatory i funkcje KQL są obsługiwane z wyjątkiem następujących:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()
  • estimate_data_size()

• Występuje 15-minutowe opóźnienie między pozyskiwaniem danych do usługi Data Lake lub tabelami federacyjnymi, a udostępnieniem ich do wykonywania zapytań. Oznacza to, że nowo pozyskane dane mogą nie być natychmiast możliwe do wykonania zapytań.

Parametry usługi i limity dla zapytań KQL w warstwie Lake

Poniższe parametry i limity usługi mają zastosowanie podczas pisania zapytań w Microsoft Sentinel data lake.

Po przekroczeniu limitu szybkości lub limitu współbieżności żądanie jest odrzucane i nie jest umieszczane w kolejce. Licznik współbieżności zmniejsza się natychmiast po zakończeniu wykonywanego zapytania, a licznik limitu szybkości resetuje się co minutę.

Aby rozwiązać problemy z zapytaniami KQL, zobacz Rozwiązywanie problemów z zapytaniami KQL w Microsoft Sentinel data lake.

Zawartość pokrewna

• omówienie usługi data lake Microsoft Sentinel
• Dołączanie do usługi data lake Microsoft Sentinel
• Tworzenie zadań w Microsoft Sentinel data lake
• Zarządzanie zadaniami w Microsoft Sentinel data lake
• Rozwiązywanie problemów z zapytaniami KQL w usłudze Microsoft Sentinel Data Lake