Użyj federowanych źródeł danych w Microsoft Sentinel (Podgląd)

Po skonfigurowaniu łączników danych federacyjnych możesz uzyskać dostęp do tabel federacyjnych za pośrednictwem wielu interfejsów w Microsoft Sentinel. Tabele federacyjne są używane w taki sam sposób jak inne tabele usługi Data Lake. W tym artykule wyjaśniono, jak wyświetlać tabele federacyjne, wykonywać względem nich zapytania przy użyciu protokołu KQL (język zapytań Kusto) i pracować z nimi w notesach Jupyter.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

• Twoja dzierżawa musi być podłączona do usługi Sentinel Data Lake. Aby uzyskać więcej informacji, zobacz Dołączanie do Microsoft Sentinel data lake
• Masz odpowiednie uprawnienia do wykonywania zapytań o dane w Sentinel data lake. Aby uzyskać więcej informacji, zobacz Role i uprawnienia na platformie Microsoft Sentinel.

Omówienie nazewnictwa tabel federacyjnych

Nazwy tabel federacyjnych są zgodne ze wzorcem <tableName>_<connectorInstanceName>. Przykład:

Jeśli wiele tabel w wystąpieniu łącznika ma tę samą nazwę tabeli, identyfikator liczbowy jest dołączany do nazwy wystąpienia łącznika, na przykład widgets_ADLS01_1 gdy dwie tabele w wystąpieniu ADLS01 łącznika są nazywane widgets.

Użyj nazwy tabeli federacyjnej podczas wykonywania zapytań o dane z Sentinel data lake.

Wyświetlanie tabel federacyjnych w zarządzaniu tabelami

Widok zarządzania tabelami zawiera omówienie wszystkich tabel w Sentinel data lake, w tym tabel federacyjnych.

1. Przejdź do Microsoft Sentinel>Konfiguracja>Tabele.
2. Wybierz filtr Typ .
3. Wybierz pozycję Federacyjne i wybierz pozycję Zastosuj.

Wyświetlanie szczegółów tabeli

Wybierz wiersz tabeli, aby otworzyć panel szczegółów. Panel szczegółów tabeli zawiera trzy karty:

Wykonywanie zapytań dotyczących tabel federacyjnych przy użyciu języka KQL

Strona zapytań KQL w Microsoft Sentinel umożliwia wykonywanie zapytań dotyczących tabel federacyjnych wraz z natywnymi danymi Sentinel. Tabele federacyjne są obsługiwane w przypadku zadań KQL, interakcyjnych i asynchroniczych zapytań oraz narzędzi MCP.

1. Przejdź do Microsoft Sentinel>Eksploracja jeziora danych>Zapytania KQL.

2. Wybierz przycisk Wybrany obszar roboczy na pasku informacji.

3. Wybierz pozycję Tabele systemowe jako jeden z obszarów roboczych.

4. Na karcie Schemat rozwiń sekcję Tabele systemowe .

5. Rozwiń sekcję Tabele federacyjne .

6. Znajdź typ federacji dla źródła danych, takiego jak Microsoft Fabric, Azure Databricks lub Azure Data Lake Storage Gen2.

7. Rozwiń typ federacji, aby wyświetlić tabele federacyjne.

8. Rozwiń tabelę, aby wyświetlić jej kolumny.

Pisanie i wykonywanie zapytań

Zapytania względem tabel federacyjnych działają jak zapytania względem natywnych tabel lake z kilkoma istotnymi różnicami:

• Istnieje możliwość zmiany schematu tabeli w źródle zewnętrznym. Może to spowodować błąd podczas zapytania, które wskazuje, że kolumna nie jest obecna. Odśwież kolumny na stronie Zarządzanie tabelami, wybierając tabelę federacyjną, wybierając kartę Schemat i wybierając pozycję Odśwież schemat.

• Nie można używać w eksploratorze usługi Data Lake tabel federacyjnych bez kolumny TimeGenerated ani tabel, w których występuje kolumna TimeGenerated zawierająca dane w nieprawidłowym formacie, do wybierania zakresów czasu za pomocą selektora czasu w interfejsie użytkownika. Zdefiniuj filtry dat w treści zapytania KQL tak, aby odpowiadały formatowi dat używanemu przez tabelę sfederowaną.

Tworzenie zadań KQL na podstawie zapytań federacyjnych

Zadania KQL można tworzyć na podstawie zapytań korzystających z tabel federacyjnych:

1. Pisanie i testowanie zapytania KQL przy użyciu tabel federacyjnych.
2. Wybierz przycisk Utwórz zadanie w prawym górnym rogu panelu zapytania.
3. Skonfiguruj ustawienia zadania, w tym harmonogram i miejsce docelowe danych wyjściowych.
4. Zapisz zadanie.

Tabele federacyjne są w pełni obsługiwane w przypadku zadań KQL, zapytań asynchroniczych i narzędzi MCP.

Tworzenie narzędzia MCP z zapytaniami tabel federacyjnych

Narzędzia MCP można tworzyć na podstawie zapytań korzystających z tabel federacyjnych:

1. Pisanie i testowanie zapytania KQL przy użyciu tabel federacyjnych.

2. Wybierz przycisk Zapisz jako narzędzie powyżej edytora zapytań.

3. Dostosuj zapytanie zgodnie z potrzebami, na przykład sparametryzuj wartości.

4. W przypadku dowolnego odwołania do tabeli federacyjnej upewnij się, że nazwa tabeli jest poprzedzona ciągiem workspace("default").. Jeśli na przykład Twoją tabelą była widgets_ADLS01, w kodzie dla tej tabeli będzie widnieć workspace("default").widgets_ADLS01.

5. Zapisz narzędzie.

Używanie tabel federacyjnych w notesach Jupyter

Tabele sfederowane są dostępne w notatnikach Jupyter za pośrednictwem rozszerzenia Microsoft Sentinel dla programu VS Code.

W rozszerzeniu Microsoft Sentinel dla programu VS Code tabele federacyjne są wyświetlane w sekcji: Tabele Lake>Tabele systemowe>Tabele federacyjne

Praca z tabelami federacyjnymi w notesach Jupyter jest zgodna z tymi samymi wzorcami co natywne tabele systemowe:

1. Użyj pełnej nazwy tabeli: Tabele referencyjne w <tableName>_<connectorInstance> formacie.
2. Nie określaj nazwy obszaru roboczego: operacje odczytu nie wymagają specyfikacji obszaru roboczego.
3. Dostęp tylko do odczytu: tabele federacyjne są tylko do odczytu; Nie można zapisać danych z powrotem do źródeł federacyjnych.

Zadania notatnika Jupyter

Można tworzyć zaplanowane zadania notesu Jupyter, które korzystają z tabel federacyjnych w taki sam sposób, jak zadanie notesu dla natywnych tabel usługi Data Lake:

1. Twórz swój notebook za pomocą sfederowanych zapytań do tabel.
2. Przetestuj notebook, aby upewnić się, że zapytania federacyjne działają poprawnie.
3. Utwórz zadanie z poziomu notesu.
4. Skonfiguruj harmonogram zadań i parametry.

Najważniejsze wskazówki

Stosuj się do tych wskazówek dotyczących optymalizacji zapytań, strategii łączenia oraz obsługi błędów, aby uzyskać najlepsze wyniki z tabel federacyjnych.

Optymalizacja zapytań

Skorzystaj z poniższych rozwiązań, aby poprawić wydajność zapytań federacyjnych.

• Zastosuj filtry wcześnie: filtruj dane w źródle, jeśli jest to możliwe, aby ograniczyć transfer danych.
• Ogranicz zestawy wyników: użyj take lub limit klauzul podczas programowania.
• Użyj projekcji: wybierz tylko kolumny potrzebne do zwiększenia wydajności.

Przykład: Zoptymalizowane zapytanie

Poniższe zapytanie demonstruje wczesne filtrowanie dużego zestawu danych federacyjnego w celu zmniejszenia ilości danych i wybrania tylko niezbędnych kolumn w celu zwiększenia wydajności zapytań.

large_dataset_adls_connector
| where EventTime >= ago(1h)           // Filter early
| where EventType == "Login"           // Reduce data volume
| project EventTime, UserId, SourceIP  // Select needed columns
| take 10000                           // Limit results

Strategie dołączania

Stosuj następujące praktyki wydajności zapytań podczas łączenia tabel federacyjnych i natywnych.

• Użyj odpowiednich rodzajów sprzężeń: Wybierz inner, leftouterlub rightouter w zależności od potrzeb.
• Filtruj przed wykonaniem złączenia: ogranicz ilość danych przed operacjami złączenia.
• Rozważ rozmiary danych: umieść mniejszą tabelę po prawej stronie sprzężenia.

Obsługa błędów

Rozważ następujące rozwiązania, aby zdiagnozować i obsłużyć typowe problemy z zapytaniami federacyjnymi.

• Sprawdź stan połączenia: sprawdź, czy wystąpienia łącznika federacyjnego są połączone przed wykonaniem zapytania.
• Obsługa wartości NULL: Dane zewnętrzne mogą zawierać nieoczekiwane wartości NULL; użyj funkcji coalesce() lub isnull().
• Monitorowanie wydajności zapytań: śledzenie czasu wykonywania zapytań federacyjnych w celu zidentyfikowania problemów z wydajnością.

Rozwiązywanie problemów

Zapytanie nie zwraca żadnych wyników

• Sprawdź, czy instancja łącznika jest w stanie połączonym.
• Sprawdź, czy zewnętrzne źródło danych jest dostępne wraz z tabelami docelowymi w zapytaniu.
• Sprawdź, czy uprawnienia nie zostały usunięte z jednostki usługi lub tożsamości zarządzanej usługi Sentinel, w zależności od docelowego źródła danych.
• Sprawdź, czy używasz poprawnego formatu nazwy tabeli federacyjnej.
• Upewnij się, że element System Tables jest dostępny w okienku nawigacji dla zapytań KQL lub sesji Notebook.

Zapytanie działa wolno

• Zastosuj filtry, aby zmniejszyć wolumin danych wysyłany z zewnętrznych źródeł.
• Sprawdź wydajność i dostępność źródła zewnętrznego.
• Rozważ utworzenie tabel podsumowania dla często używanych danych.

Niedopasowanie schematów

• Przejrzyj schemat tabeli w widoku zarządzania tabelami.
• Dostosuj zapytanie, aby obsłużyć różnice schematu.
• Sprawdź, czy schemat tabeli zewnętrznej uległ zmianie od czasu utworzenia łącznika.

Nie można uruchomić narzędzi MCP dla tabel federacyjnych

Upewnij się, że nazwa tabeli została poprzedzona prefiksem workspace("default"). wszędzie tam, gdzie odwołujesz się do tabeli federacyjnej w narzędziu MCP.

Treści powiązane

• Omówienie federacji danych
• Konfigurowanie federacyjnych łączników danych
• Dokumentacja referencyjna zapytań KQL