Tworzenie i zarządzanie źródłami danych

Ta strona wyjaśnia komponenty źródła danych i uczy, jak tworzyć i zarządzać źródłami danych w interfejsie użytkownika. Źródło danych to skonfigurowany potok, który pobiera surowe dane bezpieczeństwa i zapisuje je do zarządzanych tabel Unity Catalog o zdefiniowanym schemacie, gotowych do analizy bezpieczeństwa. Źródło danych łączy metodę pobierania z jednym lub kilkoma parserami.

Metody pozyskiwania

Metoda pozyskiwania danych definiuje, w jaki sposób źródło danych Lakewatch pobiera surowe dane bezpieczeństwa, w zależności od tego, gdzie te dane się znajdują. Każda metoda ma własny proces tworzenia, ale wszystkie trafiają do surowej warstwy, którą parsery następnie normalizują.

Lakewatch oferuje trzy metody pozyskiwania danych:

• Przechowywanie w chmurze: Pobieranie plików z obsługiwanego magazynu obiektowego (Amazon S3, Azure Data Lake Storage lub Google Cloud Storage) przez wolumin Unity Catalog lub miejsce zewnętrzne. Lakewatch odczytuje źródło za pomocą Auto Loadera, odbierając nowe pliki, gdy tylko docierają.
• Istniejąca tabela: Zaimportuj tabelę lub widok Unity Catalog Delta, które już istnieją w Twoim workspace. Lakewatch odczytuje źródło bezpośrednio i uruchamia dołączone parsery nad nim, zamiast kopiować dane.
• Konektory API: Pobieranie danych bezpieczeństwa z aplikacji SaaS za pomocą zarządzanych konektorów objętych połączeniami Unity Catalog. Wszystkie konektory API są sparowane z gotowymi parserami.

Parsery

Analizatory składniowe organizują pobierane dane zgodnie ze schematem do sparsowanych tabel. Każdy parser opisuje kolumny wyjściowe źródła logów i zapisuje sparsowaną tabelę z kolumnami lw_id, lw_meta i lw_observables zarządzanymi przez Lakewatch.

Wybierz jeden lub więcej parserów podczas procesu tworzenia źródła danych. Możesz wybrać wbudowany parser pasujący do źródła, dostosować wbudowany parser lub stworzyć nowy parser od podstaw.

Podczas uruchamiania źródła danych każde nadchodzące zdarzenie jest dopasowywane do dołączonych parserów w kolejności ich deklarowania i trafia do pierwszego parsera, do którego się dopasuje. Zdarzenie pasuje, gdy obecne są jego wymagane pola, jego pola typowane dają się przekonwertować na zadeklarowane typy, a wszystkie walidatory przechodzą pomyślnie. Aby uzyskać zasady dopasowania i pełny format parsera, zobacz dokumentację parsera.

Utwórz nowe źródło danych

Wejdź do Datasources i kliknij Dodaj źródło danych. Na stronie Dodaj nowe źródło danych wybierz źródło SaaS w sekcji Managed connectors lub wybierz typ pamięci lub tabelę w Custom & internal logs. Metody pozyskiwania danych to:

• Przechowywanie w chmurze: pliki w Amazon S3, Azure Data Lake Storage lub Google Cloud Storage.
• Istniejąca tabela: tabela lub widok Unity Catalog Delta już dostępny w Twoim workspace.
• Konektory API: Aplikacje SaaS, za pośrednictwem zarządzanych złączy.

Zarządzaj istniejącymi źródłami danych

Aby zarządzać źródłem danych, otwórz je z poziomu Źródła danych. Strona szczegółów ma trzy zakładki:

• Przegląd: opis źródła danych, ostatnie uruchomienia, połączenie, statystyki pobierania, załączone parsery oraz jego edytowalne ustawienia (harmonogram przetwarzania, tożsamość uruchomienia, zasoby obliczeniowe i adnotacje). Edytuj ustawienie, wybierając je, dostosowując wartości i klikając Gotowe; Dodaj lub zmieniaj parsery z sekcji Parserów .
• Błędy systemowe: Błędy systemowe wywołane dla tego źródła danych, wymienione z tytułem, stanem, stopniem, przydziałem, liczbą zdarzeń oraz czasem utworzenia. Wyszukaj według tytułu, opisu lub komentarzy i filtruj według stanu. Wybierz tytuł błędu, aby otworzyć stronę ze szczegółami.
• Uprawnienia: Przywileje katalogu Unity przyznane dla źródła danych. Użyj opcji Grant i Revoke do zarządzania dostępem.

Z menu przepełnienia (⋮) możesz edytować źródło danych jako YAML i usunąć źródło danych. Usunięcie źródła danych to jedyny sposób, by zatrzymać działanie źródła danych; na stałe usuwa źródło danych, ale tabele, do których już zapisano dane, nie są usuwane.

Edytuj ustawienia źródła danych

Na zakładce Przegląd możesz edytować następujące ustawienia:

• Harmonogram przetwarzania: Jak często wykonuje się zadanie ingestii danych przez źródło danych. Nowe źródła danych mają domyślnie ustawiony interwał co 10 minut.
  • Co najmniej co [jednostkę czasu]: Uruchamia się w określonym odstępie.
  • Dokładnie o [godzina]: Uruchamia się zgodnie z dokładnym harmonogramem. Utwórz to za pomocą selektora wizualnego lub wybierz Pokaż składnię cron i wprowadź wyrażenie cron Quartz. Nieprawidłowe wyrażenie wyświetla komunikat Wprowadź poprawne wyrażenie Quartz cron i uniemożliwia zapisanie.
  • Ciągły: Pobiera nowe dane w pętli przez około 30 minut, a następnie natychmiast ponownie uruchamia nowe uruchomienie.
  • Konektory API: Nie ma zastosowania. Źródła danych łącznika API działają według zarządzanego harmonogramu, którego nie możesz zmienić.
• Obliczenia: Jak ingestia źródła danych jest grupowana do obliczeń, w obszarze grupowania zadań:
  • Automatyczne (domyślne): Pobieranie danych może być łączone z innymi zadaniami przetwarzającymi te same dane, aby zoptymalizować koszty obliczeniowe.
  • Dedykowane: Pozyskiwanie danych działa z dedykowanymi zasobami.
  • Grupa zadań: Pozyskiwanie danych działa razem z innymi zadaniami w grupie o nazwie, którą wprowadzasz. Zmiana grupy resetuje punkty kontrolne, więc przetwarzanie wznawia się od bieżącego czasu.
• Adnotacje: Pary klucz-wartość stosowane jako tagi źródła danych.

Ustaw tożsamość uruchamiania

Każde źródło danych ma tożsamość „run-as”, czyli użytkownika lub nazwę główną usługi, której Lakewatch używa do odczytu źródła, używania skonfigurowanych danych uwierzytelniających oraz zapisywania surowych i parsowanych tabel. Ta tożsamość jest ustalana podczas tworzenia i można ją edytować po utworzeniu na stronie szczegółów.

• Domyślne: Jeśli nie wybierzesz tożsamości podczas tworzenia źródła danych, tożsamość run-as jest domyślnie ustawiana na Twoją.
• Wybór service principal: Aby działać jako service principal, musisz mieć rolę Service Principal User dla tego service principal. Rola przyznana przez członkostwo w grupie jest aktywna, mimo że strona szczegółów jednostki usługi pokazuje tylko bezpośrednio przypisane role. Zobacz Zarządzanie podmiotami usługi.
• Ponowne przypisywanie: Możesz zmienić tożsamość run-as podczas edycji źródła danych. Lakewatch ponownie weryfikuje dostęp do źródeł przy użyciu poświadczeń dla nowej tożsamości, gdy zapisujesz zmianę.

Ponieważ Lakewatch waliduje i uruchamia źródło danych jako tę tożsamość, tożsamość run-as musi mieć wszystkie uprawnienia, których potrzebuje źródło danych:

• Przeczytaj źródło: Niezbędny dostęp zależy od metody pozyskiwania danych. Na przykład tożsamość run-as wymaga READ FILES dla lokalizacji zewnętrznej oraz READ VOLUME na woluminie do przechowywania w chmurze. Zobacz stronę swojej metody pozyskiwania danych, aby dowiedzieć się, jaki dostęp jest wymagany.
• Użyj skonfigurowanego poświadczenia: Tożsamość run-as wymaga uprawnienia ACCESS do poświadczenia usługi Unity Catalog lub dostępu do odczytu do tajnego zakresu AWS, gdy takie poświadczenie lub zakres jest skonfigurowany.
• Zapisz tabele wyjściowe: Tożsamość uruchomieniowa wymaga USE CATALOG, USE SCHEMA oraz CREATE TABLE na każdym schemacie, w którym Lakewatch tworzy surowe i tabele sparsowane.

Lakewatch nie przyznaje automatycznie tożsamości run-as dostępu do schematów lub tabel docelowych. Przyznaj ten dostęp przed dołączeniem tej tożsamości do źródła danych.

Zmień parsery w źródle danych

To, jak zmienia się parsery, zależy od metody pobierania:

• Źródła danych łącznika API nie wspierają zmiany parserów po utworzeniu. Aby użyć różnych parserów, odtworz źródło danych. Zmiana parsera spowodowałaby odbudowanie zarządzanego pipeline ingestion i odtworzenie tabel źródła danych, więc edycja parsera jest wyłączona na tych źródłach.
• Przechowywanie w chmurze i źródła danych w istniejących tabelach pozwalają zmieniać parsery bezpośrednio na miejscu. Otwórz źródło danych, wprowadź zmiany i kliknij Zapisz.

Dla magazynów w chmurze i źródeł danych z istniejących tabel:

• Dodaj parser: Dodaj inny wbudowany lub autorski parser. Nadchodzące zdarzenia są dopasowywane do dołączonych parserów w kolejności deklaracji, więc nowo dodany parser działa dla zdarzeń, które nie zostaną dopasowane przez wcześniejszy parser. Nowy parser zaczyna od pewnego punktu i przetwarza surowe dane od tego momentu; parsery już dołączone pozostają na swoim miejscu i nie są przetwarzane ponownie. Zobacz Parsery dołączania.
• Usuń parser: Usuń parser, którego już nie potrzebujesz. Nowe zdarzenia przestają być zapisywane do sparsowanej tabeli tego parsera, a wcześniej zapisana sparsowana tabela nie jest usuwana. Usuń to osobno w Unity Catalog, jeśli nie potrzebujesz już danych. Ponieważ usunięcie parsera zmienia sposób kierowania nadchodzących zdarzeń, pozostałe parsery ponownie przetwarzają ostatnie surowe dane, co może generować duplikaty wierszy w ich tabelach parsowanych.
• Zmiana kolejności parserów: Parsery są sprawdzane w kolejności deklaracji, więc zmiana ich kolejności zmienia trasowanie tak samo jak dodawanie lub usuwanie. Źródło danych przetwarza ponownie ostatnie surowe dane, co może powodować zduplikowane wiersze w dotkniętych tabelach przetworzonych.
• Zmiana wersji parsera: Źródło danych przypisuje konkretną wersję parsera, dzięki czemu nie mają na nie wpływu późniejsze zmiany parsera. Aby pobrać nowszą wersję, wybierz ją podczas edycji źródła danych. Zmiana wersji nie przetwarza ponownie istniejących danych; nowa wersja dotyczy zdarzeń przyjętych po zapisaniu zmiany.
• Zmień miejsce docelowe parsera: Możesz zmienić tabelę, do której zapisuje parser. Wybierz nazwę miejsca docelowego, która nie koliduje z istniejącą tabelą. Dane już zapisane w starej tabeli nie są przenoszone.

Rozwiązywanie problemów z błędami źródeł danych

Strona przeglądu źródeł danych podsumowuje historię uruchomień każdego źródła, liczbę błędów, statystyki zdarzeń (rekordy przetworzone w ciągu ostatnich 7 dni i 24 godzin) oraz 7-dniowy trend. Aby zobaczyć szczegóły uruchomienia, otwórz datasource i kliknij View job, aby uzyskać dostęp do uruchomienia zadania Databricks, gdzie możesz sprawdzić historię uruchomienia, status poszczególnych uruchomień i logi.

Gdy uruchomienia źródła danych kończą się niepowodzeniem, Lakewatch rejestruje tę awarię jako zdarzenie systemowe powiązane ze błędem systemowym, które identyfikuje źródło danych, którego dotyczy problem, i zawiera komunikat o błędzie. Użyj błędu systemowego razem z View job, aby zobaczyć, która faza się nie powiodła (na przykład: błąd potoku). Pełną listę wyzwalaczy związanych ze źródłami danych znajdziesz w artykule Co wywołuje zdarzenia systemowe?.

Jeśli tożsamość run-as źródła danych straci dostęp do odczytu do źródła, uruchomienia się nie powiodą, a liczba Errors źródła danych wzrośnie.

Aby odzyskać:

1. Przywróć dostęp do źródła dla tożsamości uruchamiania jako. Jeśli zachowasz tę samą tożsamość run-as, nie jest potrzebna zmiana konfiguracji. Następne zaplanowane uruchomienie uwzględnia przywrócony dostęp.
2. Jeśli zamiast tego przypiszesz źródło danych do innej tożsamości run-as lub zmienisz inne ustawienie, edytuj źródło danych bezpośrednio i kliknij Zapisz.
3. Potwierdź odzyskanie w View job, w przeciwnym razie wystąpią błędy systemowe. Gdy pomyślne uruchomienia zostaną wznowione, błędy znikają.