Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Important
Lakewatch jest w fazie beta. Administratorzy obszaru roboczego mogą kontrolować dostęp do tej funkcji ze strony Podglądy . Zobacz Zarządzanie podglądami na poziomie obszaru roboczego.
Użyj metody Existing table ingestion, aby zaimportować tabelę lub widok Unity Catalog Delta, które już istnieją w Twoim obszarze roboczym. Lakewatch odczytuje bezpośrednio tabelę źródłową i uruchamia twoje dołączone parsery po niej, aby uzyskać tabele parsowane, zamiast kopiować dane.
Note
Nie musisz zaimportować tabeli, żeby używać jej w Lakewatch. Jeśli tabela Unity Catalog jest już gotowa do zapytań, możesz uruchamiać zapytania i pisać reguły wykrywania bezpośrednio na niej, bez tworzenia źródła danych. Używaj metody Istniejąca tabela, gdy chcesz, aby Lakewatch uruchamiał parsery nad źródłem i generował znormalizowane tabele parsowane, z kolumnami lw_id, lw_meta i lw_observables zarządzanymi przez Lakewatch.
Na przykład zapytaj bezpośrednio tabelę systemową dziennika audytu (system.access.audit). Wbudowany parser Databricks Audit odczytuje pliki JSON zapisywane przez dostarczanie dzienników audytu, a nie tabelę systemową, która używa innych nazw kolumn. Jeśli dołączysz je do system.access.audit, podgląd danych pokazuje source table 'system.access.audit' is not compatible with the parser: missing required fields: 'serviceName', 'actionName'.
Ta strona zawiera pełny przewodnik po tworzeniu źródła danych z istniejącej tabeli. Aby zarządzać źródłem danych po jego utworzeniu (edycja ustawień, zmiana parserów i monitorowanie), zobacz Tworzenie i zarządzanie źródłami danych.
Źródłem może być zarządzana lub zewnętrzna tabela Delta, tabela streamingowa, tabela OpenSharing lub widok odczytujący z jednej tabeli upstream. Widok może używać tylko SELECT i WHERE nad tą tabelą. Na przykład widoki, które łączą tabele, łączą je z UNION ALL lub inną operacją zbioru, albo używają GROUP BY, DISTINCT, ORDER BY, lub klauzuli WITH , nie są obsługiwane. Nie obsługiwane są widoki materializowane i metryczne.
Lakewatch przetwarza tylko wiersze dopisane do źródła. Aktualizacje i usunięcia w źródle nie są uwzględniane w tabelach parsowanych. Lakewatch pomija każde zatwierdzenie, które aktualizuje lub usuwa istniejące wiersze, w tym wiersze wstawione przez ten sam commit, takie jak , MERGE które zarówno aktualizuje, jak i wstawia wiersze. Jeśli wiersze już przetworzone przez Lakewatch zmieniają się w źródle, tabele parsowane zachowują wcześniejsze wartości.
Utwórz źródło danych
W obszarze Datasources wybierz Dodaj źródło danych. W sekcji Custom & internal logs wybierz tabelę Unity Catalog.
Wypełnij następujące pola na stronie konfiguracji:
- Nazwa: Wprowadź unikalną nazwę źródła danych.
-
Tabela źródłowa: Wpisz w pełni kwalifikowaną nazwę istniejącej tabeli lub widoku Katalogu Unity, w
catalog.schema.tableformacie, lub wybierz Przeglądaj tabele , aby ją znaleźć. Po wybraniu tabeli, podgląd danych pokazuje jej dane, więc możesz potwierdzić, że wybrałeś właściwą.
Ustaw tożsamość run-as dla źródła danych. Rozwiń Zaawansowane ustawienia , aby skonfigurować:
- Harmonogram: Jak często uruchamia się zadanie importu danych. Domyślnie nie rzadziej niż co 10 minut. Możesz też zmienić to później na zakładce Konfiguracja .
- Przetwarzaj tylko nowe wiersze: Kontroluje, czy Lakewatch doładowuje wiersze już znajdujące się w tabeli źródłowej. Jest on domyślnie włączony, więc Lakewatch pobiera tylko te wiersze dodane po utworzeniu źródła danych. Wyłącz go, żeby również pobierać już istniejące wiersze (co zajmuje więcej czasu na dużym źródle), a potem kontynuuj z nowo dodanymi wierszami. To ustawienie działa tylko przy pierwszym starcie i nie można go zmienić po utworzeniu. Tabele OpenSharing nie obsługują przyrostowych odczytów, więc ta opcja ich nie dotyczy. Lakewatch przetwarza wszystkie wiersze.
- Zoptymalizowana wydajność: Używaj zoptymalizowanej mocy obliczeniowej do szybszego ładowania danych (włączone) lub standardowej mocy obliczeniowej (wyłączone). Domyślnie używa domyślnego ustawienia ingestion-compute środowiska.
Nie możesz zmienić tabeli źródłowej po utworzeniu źródła danych. Aby to zmienić, utwórz ponownie źródło danych.
Note
Zapytania i reguły detekcji odczytujące źródło danych działają najlepiej, gdy tabela źródłowa jest klastrowana płynnie według kolumny używanej do time. Jeśli ta kolumna jest kolumną najwyższego poziomu TIMESTAMP lub TIMESTAMP_NTZ, dodaj klastrowanie bezpośrednio do tabeli źródłowej, uruchamiając ALTER TABLE catalog.schema.my_source_table CLUSTER BY (my_time_column) w notatniku lub edytorze SQL, gdzie my_time_column jest kolumną czasu tabeli źródłowej. Zobacz Włącz klastrowanie cieczą w istniejących tabelach.
Jeśli kolumna czasu nie jest kolumną najwyższego poziomu, nie jest typu TIMESTAMP ani TIMESTAMP_NTZ, lub jest wyprowadzona przez wyrażenie SQL, klastrowanie nie może być dodane bezpośrednio.
Dołącz parsery i utwórz źródło danych
- Dołącz parsery. Dołącz co najmniej jeden parser, aby nadać strukturę pobranym danym: wbudowany parser pasujący do twojego źródła lub parser utworzony przez ciebie. Aby dowiedzieć się, jak działa dopasowanie parserów i jakie kolumny generują parsery, zobacz Parsery.
- Stwórz źródło danych. Wybierz Utwórz źródło danych. Źródło danych zaczyna działać natychmiast zgodnie z harmonogramem przetwarzania. Aby to powstrzymać, usuń źródło danych.
Po utworzeniu możesz w dowolnym momencie edytować pozostałe ustawienia źródła danych (harmonogram, obliczenia i adnotacje) na zakładce Konfiguracja . Zobacz Edytuj ustawienia źródła danych.
Pozyskiwanie logów śledzenia Unity Gateway
Ujednolicone śledzenie Unity Gateway rejestruje żądania dotyczące modeli i narzędzi (w tym decyzje dotyczące mechanizmów ochronnych i zasad, użycie tokenów oraz tożsamość żądającego) w tabeli Unity Catalog Delta (unity_gateway_otel_spans), którą posiadasz. Ponieważ jest to standardowa tabela katalogu Unity, możesz dodać ją do Lakewatch za pomocą metody Existing table, a następnie wysyłać do niej zapytania i uruchamiać względem niej reguły wykrywania.
- Włącz śledzenie. Ustaw tabelę śledzenia dla swojego metastore w interfejsie Unity Gateway. Zobacz Monitoruj całą aktywność AI za pomocą zunifikowanej tabeli śledzenia.
- Stwórz źródło danych. Postępuj zgodnie z powyższymi krokami, używając w pełni kwalifikowanej nazwy tabeli śledzenia zmian jako tabeli źródłowej lub widoku.
- Udziel dostępu. Tożsamość run-as źródła danych musi być w stanie odczytać tabelę śledzenia i zapisywać w schemacie docelowym. Reguła wykrywania, którą tworzysz względem danych, działa pod własną tożsamością run-as, która wymaga tego samego dostępu.
Możesz także zapytać tabelę śledzenia bezpośrednio na stronie zapytania lub z reguły detekcyjnej, bez tworzenia źródła danych.