Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Important
Lakewatch è in Beta. Gli amministratori dell'area di lavoro possono controllare l'accesso a questa funzionalità dalla pagina Anteprime . Vedere Gestire le anteprime a livello di area di lavoro.
Usa il metodo di ingestione tabella esistente per ingerire una tabella Delta o una vista del Catalogo Unity già presente nel tuo workspace. Lakewatch legge direttamente la tabella sorgente e vi esegue i parser associati per produrre tabelle analizzate, invece di copiare i dati.
Note
Non è necessario ingerire una tabella per usarla in Lakewatch. Se una tabella del Catalogo Unity è già pronta per le query, puoi eseguire query e scrivere regole di rilevamento direttamente su di essa, senza creare una sorgente dati. Usa il metodo Existing table quando vuoi che Lakewatch esegua i parser sulla sorgente e produca tabelle analizzate normalizzate, con le colonne lw_id, lw_meta e lw_observables gestite da Lakewatch.
Ad esempio, consulta direttamente la tabella di sistema dei log di controllo (system.access.audit). Il parser Databricks Audit integrato legge i file JSON scritti da consegna dei log di audit, non la tabella di sistema, che utilizza nomi di colonna diversi. Se lo associ a system.access.audit, l'anteprima dati mostra source table 'system.access.audit' is not compatible with the parser: missing required fields: 'serviceName', 'actionName'.
Questa pagina è la guida completa per creare una sorgente dati a partire da una tabella esistente. Per gestire una fonte di dati dopo averla creata (modificare le impostazioni, cambiare parser e monitorare) vedi Crea e gestisci le fonti dati.
La sorgente può essere una tabella Delta gestita o esterna, una tabella streaming, una tabella OpenSharing o una vista che legge da una singola tabella upstream. La vista può usare solo SELECT e WHERE sopra quella tabella. Ad esempio, le viste che uniscono tabelle, le combinano con UNION ALL o un'altra operazione di insieme, o usano GROUP BY, DISTINCT, ORDER BY, o una WITH clausola non sono supportate. Le visualizzazioni materializzate e le viste metriche non sono supportate.
Lakewatch elabora solo le righe aggiunte alla sorgente. Gli aggiornamenti e le cancellazioni nell'origine non vengono applicati alle tabelle analizzate. Lakewatch salta qualsiasi commit che aggiorna o cancella righe esistenti, incluse quelle inserite da quello stesso commit, come un MERGE che aggiorna e inserisce righe. Se le righe già elaborate da Lakewatch cambiano nella sorgente, le tabelle analizzate mantengono i valori precedenti.
Crea l'origine dati
Da Fonti dati, seleziona Aggiungi fonte dati. Sotto Custom & internal logs, seleziona la tabella Unity Catalog.
Compila i seguenti campi nella pagina di configurazione:
- Nome: Inserisci un nome unico per la fonte dati.
-
Tabella sorgente: Inserisci il nome completamente qualificato della tabella o della vista esistente del Catalogo Unity, nel
catalog.schema.tableformato, oppure seleziona Sfoglia le tabelle per trovarne una. Dopo aver selezionato una tabella, una Anteprima dei Dati mostra i dati così puoi confermare di aver scelto quella giusta.
Imposta l'identità run-as per la sorgente dati. Espandi le impostazioni avanzate per configurare:
- Pianificazione: Quanto spesso viene eseguito il processo di ingestione. Per impostazione predefinita, viene eseguito almeno ogni 10 minuti. Puoi anche cambiarlo più avanti nella scheda Configurazione .
- Processa solo le nuove righe: Controlla se Lakewatch esegue il backfill delle righe già presenti nella tabella sorgente. È attivato di default, quindi Lakewatch acquisisce solo le righe aggiunte dopo la creazione della sorgente dati. Disattivalo per ingerire anche le righe già presenti (un backfill che richiede più tempo su una sorgente grande), poi continua con le righe nuove aggiunte. Questa impostazione si attiva solo al primo avvio e non può essere modificata dopo la creazione. Le tabelle OpenSharing non supportano letture incrementali, quindi questa opzione non si applica a loro. Lakewatch elabora tutte le righe.
- Ottimizzato per le prestazioni: Usa calcolo ottimizzato per le prestazioni per un'ingestione più rapida (on) o calcolo standard (off). Per impostazione predefinita, usa il valore predefinito di calcolo per l'ingestione dell'ambiente.
Non puoi cambiare la tabella sorgente dopo che l'origine dati è stata creata. Per cambiarlo, ricrea la fonte dati.
Note
Le query e le regole di rilevamento che leggono la sorgente di dati funzionano meglio quando la tabella sorgente è ottimizzata con liquid clustering sulla colonna usata per time. Se quella colonna è una colonna TIMESTAMP o TIMESTAMP_NTZ di primo livello, aggiungi clustering direttamente sulla tabella sorgente eseguendo ALTER TABLE catalog.schema.my_source_table CLUSTER BY (my_time_column) in un notebook o in un editor SQL, dove my_time_column è la colonna temporale della tabella sorgente. Vedi l'abilitazione del clustering liquido su tabelle esistenti.
Se la colonna temporale non è una colonna di livello superiore, non è di tipo TIMESTAMP o TIMESTAMP_NTZ o deriva da un'espressione SQL, il clustering non può essere aggiunto direttamente.
Collega i parser e crea la sorgente dati
- Collega i parser. Collega uno o più parser per schematizzare i dati ingeriti: un parser integrato che corrisponda alla tua sorgente o a uno che hai creato tu. Per come funziona l'abbinamento dei parser e le colonne prodotte dai parser, vedi Parser.
- Crea l'origine dati. Seleziona Crea sorgente dati. La sorgente dati inizia immediatamente a funzionare secondo il suo programma di elaborazione. Per fermarlo, elimina la fonte dati.
Dopo la creazione, modifica le altre impostazioni della sorgente dati (programma, calcolo e annotazioni) in qualsiasi momento nella sua scheda Configurazione . Vedi Modifica impostazioni della sorgente dati.
Acquisire i log di traccia di Unity Gateway
Unity Gateway tracciando in modo unificato registra le richieste di modelli e strumenti (inclusi guardrail e decisioni di policy, utilizzo del token e identità del richiedente) verso una tabella Delta del Catalogo Unity (unity_gateway_otel_spans) che possiedi. Poiché è una tabella standard di Unity Catalog, puoi portarla in Lakewatch con il metodo Existing table e poi interrogare ed eseguire regole di rilevamento su di essa.
- Abilitare il tracciamento. Configura la tabella di tracciamento per il tuo metastore nell'interfaccia di Unity Gateway. Vedi Monitora tutta l'attività dell'IA usando la tabella di traccia unificata.
- Crea l'origine dati. Segui i passaggi sopra, utilizzando il nome completamente qualificato della tabella di traccia come tabella o vista Sorgente.
- Concedere l'accesso. L'identità run-as della sorgente di dati deve essere in grado di leggere la tabella di traccia e scrivere nello schema di destinazione. Una regola di rilevamento che scrivi sui dati funziona con la propria identità run-as, che richiede lo stesso accesso.
Puoi anche interrogare la tabella dei tracce direttamente sulla pagina di query o da una regola di rilevamento, senza creare una sorgente dati.