Creare e gestire le fonti dati

Questa pagina spiega i componenti di una sorgente di dati e ti insegna come creare e gestire sorgenti di dati nell'interfaccia utente. Un'origine dati è una pipeline configurata che assorbe dati grezzi di sicurezza e li scrive su tabelle Unity Catalog schematizzate e governate, pronte per l'analisi della sicurezza. Una sorgente dati combina un metodo di ingestione con uno o più parser.

Metodi di inserimento

Un metodo di ingestione definisce come una sorgente dati Lakewatch acquisisce dati grezzi di sicurezza, in base a dove si trovano tali dati. Ogni metodo ha il proprio flusso di creazione, ma tutti finiscono in uno strato grezzo che i parser poi normalizzano.

Lakewatch offre tre metodi di ingestione:

• Archiviazione cloud: Ingerire file da uno store oggetti supportato (Amazon S3, Azure Data Lake Storage o Google Cloud Storage) tramite un volume Unity Catalog o una posizione esterna. Lakewatch legge la sorgente con Auto Loader, raccogliendo nuovi file man mano che arrivano.
• Tabella esistente: Ingerisci una tabella Delta o una vista del Catalogo Unity che esiste già nel tuo spazio di lavoro. Lakewatch legge direttamente la sorgente ed esegue i parser allegati su di essa, invece di copiare i dati.
• Connettori API: Acquisiscono dati di sicurezza dalle applicazioni SaaS tramite connettori gestiti governati da connessioni Unity Catalog. Tutti i connettori API sono abbinati a parser pre-assemblati.

Parser

I parser schematizzano i dati ingeriti in tabelle parse. Ogni parser descrive le colonne di output di una sorgente di log e scrive una tabella elaborata dal parser con le colonne lw_id, lw_meta e lw_observables gestite da Lakewatch.

Seleziona uno o più parser durante il flusso di creazione della sorgente dati. Puoi selezionare un parser integrato che corrisponda alla tua sorgente, personalizzare un parser integrato o creare un nuovo parser da zero.

Quando la sorgente dati viene eseguita, ogni evento in ingresso viene abbinato agli parser allegati nell'ordine in cui sono stati dichiarati e finisce nel primo parser che corrisponde. Un evento corrisponde quando sono presenti i campi richiesti, i suoi campi tipizzati si convertono nei tipi dichiarati e tutti i validatori hanno esito positivo. Per le regole di corrispondenza e il formato completo del parser, vedi riferimento al parser.

Crea una nuova fonte di dati

Vai su Datasources e clicca su Aggiungi datasource. Vedrai un selettore che chiede "Quali dati vuoi importare?". Seleziona una scheda connettore integrata per una sorgente SaaS, oppure seleziona origine dati personalizzata e scegli un tipo di sorgente. I metodi di ingestione sono:

• Archiviazione cloud: file in Amazon S3, Azure Data Lake Storage o Google Cloud Storage.
• Tabella esistente: una tabella Delta o una vista del Catalogo Unity già presente nel tuo spazio di lavoro.
• Connettori API: applicazioni SaaS, tramite connettori gestiti.

Gestire le origini dati esistenti

Per gestire una sorgente dati, aprila da Datasources. La pagina dei dettagli ha tre schede:

• Panoramica: Descrizione della fonte dati, esecuzioni recenti, connessione, statistiche di ingestione, parser allegati e le sue impostazioni modificabili (pianificazione dell'elaborazione, identità run-as, calcolo e annotazioni). Modifica un'impostazione selezionandola, regolando i valori e cliccando Fine; aggiungi o cambia parser dalla sezione Parser.
• Errori di sistema: Gli errori di sistema generati per questa fonte dati, ciascuno elencato con il proprio titolo, stato, gravità, assegnato, numero di eventi e tempo di creazione. Cerca per titolo, descrizione o commenti, e filtra per stato. Seleziona il titolo di un errore per aprire la pagina dei dettagli.
• Permessi: I privilegi del Catalogo Unity concessi sulla sorgente dati. Usa Grant e Revoke per gestire l'accesso.

Dal menu di overflow (⋮) puoi modificare la sorgente dati come YAML ed eliminarla. Eliminare è l'unico modo per fermare una sorgente dati in esecuzione; rimuove permanentemente la sorgente dati, ma le tabelle che ha già scritto non vengono cancellate.

Modifica le impostazioni della sorgente dati

Nella scheda Panoramica, puoi modificare le seguenti impostazioni:

• Programma di elaborazione: Con quale frequenza viene eseguito il lavoro di ingestione della sorgente dati. Le nuove fonti dati hanno come impostazione predefinita ogni 10 minuti.
  • Almeno ogni [unità di tempo]: Viene eseguito a un intervallo specificato.
  • Esattamente all'ora di [ora]: Viene eseguito con una pianificazione precisa. Costruiscilo con il visual picker, oppure seleziona Mostra la sintassi cron e inserisci un'espressione cron Quartz. Un'espressione non valida mostra Inserisci un'espressione cron valida di Quartz e impedisce il salvataggio.
  • Continuo: Acquisisce nuovi dati in loop man mano che arrivano per una run di ~30 minuti, poi riavvia immediatamente una run nuova.
  • Connettori API: Non applicabile. Le origini dati dei connettori API vengono eseguite secondo una pianificazione gestita che non puoi modificare.
• Compute: Come l'ingestione della sorgente dati viene raggruppata nel compute, sotto Job grouping:
  • Automatico (predefinito): L'ingestione può essere combinata con altri lavori che elaborano gli stessi dati per ottimizzare i costi di calcolo.
  • Dedicati: L'ingestione procede con risorse dedicate.
  • Gruppo di processi: L'ingestione va insieme ad altri processi in un gruppo specifico che inserisci. Il cambio di gruppo reimposta i checkpoint, quindi l'elaborazione riprende dal tempo attuale.
• Annotazioni: Coppie chiave-valore applicate come tag alla sorgente dati.

Imposta l'identità run-as

Ogni sorgente dati ha un'identità run-as, l'utente o l'entità servizio che Lakewatch utilizza per leggere il sorgente, utilizzare qualsiasi credenziale configurato e scrivere le tabelle grezze e analizzate. Questa identità viene impostata durante la creazione e può essere modificata dopo la creazione dalla pagina dei dettagli.

• Predefinito: Se non scegli un'identità quando crei la sorgente dati, l'identità run-as è impostata automaticamente su di te.
• Scelta di un'entità servizio: Per operare come entità servizio, devi avere il ruolo di Service Principal User per tale entità servizio. Un ruolo assegnato tramite l'appartenenza al gruppo è attivo anche se la pagina dei dettagli dell'entità servizio mostra solo ruoli assegnati direttamente. Consultare Gestire i principali del servizio.
• Riassegnazione: Puoi cambiare l'identità run-as quando modifichi la fonte dati. Lakewatch riconvalida l'accesso all'origine e alle credenziali utilizzando la nuova identità quando salvi la modifica.

Poiché Lakewatch valida ed esegue la sorgente dati come questa identità, l'identità run-as deve disporre di ogni autorizzazione di cui la sorgente dati ha bisogno:

• Leggi la fonte: L'accesso necessario dipende dal metodo di ingestione. Ad esempio, l'identità run-as necessita READ FILES per una posizione esterna e READ VOLUME su un volume per l'archiviazione cloud. Consulta la pagina del tuo metodo di ingestione per conoscere il tipo di accesso specifico richiesto.
• Usa una credenziale configurata: L'identità run-as necessita del ACCESS privilegio su una credenziale di servizio Unity Catalog, o dell'accesso in lettura all'ambito segreto AWS, quando quest'ultimo è configurato.
• Scrivi nelle tabelle di output: L'identità run-as ha bisogno di USE CATALOG, USE SCHEMA e CREATE TABLE su ogni schema in cui Lakewatch crea le tabelle grezze e analizzate.

Lakewatch non concede automaticamente all'identità run-as l'accesso agli schemi o alle tabelle di destinazione. Concedi questo accesso prima di associare questa identità alla sorgente dati.

Cambia i parser in un'origine dati

Come cambi parser dipende dal metodo di acquisizione:

• Le fonti dati dei connettori API non supportano il cambio dei parser dopo la creazione. Per usare parser diversi, ricrea la fonte dati. Cambiare un parser ricostruirebbe la pipeline di ingestione gestita e ricreerebbe le tabelle della sorgente dati, quindi la modifica del parser è disabilitata su queste fonti dati.
• L'archiviazione cloud e le origini dati di tabelle esistenti permettono di cambiare parser in linea. Apri la fonte dati, apporta le modifiche e clicca su Salva.

Per l'archiviazione cloud e le origini dati da tabelle esistenti:

• Aggiungi un parser: Aggiungi un altro parser integrato o creato. Gli eventi in arrivo vengono abbinati agli parser allegati in ordine di dichiarazione, quindi un parser appena aggiunto entra in vigore per gli eventi che non corrispondono a un parser precedente. Il nuovo parser parte da un punto recente e rielabora i dati grezzi da lì; i parser già collegati mantengono la loro posizione e non vengono rielaborati. Vedi Attach parsers.
• Rimuovi un parser: Scollega un parser che non ti serve più. I nuovi eventi smettono di essere scritti nella tabella parsed di quel parser e la tabella parsed precedentemente scritta non viene eliminata. Eliminalo separatamente in Unity Catalog se non hai più bisogno dei dati. Poiché rimuovere un parser cambia il modo in cui gli eventi in ingresso vengono instradati, gli altri parser rielaborano i dati grezzi recenti, che possono produrre righe duplicate nelle loro tabelle analizzate.
• Riordinare i parser: I parser corrispondono in ordine di dichiarazione, quindi riordinarli cambia il routing allo stesso modo dell’aggiunta o della rimozione. L'origine dati rielabora dati grezzi recenti, che possono produrre righe duplicate nelle tabelle elaborate interessate.
• Cambia la versione di un parser: Una sorgente dati fissa una versione specifica del parser, così non viene influenzata da modifiche successive al parser. Per selezionare una versione più recente, selezionala quando modifichi la fonte dati. Una modifica di versione non rielabora i dati esistenti; la nuova versione si applica agli eventi ingeriti dopo aver salvato la modifica.
• Cambia la destinazione di parsing: Puoi cambiare la tabella su cui scrive un parser. Scegli un nome di destinazione che non collida con una tabella esistente. I dati già scritti nella vecchia tabella non vengono spostati.

Risolvere gli errori dell'origine dati

La pagina panoramica delle sorgenti dati riassume la cronologia delle run recenti di ciascuna sorgente dati, il conteggio degli errori, le statistiche degli eventi (record processati negli ultimi 7 giorni e nelle ultime 24 ore) e una tendenza di 7 giorni. Per vedere i dettagli della run sottostante, apri la sorgente dati e clicca su View job per accedere all'esecuzione del lavoro Databricks, dove puoi controllare la cronologia delle run, lo stato per ogni run e i log.

Quando le esecuzioni di una sorgente dati falliscono, Lakewatch registra il guasto come evento di sistema associato a un errore di sistema, che identifica la fonte di dati interessata e include il messaggio di errore. Usa l'errore di sistema insieme a View job per vedere quale fase è fallita (ad esempio: un errore di pipeline). Per l'elenco completo dei trigger correlati alle sorgenti dati, vedi Cosa scatena gli eventi di sistema?.

Se l'identità run-as della sorgente dati perde l'accesso in lettura all'origine, le esecuzioni non riescono e il conteggio Errors della sorgente dati aumenta.

Per ripristinare:

1. Ripristina l'accesso dell'identità run-as all'origine. Se mantieni la stessa identità run-as, non è necessario cambiare la configurazione. La successiva esecuzione pianificata utilizza l'accesso ripristinato.
2. Se invece riassegni la sorgente dati a un'identità run-as diversa, o cambi un'altra impostazione, modifica la fonte dati in linea e clicchi su Salva.
3. Conferma il recupero in View job oppure il sistema genera un errore. Una volta che le esecuzioni tornano a riuscire, gli errori si risolvono.