Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Questa funzionalità è in anteprima privata. Per provarlo, contattare il contatto di Azure Databricks.
I log di traffico di rete estesi registrano il traffico di rete in uscita dal compute serverless di Azure Databricks. Di default, la tabella di sistema degli eventi di accesso alla rete in uscita registra solo le richieste che i controlli di uscita serverless negano. Con i log di traffico di rete estesi, registra anche le richieste consentite, così puoi vedere dove i tuoi carichi di lavoro serverless si collegano e risolvere problemi di connettività.
I log di traffico di rete estesi aggiungono anche una tabella dei log di flusso che registra quanti dati l'elaborazione serverless invia e riceve da ciascun indirizzo IP di destinazione. Le due capacità utilizzano le seguenti tabelle di sistema:
| Capability | Tabella di sistema | Description |
|---|---|---|
| Eventi di accesso alla rete in uscita consentiti | system.access.outbound_network |
Aggiunge le richieste in uscita consentite alla tabella esistente delle richieste negate. |
| Log del flusso del traffico in uscita | system.access.outbound_traffic |
Registra i byte inviati e ricevuti per ogni indirizzo IP di destinazione, aggregati in intervalli di un minuto. |
I log del flusso del traffico in uscita registrano solo il traffico instradato attraverso un gateway di rete privato.
Per interrogare i log, vedi i log del traffico di rete esteso.
Situazioni di utilizzo
Utilizzare i log estesi del traffico di rete per:
- Indaga sull'attività di rete: Verifica quali destinazioni i tuoi carichi di lavoro serverless hanno raggiunto, quando e da quale spazio di lavoro.
- Affina le politiche di rete: Trova destinazioni raramente utilizzate e decidi se rimuoverle dalle tue allowlist di uscita serverless.
- Risoluzione dei problemi della connettività: Determina se i controlli di uscita serverless hanno permesso o negato una richiesta.
- Indagare sui costi di rete: Identificare le destinazioni interregionali, Internet e private a cui accedono i carichi di lavoro serverless.
- Ottimizza la connettività dello storage: Trova destinazioni di storage a cui si accede frequentemente che potrebbero beneficiare di una connettività privata o di trovarsi nella stessa regione dei tuoi carichi di lavoro.
- Misura i volumi di traffico: Osserva quanti dati il calcolo serverless invia e riceve da ciascuna destinazione tramite un gateway di rete privato.
- Rilevare attività insolite: Individuare destinazioni con volumi di traffico inaspettatamente elevati.
Funzionamento
Eventi di accesso alla rete consentiti
La funzionalità Log di traffico di rete estesi aggiunge eventi ALLOWED alla tabella system.access.outbound_network esistente. Questa tabella registra gli eventi di accesso alla rete in uscita da carichi di lavoro serverless, inclusi SQL warehouse, jobs, pipeline Lakeflow, Databricks Apps e endpoint Model Serving. Gli eventi consentiti coprono richieste a archiviazione cloud, destinazioni internet e risorse raggiunte tramite connettività privata. Per lo schema completo della tabella, vedi Network Access Events System Table Reference.
La access_type colonna indica l'esito di ogni evento:
| Value | Description |
|---|---|
ALLOWED |
L'accesso alla rete in uscita era consentito. Disponibile solo con log di traffico di rete estesi. |
DROP |
L'accesso alla rete in uscita era negato dai controlli del traffico in uscita serverless in modalità forzata. |
DRY_RUN_DENIAL |
L'accesso alla rete in uscita sarebbe stato negato dai controlli di uscita serverless, ma era consentito perché la politica era in modalità dry-run. |
I valori access_type e destination_type registrati per una richiesta dipendono dalla destinazione e dalla modalità dei criteri di traffico in uscita serverless:
| Richiesta di rete | Uscita libera | Modalità di simulazione | Modalità applicata |
|---|---|---|---|
| Accesso allo storage consentito | ALLOWED / DNS |
Accesso non effettuato | ALLOWED / STORAGE |
| Accesso all'archiviazione che viola i criteri | Non applicabile | DRY_RUN_DENIAL / DNS |
DROP / STORAGE |
| Accesso consentito alle risorse VNet | ALLOWED / DNS |
ALLOWED / DNS |
ALLOWED / DNS |
| Accesso alle risorse VNet che viola i criteri | Non applicabile | DRY_RUN_DENIAL / DNS |
DROP / DNS |
| Accesso a internet consentito | ALLOWED / DNS |
ALLOWED / DNS |
ALLOWED / DNS |
| Accesso a Internet che viola i criteri | Non applicabile | DRY_RUN_DENIAL / DNS |
DROP / DNS |
Per gli eventi consentiti DNS , destination contiene il nome di dominio o il nome host di archiviazione. Per gli eventi consentiti STORAGE , destination contiene il nome host e il percorso di archiviazione. Gli indirizzi IP di destinazione risolti sono in dns_event.rdata o storage_event.rdata. Questi campi sono vuoti per eventi negati.
Log del flusso del traffico in uscita
La system.access.outbound_traffic tabella registra i volumi di traffico aggregati, non le singole richieste. Azure Databricks raggruppa il traffico in intervalli fissi di un minuto che iniziano e terminano al limite del minuto. All'interno di ogni intervallo, il traffico con lo stesso spazio di lavoro, indirizzo IP di destinazione e metodo di connessione viene combinato in un unico record, sommando i byte inviati e ricevuti.
Ad esempio, il traffico tra 12:05:00 e 12:06:00 produce un record con period_start_time = 12:05:00 e period_end_time = 12:06:00. L'ora di inizio è inclusa e l'ora di fine è esclusa. Questi timestamp segnano i confini degli intervalli, non gli orari del primo e dell'ultimo pacchetto. Gli intervalli senza traffico non producono record.
La system.access.outbound_traffic tabella presenta lo schema seguente:
| Column | Tipo di dati | Description |
|---|---|---|
event_id |
string | Identificatore univoco per il record di traffico aggregato. |
account_id |
string | ID dell'account Azure Databricks da cui ha avuto origine il traffico. |
workspace_id |
string | ID dello spazio di lavoro da cui proveniva il traffico. |
destination_ip |
string | Indirizzo IP di destinazione. |
received_bytes |
bigint | Totale dei byte ricevuti dall'elaborazione serverless durante l'intervallo. |
sent_bytes |
bigint | Totale di byte inviati dall'elaborazione serverless durante l'intervallo. |
connection_type |
string | Tipo di connettività utilizzata. Il valore è PRIVATE. |
connection_method |
string | Metodo di connettività utilizzato. Il valore è PRIVATE_NETWORK_GATEWAY. |
period_start_time |
timestamp | Inizio inclusivo dell'intervallo di un minuto. |
period_end_time |
timestamp | Estremo finale escluso dell'intervallo di un minuto. |
Come si relazionano le tabelle
system.access.outbound_network indica il nome host di destinazione o il percorso di archiviazione di una richiesta.
system.access.outbound_traffic ti indica l'indirizzo IP di destinazione, il metodo di connessione e quanti byte sono stati trasferiti.
Per correlarli, abbina l'ID account, l'ID dello spazio di lavoro e l'indirizzo IP di destinazione risolto, e verifica che il event_time dell'evento di accesso rientri nell'intervallo del log del flusso. Le due tabelle hanno valori indipendenti event_id, quindi non eseguire il join su event_id.
Queste corrispondenze sono correlazioni basate sull'indirizzo IP e sull'ora. Non collegano un evento di accesso a una connessione di rete specifica. Quando diversi nomi host si risolvono allo stesso indirizzo IP, ogni nome host corrisponde agli stessi record di flusso.
Limitations
I log di traffico di rete estesi presentano le seguenti limitazioni:
- Gli eventi consentiti non vengono registrati per l'accesso a modelli esterni dagli endpoint di Model Serving.
- Gli eventi consentiti non vengono registrati per l'accesso allo storage da workspace i cui controlli di uscita serverless sono in modalità dry-run.
- Gli eventi consentiti non vengono registrati per l'accesso allo storage interno dello spazio di lavoro, come gli artefatti MLflow e dbt.
- Gli eventi consentiti non vengono registrati per l'accesso allo storage del provider OpenSharing.
- Il traffico consentito da carichi di lavoro che durano meno di circa un minuto è meno probabile che venga registrato, specialmente per carichi di lavoro programmati e non interattivi e per spazi di lavoro con politiche di uscita senza restrizioni.
- I log del flusso del traffico in uscita registrano solo il traffico instradato attraverso un gateway di rete privato. Il traffico che utilizza altre connettività private o egress verso Internet pubblico non viene registrato.
- I log del flusso di traffico in uscita non registrano il traffico da Agent Bricks, Unity Gateway o cartelle Git.
Queste limitazioni non influenzano come vengono applicati i controlli di uscita serverless o come vengono registrate le richieste negate.
Domande frequenti
Le seguenti domande trattano comportamenti comuni che potresti vedere nei log di traffico di rete estesi.
Ho bisogno di controlli di uscita serverless per usare log di traffico di rete estesi?
No. Gli eventi di accesso alla rete in uscita consentiti vengono registrati anche per gli spazi di lavoro con politiche di uscita serverless senza restrizioni.
Perché gli eventi di accesso alla rete appaiono dopo la fine di un carico di lavoro?
Azure Databricks potrebbe continuare ad accedere allo storage dopo la fine di un carico di lavoro, ad esempio per mantenere i log o i metadati Delta. Queste richieste possono generare eventi di accesso alla rete quando non sono in esecuzione carichi di lavoro utente. Gli eventi si interrompono dopo la terminazione dell'istanza di calcolo serverless.
Perché vedo nomi host sconosciuti nei miei log di accesso alla rete?
Alcune destinazioni registrate sono risorse gestite da Azure Databricks utilizzate per operazioni sulla piattaforma:
| Pattern del nome host | Purpose |
|---|---|
databricks-prewarm-datasets* |
Migliora i tempi di avvio del calcolo serverless. |
dbstorage* |
Archiviazione predefinita di Azure Databricks. |
system-tables* |
Accesso ai dataset di campione predefiniti. |
Se vedi altri nomi host che non riconosci, contatta il team account di Azure Databricks.
Quanto tempo ci vuole perché appaiono i log del traffico di rete?
La maggior parte degli eventi di accesso alla rete in uscita appare entro 15 minuti dalla richiesta. La latenza può variare, e Azure Databricks non fornisce un accordo di livello di servizio (SLA) di latenza per questi log.
Perché non riesco a trovare un log di flusso corrispondente per un evento di accesso alla rete consentito?
I log di flusso registrano solo il traffico instradato attraverso un gateway di rete privato, quindi le richieste consentite che utilizzano altra connettività non hanno un log di flusso corrispondente. Un log di flusso mancante non significa che la richiesta sia fallita o che nessun dato sia stato trasferito.