Uitgebreide netwerkverkeerslogboeken

Uitgebreide netwerkverkeerslogs registreren uitgaand netwerkverkeer van Azure Databricks serverless compute. Standaard registreert de systeemtabel voor uitgaande netwerktoegangsgebeurtenissen alleen de verzoeken die door serverless egress-controles worden geweigerd. Met uitgebreide netwerkverkeerslogboeken registreert het ook de toegestane verzoeken, zodat je kunt zien waar je serverless workloads verbinding maken en de connectiviteit kunt troubleshooten.

Uitgebreide netwerkverkeerslogboeken voegen ook een flowlogtabel toe die bijhoudt hoeveel data serverless compute naar elk bestemmings-IP-adres verzendt en ervan ontvangt. De twee mogelijkheden gebruiken de volgende systeemtabellen:

Uitgaande verkeersstroomlogs registreren alleen verkeer dat via een privénetwerkgateway wordt geleid.

Om de logs op te vragen, zie Uitgebreide netwerkverkeerslogs opzoeken.

Gebruikssituaties

Gebruik uitgebreide netwerkverkeerslogs om:

• Onderzoek netwerkactiviteit: Bekijk welke bestemmingen je serverless workloads hebben benaderd, wanneer en vanuit welke werkruimte.
• Verfijn netwerkbeleid: Zoek bestemmingen die zelden worden benaderd en beslis of je ze uit je serverless egress allowlists verwijdert.
• Probleemoplossing van de connectiviteit: Bepaal of serverless egress controls een verzoek hebben toegestaan of geblokkeerd.
• Onderzoek netwerkkosten: Identificeer cross-region, internet- en privébestemmingen die worden bereikt door serverloze workloads.
• Optimaliseer opslagconnectiviteit: Zoek vaak gebruikte opslagbestemmingen die baat kunnen hebben bij private connectiviteit of van het feit dat ze in dezelfde regio als je workloads zitten.

• Meet verkeersvolumes: Bekijk hoeveel data serverless compute naar elke bestemming verzendt en van elke bestemming ontvangt via een privénetwerkgateway.
• Detecteer ongebruikelijke activiteit: Vind bestemmingen met onverwacht hoge verkeersvolumes.

Hoe werkt het?

Toegestane netwerktoegangsgebeurtenissen

Uitgebreide netwerkverkeerslogboeken voegen ALLOWED gebeurtenissen toe aan de bestaande system.access.outbound_network-tabel. Deze tabel registreert uitgaande netwerktoegangsgebeurtenissen van serverless workloads, waaronder SQL-warehouses, jobs, Lakeflow-pipelines, Databricks-apps en Model Serving endpoints. Toegestane gebeurtenissen bestrijken verzoeken naar cloudopslag, internetbestemmingen en bronnen die via privéverbinding worden bereikt. Voor het volledige tabelschema, zie Referentie van de systeemtabel Network access events.

De access_type kolom geeft de uitkomst van elk evenement aan:

De access_type en destination_type waarden die voor een verzoek worden geregistreerd, hangen af van de bestemming en je serverless egress policy-modus:

Voor toegestane DNS gebeurtenissen bevat destination de domeinnaam of opslaghostnaam. Voor toegestane STORAGE gebeurtenissen bevat destination de opslaghostnaam en het pad. De opgeloste bestemmings-IP-adressen zijn in dns_event.rdata of storage_event.rdata. Deze velden zijn leeg voor geweigerde gebeurtenissen.

Uitgaande verkeersstroomlogs

De system.access.outbound_traffic tabel registreert geaggregeerde verkeersvolumes, niet individuele verzoeken. Azure Databricks groepeert het verkeer in vaste intervallen van één minuut die beginnen en eindigen op een minuutgrens. Binnen elk interval wordt verkeer met dezelfde werkruimte, bestemmings-IP-adres en verbindingsmethode gecombineerd tot één record, waarbij de verzonden en ontvangen bytes worden opgeteld.

Bijvoorbeeld, het verkeer tussen 12:05:00 en 12:06:00 produceert een record met period_start_time = 12:05:00 en period_end_time = 12:06:00. De starttijd is inclusief en de eindtijd is exclusief. Deze tijdstempels markeren de intervalgrenzen, niet de tijden van het eerste en laatste pakket. Intervallen zonder verkeer leveren geen records op.

De system.access.outbound_traffic tabel heeft het volgende schema:

Hoe de tabellen zich verhouden

system.access.outbound_network Geeft je de bestemmingshostnaam of opslaglocatie van een verzoek aan. system.access.outbound_traffic vertelt je het bestemmings-IP-adres, de verbindingsmethode en hoeveel bytes er zijn overgedragen.

Om ze te correleren moet je de account-ID, werkruimte-ID en het opgeloste bestemmings-IP-adres vergelijken en controleren of de event_time van de toegangsgebeurtenis binnen het interval van het flowlogboek valt. De twee tabellen hebben onafhankelijke event_id waarden, dus maak geen join op event_id.

Deze matches zijn correlaties gebaseerd op IP-adres en tijdstip. Ze koppelen geen toegangsgebeurtenis aan een specifieke netwerkverbinding. Wanneer meerdere hostnamen naar hetzelfde IP-adres verwijzen, komt elke hostnaam overeen met dezelfde flowrecords.

Limitations

Uitgebreide netwerkverkeerslogboeken hebben de volgende beperkingen:

• Toegestane gebeurtenissen worden niet gelogd voor externe modeltoegang vanaf Model Serving eindpunten.
• Toegestane gebeurtenissen worden niet gelogd voor opslagtoegang vanuit werkruimtes waarvan de serverless egress-controles in de dry-run-modus staan.
• Toegestane gebeurtenissen worden niet gelogd voor toegang tot werkruimte-interne opslag, zoals MLflow en dbt-artefacten.
• Toegestane eventtypen worden niet gelogd voor toegang tot opslag van de OpenSharing-provider.
• Toegestaan verkeer van workloads die minder dan ongeveer een minuut draaien, wordt waarschijnlijk minder vaak gelogd, vooral bij geplande, niet-interactieve workloads en voor workspaces met beleid voor onbeperkt uitgaand verkeer.

• Uitgaande verkeersstroomlogs registreren alleen verkeer dat via een privénetwerkgateway wordt geleid. Verkeer dat andere private connectiviteit of openbare internetuitgang gebruikt, wordt niet gelogd.
• Uitgaande verkeersstroomlogs registreren geen verkeer van Agent Bricks, Unity Gateway of Git-mappen.

Deze beperkingen beïnvloeden niet hoe serverless egress controls worden gehandhaafd of hoe geweigerde verzoeken worden geregistreerd.

Veelgestelde vragen

De volgende vragen behandelen veelvoorkomend gedrag dat je kunt zien in uitgebreide netwerkverkeerslogboeken.