Registros de tráfico de red extendidos

Los registros extendidos de tráfico de red registran el tráfico de red saliente desde el proceso sin servidor de Azure Databricks. Por defecto, la tabla del sistema de eventos de acceso a la red saliente registra solo las solicitudes que los controles de egreso serverless deniegan. Con registros de tráfico de red extendidos, también registra las solicitudes permitidas, para que puedas ver dónde se conectan tus cargas de trabajo sin servidor y solucionar problemas de conectividad.

Los registros extendidos de tráfico de red también agregan una tabla de registros de flujo que registra la cantidad de datos que el proceso sin servidor envía y recibe de cada dirección IP de destino. Las dos capacidades utilizan las siguientes tablas del sistema:

Los registros de flujo de tráfico saliente solo registran el tráfico enrutado a través de una pasarela de red privada.

Para consultar los logs, consulte Consultar logs de tráfico de red extendido.

Casos de uso

Utilizar registros de tráfico de red ampliados para:

• Investiga la actividad de la red: Consulta a qué destinos accedieron tus cargas de trabajo serverless, cuándo y desde qué espacio de trabajo.
• Refina las políticas de red: Encuentra destinos a los que rara vez se accede y decide si eliminarlos de tus listas de permitidos de salida de Serverless.
• Solucionar problemas de conectividad: determine si los controles de salida sin servidor permitieron o denegaron una solicitud.
• Investigar los costes de red: Identificar destinos interregionales, de internet y privados a los que acceden las cargas de trabajo sin servidor.
• Optimiza la conectividad de almacenamiento: Encuentra destinos de almacenamiento frecuentemente consultados que puedan beneficiarse de la conectividad privada o de estar en la misma región que tus cargas de trabajo.

• Mide los volúmenes de tráfico: Observa cuántos datos envía y recibe el computo serverless a cada destino a través de una pasarela de red privada.
• Detectar actividad inusual: Encontrar destinos con volúmenes de tráfico inesperadamente altos.

Cómo funciona

Eventos de acceso a la red permitidos

Los registros extendidos de tráfico de red agregan eventos ALLOWED a la tabla system.access.outbound_network existente. Esta tabla registra los eventos de acceso a la red saliente de cargas de trabajo sin servidor, incluyendo almacenes SQL, trabajos, pipelines Lakeflow, aplicaciones Databricks y endpoints Model Serving. Los eventos permitidos incluyen solicitudes a almacenamiento en la nube, destinos de internet y recursos accesibles a través de conectividad privada. Para el esquema completo de la tabla, consulte la referencia de la tabla del sistema de eventos de acceso a la red.

La access_type columna indica el resultado de cada evento:

Los valores access_type y destination_type registrados para una solicitud dependen del destino y del modo de la directiva de salida sin servidor:

Para eventos permitidos DNS , destination contiene el nombre de dominio o nombre de host de almacenamiento. Para eventos permitidos STORAGE , destination contiene el nombre de host y la ruta de almacenamiento. Las direcciones IP de destino resueltas están en dns_event.rdata o storage_event.rdata. Estos campos están vacíos para eventos denegados.

Registros de flujo de tráfico saliente

La system.access.outbound_traffic tabla registra volúmenes de tráfico agregados, no solicitudes individuales. Azure Databricks agrupa el tráfico en intervalos fijos de un minuto que comienzan y terminan en el cambio de minuto. Dentro de cada intervalo, el tráfico con el mismo espacio de trabajo, dirección IP de destino y método de conexión se combina en un solo registro, sumando los bytes enviados y recibidos.

Por ejemplo, el tráfico entre 12:05:00 y 12:06:00 produce un registro con period_start_time = 12:05:00 y period_end_time = 12:06:00. La hora de inicio es inclusiva y la hora de finalización es exclusiva. Estas marcas de tiempo señalan los límites del intervalo, no las horas del primer y último paquetes. Los intervalos sin tráfico no producen registros.

La system.access.outbound_traffic tabla tiene el esquema siguiente:

Cómo se relacionan las tablas

system.access.outbound_network Te indica el nombre de host de destino o la ubicación de almacenamiento de una solicitud. system.access.outbound_traffic Te indica la dirección IP de destino, el método de conexión y cuántos bytes se han transferido.

Para correlacionarlos, haga coincidir el id. de cuenta, el id. del área de trabajo y la dirección IP de destino resuelta, y compruebe que el event_time del evento de acceso cae dentro del intervalo del registro de flujo. Las dos tablas tienen valores de event_id independientes, por lo que no debe combinarlas en event_id.

Estas coincidencias son correlaciones basadas en la dirección IP y la hora. No vinculan un evento de acceso a una conexión de red específica. Cuando varios nombres de host se resuelven a la misma dirección IP, cada nombre de host coincide con los mismos registros de flujo.

Limitations

Los registros de tráfico de red extendidos tienen las siguientes limitaciones:

• Los eventos permitidos no se registran para el acceso al modelo externo desde los puntos de conexión de servicio de modelos.
• Los eventos permitidos no se registran para el acceso al almacenamiento desde espacios de trabajo cuyos controles de salida sin servidor están en modo de ejecución en seco.
• Los eventos permitidos no se registran para el acceso al almacenamiento interno del área de trabajo, como los artefactos de MLflow y dbt.
• Los eventos permitidos no se registran para el acceso al almacenamiento del proveedor OpenSharing.
• El tráfico permitido de cargas de trabajo que duran menos de un minuto es menos probable que se registre, especialmente para cargas de trabajo programadas y no interactivas y para espacios de trabajo con políticas de salida sin restricciones.

• Los registros de flujo de tráfico saliente solo registran el tráfico enrutado a través de una pasarela de red privada. El tráfico que utiliza otra conectividad privada o salida de internet pública no se registra.
• Los registros de flujo del tráfico saliente no registran el tráfico de Agent Bricks, Unity Gateway ni las carpetas de Git.

Estas limitaciones no afectan a cómo se aplican los controles de salida serverless ni a cómo se registran las solicitudes denegadas.

Preguntas más frecuentes

Las siguientes preguntas cubren comportamientos comunes que podrías ver en registros de tráfico de red extendidos.