Red virtual administrada de Azure Data Factory

SE APLICA A: Azure Data Factory Azure Synapse Analytics

En este artículo se explican las redes virtuales administradas y los puntos de conexión privados administrados en Azure Data Factory.

Red virtual administrada

Al crear un entorno de ejecución de integración de Azure dentro de una red virtual administrada de Data Factory, el entorno de ejecución de integración se aprovisiona con la red virtual administrada. Usa puntos de conexión privados para conectarse de forma segura a almacenes de datos admitidos.

La creación de un entorno de ejecución de integración dentro de una red virtual administrada garantiza que el proceso de integración de datos esté aislado y protegido.

Ventajas del uso de una red virtual administrada:

• Con una red virtual administrada puede dejar que Data Factory se ocupe de la pesada tarea de administrar la red virtual. No es necesario crear una subred para un entorno de ejecución de integración que podría usar muchas direcciones IP privadas de la red virtual y requeriría una planeación previa de la infraestructura de la red.
• No necesitas un conocimiento profundo de redes de Azure para hacer integraciones de datos de forma segura. En su lugar, empezar con la extracción segura, transformación y carga (ETL) es mucho más sencillo para los ingenieros de datos.
• Una red virtual administrada, junto con los puntos de conexión privados administrados, sirve de protección contra la filtración de datos.

La fábrica de datos soporta la red virtual gestionada solo en la misma región que la fábrica de datos.

Hay dos maneras de habilitar la red virtual administrada en la factoría de datos:

1. Habilite la red virtual administrada durante la creación de la factoría de datos.

2. Habilite la red virtual administrada en el entorno de ejecución de integración.

Puntos de conexión privados administrados

Los endpoints privados gestionados son endpoints privados que creas en la red virtual gestionada por Data Factory y que establecen un enlace privado con los recursos de Azure. Data Factory gestiona estos puntos finales privados por ti.

Data Factory admite vínculos privados. Puedes usar Azure Private Link para acceder a servicios de la plataforma Azure como servicio (PaaS) como Azure Storage, Azure Cosmos DB y Azure Synapse Analytics.

Cuando se usa un vínculo privado, el tráfico entre los almacenes de datos y la red virtual administrada atraviesa completamente a través de la red troncal de Microsoft. Private Link protege frente a los riesgos de la filtración de datos. El vínculo privado a un recurso se establece mediante la creación de un punto de conexión privado.

Un endpoint privado utiliza una dirección IP privada en la red virtual gestionada para incorporar el servicio. Los puntos de conexión privados se asignan a un recurso específico en Azure y no a todo el servicio. Puedes limitar la conectividad a un recurso específico que tu organización apruebe. Para obtener más información, consulte Vínculos privados y puntos de conexión privados.

1. Asegúrese de habilitar la red virtual administrada en la factoría de datos.

2. Crea un nuevo endpoint privado administrado en Manage hub.

   

3. Cuando creas un punto final privado gestionado en Data Factory, creas una conexión privada en estado Pendiente . Este estado inicia un flujo de trabajo de aprobación. El propietario del recurso de vínculo privado es responsable de aprobar o rechazar la conexión.

   

4. Si el propietario aprueba la conexión, se establece el vínculo privado. De lo contrario, el vínculo privado no se establece. En cualquier caso, el punto de conexión privado administrado se actualiza con el estado de la conexión.

   

Solo un punto de conexión privado administrado en un estado aprobado puede enviar tráfico a un recurso de vínculo privado específico.

Creación interactiva

Las capacidades de autoría interactiva soportan funcionalidades como la conexión de pruebas, navegar por listas de carpetas y tablas, obtener esquemas y previsualizar datos. Puedes activar la autoría interactiva cuando creas o editas un entorno de ejecución de integración con Azure en una red virtual gestionada por Azure Data Factory. El servicio de backend preasigna capacidad de procesamiento para las funcionalidades de creación interactiva. De lo contrario, el cálculo se asigna cada vez que realizas una operación interactiva, lo que lleva más tiempo. El tiempo de vida (TTL) para la autoría interactiva es de 60 minutos por defecto, lo que significa que se desactiva automáticamente 60 minutos después de la última operación de autoría interactiva. Puedes cambiar el valor TTL según tus necesidades.

Tiempo de vida

Actividad de copia

Por defecto, cada actividad de copia genera un nuevo cómputo basado en la configuración de la actividad de copia. Con la red virtual administrada habilitada, el arranque en frío del proceso de cálculo tarda unos minutos y la transferencia de datos no puede comenzar hasta que este se complete. Si tus pipelines contienen múltiples actividades de copia secuencial, o tienes muchas actividades de copia en un bucle foreach y no puedes ejecutarlas todas en paralelo, puedes habilitar un valor de tiempo de vida (TTL) en la configuración de ejecución de integración de Azure. Especificar un valor TTL y los números de unidad de integración de datos (DIU) necesarios para la actividad de copia mantiene los cálculos correspondientes activos durante un periodo de tiempo tras completar la ejecución. Si una nueva actividad de copia comienza durante el tiempo TTL, reutiliza los cálculos existentes y el tiempo de arranque se reduce considerablemente. Tras completar la segunda actividad de copia, los cálculos permanecen activos de nuevo durante el tiempo TTL. Puedes elegir entre los tamaños de cálculo predefinidos, que van desde pequeños hasta medianos o grandes. Alternativamente, puedes personalizar el tamaño del cómputo según tus necesidades y necesidades en tiempo real.

Data Factory utiliza el DIU que seleccionas en TTL para ejecutar todas las actividades de copia. El tamaño de la DIU no se escala automáticamente según las necesidades reales, así que tienes que elegir suficientes DIUs.

Canalización y actividad externa

Al igual que en copy, puedes adaptar el tamaño de cómputo y la duración TTL según tus necesidades. Sin embargo, a diferencia de copy, no puedes desactivar el pipeline y el TTL externo.

Utiliza la siguiente tabla como referencia para determinar el número óptimo de nodos para ejecutar tanto pipelines como actividades externas.

Comparación de diferentes TTL

La siguiente tabla muestra las diferencias entre los tipos de TTL:

Creación de una red virtual administrada a través de Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Conexión saliente

Servicios y orígenes de datos admitidos

Los siguientes servicios tienen compatibilidad nativa con los puntos de conexión privados. Se pueden conectar a través de un vínculo privado desde una red virtual administrada de Data Factory:

• Azure Databricks
• Azure Functions (plan Premium)
• Azure Key Vault
• Azure Machine Learning
• Azure Private Link
• Microsoft Purview

Para el soporte de fuentes de datos, puede consultar la introducción al conector. Puede acceder a todos los orígenes de datos admitidos por Data Factory a través de una red pública.

Orígenes de datos locales

Para obtener información sobre cómo acceder a orígenes de datos locales desde una red virtual administrada mediante un punto de conexión privado, consulte Access local SQL Server desde una red virtual administrada de Data Factory mediante un punto de conexión privado.

Comunicaciones salientes mediante el punto de conexión público desde una red virtual administrada de Data Factory

Se abren todos los puertos para las comunicaciones salientes.

Limitaciones y problemas conocidos

Creación de servicios vinculados para Key Vault

Cuando se crea un servicio vinculado para Key Vault, no existe ninguna referencia al entorno de ejecución de integración. Por lo tanto, no puede crear puntos de conexión privados durante la creación del servicio vinculado de Key Vault. Pero al crear un servicio vinculado para almacenes de datos que hacen referencia a Key Vault, y este servicio vinculado hace referencia a un entorno de ejecución de integración con una red virtual administrada habilitada, puede crear un punto de conexión privado para Key Vault durante su creación.

• Test connection: Esta operación para un servicio vinculado de Key Vault solo valida el formato de dirección URL, pero no realiza ninguna operación de red.
• Using private endpoint: Esta columna siempre se muestra como en blanco aunque cree un punto de conexión privado para Key Vault.

Creación de servicios vinculados de Azure HDInsight

La columna Uso del punto de conexión privado siempre se muestra en blanco, incluso si crea un punto de conexión privado para HDInsight usando un servicio de vínculo privado y un equilibrador de carga con reenvío de puertos.

Nombre de dominio totalmente calificado (FQDN) de Azure HDInsight

Si creaste un servicio personalizado de enlace privado, el FQDN debería terminar con azurehdinsight.net sin iniciar el enlace privado en el nombre de dominio cuando crees un endpoint privado. Si usas privatelink en el nombre de dominio, asegúrate de que sea válido y que puedas resolverlo.

Restricciones de acceso en una red virtual administrada con puntos de conexión privados

No puedes acceder a cada recurso PaaS cuando ambas partes están expuestas a un enlace privado y un punto final privado. Este problema es una limitación conocida del enlace privado y de los puntos finales privados.

Por ejemplo, tiene un punto de conexión privado administrado para la cuenta de almacenamiento A. También puede acceder a la cuenta de almacenamiento B a través de la red pública en la misma red virtual administrada. Pero cuando la cuenta de almacenamiento B tiene una conexión de punto de conexión privado desde otra red virtual administrada o red virtual del cliente, no puede acceder a la cuenta de almacenamiento B de la red virtual administrada a través de la red pública.

Contenido relacionado

Vea los siguientes tutoriales:

• Creación de una canalización de copia mediante una red virtual administrada y puntos de conexión privados
• Crear una canalización de flujo de datos de mapeo mediante una red virtual administrada y endpoints privados