Azure Data Factory réseau géré virtuel

S'APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Cet article explique les réseaux virtuels managés et les points de terminaison privés managés dans Azure Data Factory.

Réseau virtuel managé

Lorsque vous créez un runtime d’intégration Azure au sein d’un réseau virtuel managé Data Factory, le runtime d’intégration est approvisionné avec le réseau virtuel managé. Il utilise des points de terminaison privés pour se connecter de manière sécurisée aux magasins de données pris en charge.

La création d’un runtime d’intégration au sein d’un réseau virtuel managé garantit l’isolation et la sécurisation du processus d’intégration des données.

Avantages de l’utilisation d’un réseau virtuel managé :

• Avec un réseau virtuel managé, vous pouvez déplacer la charge liée à la gestion du réseau virtuel vers Data Factory. Vous n’avez pas besoin de créer un sous-réseau pour un runtime d’intégration qui pourrait finalement utiliser de nombreuses adresses IP privées à partir de votre réseau virtuel et nécessiter une planification préalable de l’infrastructure réseau.
• Vous n'avez pas besoin d'une connaissance approfondie du réseau Azure pour faire des intégrations de données en toute sécurité. Au lieu de cela, commencer avec l’extraction, la transformation et le chargement sécurisés (ETL) est beaucoup plus simple pour les ingénieurs des données.
• Un réseau virtuel managé ainsi que les points de terminaison privés managés assurent une protection contre l’exfiltration des données.

L’usine de données ne prend en charge le réseau virtuel géré que dans la même région que l’usine de données.

Il existe deux façons d’activer le réseau virtuel managé dans votre fabrique de données :

1. Activez le réseau virtuel managé lors de la création d’une fabrique de données.

2. Activez le réseau virtuel managé dans votre runtime d’intégration.

Points de terminaison privés managés

Les terminaux privés gérés sont des points de terminaison privés que vous créez dans le réseau virtuel géré par Data Factory qui établissent un lien privé vers les ressources Azure. Data Factory gère ces points de terminaison privés pour vous.

Data Factory prend en charge les liaisons privées. Vous pouvez utiliser Azure Private Link pour accéder à des services Azure platform as a service (PaaS) comme stockage Azure, Azure Cosmos DB et Azure Synapse Analytics.

Lorsque vous utilisez une liaison privée, le trafic entre vos magasins de données et votre réseau virtuel managé traverse entièrement le réseau principal Microsoft. Une liaison privée assure une protection contre les risques liés à l’exfiltration des données. Vous établissez une liaison privée vers une ressource en créant un point de terminaison privé.

Un point de terminaison privé utilise une adresse IP privée dans le réseau virtuel géré pour y intégrer le service. Les points de terminaison privés sont mappés à une ressource spécifique dans Azure et non à l’ensemble du service. Vous pouvez limiter la connectivité à une ressource spécifique approuvée par votre organisation. Pour plus d’informations, consultez Liaisons privées et points de terminaison privés.

1. Veillez à activer le réseau virtuel managé dans votre fabrique de données.

2. Créez un nouveau point de terminaison privé géré dans Managed Hub.

   

3. Lorsque vous créez un point de terminaison privé géré dans Data Factory, vous créez une connexion de terminaison privé en état En attente . Cet état lance un flux de travail d’approbation. Le propriétaire de la ressource de liaison privée est responsable de l’approbation ou du refus de la connexion.

   

4. Si le propriétaire approuve la connexion, la liaison privée est établie. Sinon, le lien privé n’est pas établi. Dans les deux cas, le point de terminaison privé managé est mis à jour avec l’état de la connexion.

   

Seule une instance de point de terminaison privé managé dans un état approuvé peut envoyer du trafic vers une ressource de liaison privée spécifique.

Création interactive

Les capacités d’authoring interactif supportent des fonctionnalités telles que la connexion aux tests, la navigation dans la liste des dossiers et des tableaux, l’obtention de schémas et l’aperçu des données. Vous pouvez activer l’authoring interactif lorsque vous créez ou modifiez un runtime d’intégration Azure dans un réseau virtuel géré par Azure Data Factory. Le service backend préalloue le calcul pour des fonctionnalités d’authoring interactives. Sinon, le calcul est alloué à chaque opération interactive, ce qui prend plus de temps. Le temps de vie (TTL) pour l’authoring interactif est de 60 minutes par défaut, ce qui signifie qu’il est automatiquement désactivé 60 minutes après la dernière opération d’authoring interactive. Vous pouvez modifier la valeur TTL selon vos besoins.

Durée de vie

Activité de copie

Par défaut, chaque activité de copie génère un nouveau calcul basé sur la configuration de l’activité de copie. Avec le réseau virtuel géré activé, le temps de démarrage du calcul à froid prend quelques minutes, et le mouvement des données ne peut commencer qu’une fois terminé. Si vos pipelines contiennent plusieurs activités de copie séquentielles, ou si vous avez de nombreuses activités de copie dans une boucle foreach et ne pouvez pas toutes les exécuter en parallèle, vous pouvez activer une valeur de temps de vie (TTL) dans la configuration d'exécution d'intégration Azure. Spécifier une valeur TTL et les numéros d’unité d’intégration de données (DIU) nécessaires à l’activité de copie permet de maintenir les calculs correspondants actifs pendant un certain temps après l’exécution terminée. Si une nouvelle activité de copie commence pendant le temps TTL, elle réutilise les calculs existants, et le temps de démarrage est fortement réduit. Après la fin de la deuxième activité de copie, les calculs restent actifs pour le temps TTL. Vous pouvez choisir parmi les tailles de calcul prédéfinies, allant de petites à moyennes en passant par grandes. Sinon, vous pouvez personnaliser la taille du calcul en fonction de vos besoins et de vos besoins en temps réel.

Data Factory utilise la DIU que vous sélectionnez en TTL pour exécuter toutes les activités de copie. La taille du DIU n’est pas automatiquement mise à l’échelle selon les besoins réels, donc il faut choisir suffisamment de DIU.

Pipeline et activité externe

Comme pour Copy, vous pouvez adapter la taille de calcul et la durée TTL selon vos besoins. Cependant, contrairement à Copy, vous ne pouvez pas désactiver le pipeline et le TTL externe.

Utilisez le tableau suivant comme référence pour déterminer le nombre optimal de nœuds pour exécuter à la fois des pipelines et des activités externes.

Comparaison de différentes TTL

Le tableau suivant liste les différences entre les types de TTL :

Créer un réseau virtuel managé via Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Connexion sortante

Sources de données et services pris en charge

Les services suivants bénéficient d’une prise en charge des points de terminaison privés natifs. Ils peuvent être connectés via une liaison privée à partir d’un réseau virtuel managé Data Factory :

• Azure Databricks
• Azure Functions (plan Premium)
• Azure Key Vault
• Azure Machine Learning
• Azure Private Link
• Microsoft Purview

Pour la prise en charge des sources de données, vous pouvez consulter la vue d’ensemble du connecteur. Vous pouvez accéder à toutes les sources de données prises en charge par Data Factory via un réseau public.

Sources de données locales

Pour savoir comment accéder aux sources de données locales à partir d’un réseau virtuel géré à l’aide d’un point de terminaison privé, consultez Accéder à SQL Server sur site à partir d’un réseau virtuel géré par Data Factory via un point de terminaison privé.

Communications sortantes via un point de terminaison public à partir d’un réseau virtuel géré par Data Factory

Tous les ports sont ouverts pour les communications sortantes.

Limitations et problèmes connus

Création de service lié pour Key Vault

Lorsque vous créez un service lié pour Key Vault, il n'existe aucune référence de runtime d'intégration. Par conséquent, vous ne pouvez pas créer de points de terminaison privés lors de la création du service lié de Key Vault. Toutefois, lorsque vous créez un service lié pour les magasins de données qui référencent Key Vault, et que ce service lié fait référence à un runtime d’intégration avec un réseau virtuel managé activé, vous pouvez créer un point de terminaison privé pour Key Vault lors de la création.

• Test connection : Cette opération pour un service lié de Key Vault valide uniquement le format d'URL, mais n'effectue aucune opération réseau.
• Using private endpoint : Cette colonne est toujours affichée comme vide même si vous créez un point de terminaison privé pour Key Vault.

Création de service lié pour Azure HDInsight

La colonne Utilisation d’un point de terminaison privé s’affiche toujours vide, même si vous créez un point de terminaison privé pour HDInsight en utilisant un service de liaison privée et un équilibreur de charge avec transfert de port.

Nom de domaine pleinement qualifié (FQDN) d’Azure HDInsight

Si vous avez créé un service de lien privé personnalisé, le FQDN devrait se terminer par azurehdinsight.net sans lien privé en tête dans le nom de domaine lorsque vous créez un point de terminaison privé. Si vous utilisez privatelink dans le nom de domaine, assurez-vous qu’il est valide et que vous pouvez le résoudre.

Contraintes d’accès dans un réseau virtuel managé avec des points de terminaison privés

Vous ne pouvez pas accéder à chaque ressource PaaS lorsque les deux parties sont exposées à un lien privé et à un point de terminaison privé. Ce problème est une limitation connue des liens privés et des terminaux privés.

Par exemple, vous disposez d’un point de terminaison privé managé pour le compte de stockage A. Vous pouvez également accéder au compte de stockage B via un réseau public dans le même réseau virtuel managé. Toutefois, lorsque le compte de stockage B dispose d’une connexion de point de terminaison privé à partir d’un autre réseau virtuel managé ou d’un réseau virtuel client, vous ne pouvez pas accéder au compte de stockage B dans votre réseau virtuel managé via un réseau public.

Contenu connexe

Consultez les didacticiels suivants :

• Générer un pipeline de copie à l’aide d’un réseau virtuel managé et de points de terminaison privés
• Générer un pipeline de flux de données de mappage à l’aide d’un réseau virtuel managé et de points de terminaison privés