Azure Data Factory beheerd virtueel netwerk

Van toepassing op: Azure Data Factory Azure Synapse Analytics

In dit artikel worden beheerde virtuele netwerken en beheerde privé-eindpunten in Azure Data Factory uitgelegd.

Beheerd virtueel netwerk

Wanneer u een Azure integration runtime maakt in een beheerd virtueel data factory-netwerk, wordt de integratieruntime ingericht met het beheerde virtuele netwerk. Het maakt gebruik van privé-eindpunten om veilig verbinding te maken met ondersteunde gegevensarchieven.

Het maken van een integratieruntime in een beheerd virtueel netwerk zorgt ervoor dat het proces voor gegevensintegratie geïsoleerd en veilig is.

Voordelen van het gebruik van een beheerd virtueel netwerk:

• Met een beheerd virtueel netwerk kunt u de last van het beheer van het virtuele netwerk naar Data Factory offloaden. U hoeft geen subnet te maken voor een integratieruntime die uiteindelijk veel privé-IP-adressen van uw virtuele netwerk kan gebruiken en waarvoor voorafgaande planning van de netwerkinfrastructuur is vereist.
• Je hebt geen diepgaande kennis van Azure-netwerken nodig om data-integraties veilig te doen. In plaats daarvan is het voor data engineers veel eenvoudiger om te beginnen met secure extract, transform, and load (ETL).
• Een beheerd virtueel netwerk, samen met beheerde privé-eindpunten, beschermt tegen gegevensexfiltratie.

De datafabriek ondersteunt het beheerde virtuele netwerk alleen in dezelfde regio als de datafabriek.

Er zijn twee manieren om een beheerd virtueel netwerk in te schakelen in uw data factory:

1. Schakel het beheerde virtuele netwerk in tijdens het maken van de data factory.

2. Schakel beheerd virtueel netwerk in in Integration Runtime.

Beheerde privé-eindpunten

Beheerde private endpoints zijn private endpoints die je aanmaakt in het door Data Factory beheerde virtuele netwerk en die een privéverbinding met Azure-resources tot stand brengen. Data Factory beheert deze private endpoints voor u.

Data Factory ondersteunt privékoppelingen. Je kunt Azure Private Link gebruiken om toegang te krijgen tot Azure platform as a service (PaaS) diensten zoals Azure Storage, Azure Cosmos DB en Azure Synapse Analytics.

Wanneer u een privékoppeling gebruikt, loopt verkeer tussen uw gegevensarchieven en het beheerde virtuele netwerk volledig over het Microsoft backbone-netwerk. Private Link beschermt tegen risico's van gegevensexfiltratie. U kunt een privé-koppeling naar een resource tot stand brengen door een privé-eindpunt te maken.

Een privé-endpoint gebruikt een privé IP-adres in het beheerde virtuele netwerk om de dienst erin te brengen. Privé-eindpunten worden toegewezen aan een specifieke resource in Azure en niet aan de hele service. Je kunt de connectiviteit beperken tot een specifieke bron die je organisatie goedkeurt. Zie Privékoppelingen en privé-eindpunten voor meer informatie.

1. Zorg ervoor dat u een beheerd virtueel netwerk inschakelt in uw data factory.

2. Maak een nieuw beheerd privé-endpoint aan in de Manage hub.

   

3. Wanneer je een beheerd privé-endpoint aanmaakt in Data Factory, maak je een private endpoint-verbinding in een Pending state. Deze staat start een goedkeuringsworkflow. De eigenaar van de private link-resource is verantwoordelijk voor het goedkeuren of afwijzen van de verbinding.

   

4. Als de eigenaar de verbinding goedkeurt, wordt de privé-koppeling tot stand gebracht. Anders wordt de privéverbinding niet tot stand gebracht. In beide gevallen wordt het beheerde privé-eindpunt bijgewerkt met de status van de verbinding.

   

Alleen een beheerd privé-eindpunt met een goedgekeurde status kan verkeer verzenden naar een specifieke private link-resource.

Interactieve creatie

Interactieve authoringmogelijkheden ondersteunen functionaliteiten zoals testverbinding, mappen en tabel doorzoeken, schema ophalen en preview-gegevens. Je kunt interactieve authoring inschakelen wanneer je een Azure-integratieruntime maakt of bewerkt in een door Azure Data Factory beheerd virtueel netwerk. De backend-service wijst compute vooraf toe voor interactieve authoring-functionaliteiten. Anders wordt de rekenkracht toegewezen telkens wanneer je een interactieve operatie uitvoert, wat meer tijd kost. De time to live (TTL) voor interactieve authoring is standaard 60 minuten, wat betekent dat het automatisch wordt uitgeschakeld 60 minuten na de laatste interactieve authoringbewerking. Je kunt de TTL-waarde aanpassen aan jouw behoeften.

Levensduur

Kopieeractiviteit

Standaard start elke kopieeractiviteit een nieuwe berekening op basis van de configuratie van de kopieeractiviteit. Met beheerd virtueel netwerk ingeschakeld duurt de opstarttijd van koude rekenwerken enkele minuten en kan de dataverdeling pas beginnen als deze voltooid is. Als je pipelines meerdere opeenvolgende kopieeractiviteiten bevatten, of als je meerdere kopieeractiviteiten in een foreach-lus hebt en ze niet allemaal parallel kunt uitvoeren, kun je een time to live (TTL) waarde inschakelen in de Azure-integratie runtime-configuratie. Het specificeren van een TTL-waarde en de data integration unit (DIU)-nummers die nodig zijn voor de kopieeractiviteit houdt de bijbehorende berekeningen nog een tijd na voltooiing van de uitvoering in leven. Als een nieuwe kopieeractiviteit start tijdens de TTL-tijd, hergebruikt deze de bestaande berekeningen en wordt de opstarttijd sterk verkort. Nadat de tweede kopieeractiviteit is voltooid, blijven de berekeningen weer actief gedurende de TTL-tijd. Je kunt kiezen uit vooraf gedefinieerde rekengroottes, variërend van klein tot medium tot groot. Je kunt de rekenkracht ook aanpassen op basis van je eisen en realtime behoeften.

Data Factory gebruikt de DIU die je in TTL selecteert om alle kopieeractiviteiten uit te voeren. De grootte van de DIU wordt niet automatisch geschaald op basis van de werkelijke behoeften, dus je moet genoeg DIU's kiezen.

Pijplijn en externe activiteit

Net als bij copy kun je de rekengrootte en TTL-duur aanpassen aan je wensen. In tegenstelling tot copy kun je echter de pipeline en externe TTL niet uitschakelen.

Gebruik de volgende tabel als referentie om het optimale aantal knooppunten te bepalen voor het uitvoeren van zowel pijplijnen als externe activiteiten.

Vergelijking van verschillende TTL

De volgende tabel geeft de verschillen tussen de typen TTL weer:

Een beheerd virtueel netwerk maken via Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Uitgaande verbindingen

Ondersteunde gegevensbronnen en -services

De volgende services hebben systeemeigen ondersteuning voor privé-eindpunten. Ze kunnen worden verbonden via een privékoppeling vanuit een door Data Factory beheerd virtueel netwerk:

• Azure Databricks
• Azure Functions (Premium-abonnement)
• Azure Key Vault
• Azure Machine Learning
• Azure Private Link
• Microsoft Purview

Voor de ondersteuning van gegevensbronnen kunt u het overzicht van de connector raadplegen. U hebt toegang tot alle gegevensbronnen die door Data Factory worden ondersteund via een openbaar netwerk.

On-premises gegevensbronnen

Zie Access on-premises SQL Server vanuit een door Data Factory beheerd virtueel netwerk met behulp van een privé-eindpunt voor meer informatie over het openen van on-premises gegevensbronnen vanuit een beheerd virtueel netwerk van Data Factory met behulp van een privé-eindpunt.

Uitgaande communicatie via een openbaar eindpunt vanuit een door Data Factory beheerd virtueel netwerk

Alle poorten worden geopend voor uitgaande communicatie.

Beperkingen en bekende problemen

Gekoppelde service maken voor Key Vault

Wanneer u een gekoppelde service voor Key Vault maakt, is er geen naslaginformatie over integration runtime. U kunt dus geen privé-eindpunten maken tijdens het maken van een gekoppelde service van Key Vault. Wanneer u echter een gekoppelde service maakt voor gegevensarchieven die verwijst naar Key Vault en deze gekoppelde service verwijst naar een integratieruntime waarvoor een beheerd virtueel netwerk is ingeschakeld, kunt u tijdens het maken een privé-eindpunt maken voor Key Vault.

• Test connection: Deze bewerking voor een gekoppelde service van Key Vault valideert alleen de URL-indeling, maar voert geen netwerkbewerking uit.
• Gebruik van privé-eindpunt: Deze kolom wordt altijd leeg vertoond, zelfs als u een privé-eindpunt voor Key Vault maakt.

Gekoppelde service maken van Azure HDInsight

De kolom Privé-eindpunt gebruiken wordt altijd als leeg weergegeven, zelfs als u een privé-eindpunt voor HDInsight maakt met behulp van een private link-service en een load balancer met port forwarding.

Volledig gekwalificeerde domeinnaam (FQDN) van Azure HDInsight

Als je een aangepaste private link-service hebt gemaakt, zou de FQDN moeten eindigen met azurehdinsight.net zonder leidende privatelink in domeinnaam wanneer je een privé-endpoint aanmaakt. Als je privatelink gebruikt in een domeinnaam, zorg dan dat het geldig is en dat je het kunt oplossen.

Toegangsbeperkingen in beheerd virtueel netwerk met privé-eindpunten

Je kunt geen toegang krijgen tot elke PaaS-bron wanneer beide partijen blootgesteld zijn aan een private link en een privé-endpoint. Dit probleem is een bekende beperking van private links en private endpoints.

U hebt bijvoorbeeld een beheerd privé-eindpunt voor opslagaccount A. U kunt ook toegang krijgen tot opslagaccount B via een openbaar netwerk in hetzelfde beheerde virtuele netwerk. Maar wanneer opslagaccount B een privé-eindpuntverbinding heeft van een ander beheerd virtueel netwerk of virtueel netwerk van de klant, hebt u geen toegang tot opslagaccount B in uw beheerde virtuele netwerk via een openbaar netwerk.

Gerelateerde inhoud

Zie de volgende handleidingen:

• Een kopieerpijplijn maken met behulp van een beheerd virtueel netwerk en privé-eindpunten
• Gegevensstroom voor mapping bouwen gebruikmakend van beheerd virtueel netwerk en privé-eindpunten