Azure Data Factory hanterade virtuella nätverk

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

I den här artikeln beskrivs hanterade virtuella nätverk och hanterade privata slutpunkter i Azure Data Factory.

Hanterat virtuellt nätverk

När du skapar en Azure integreringskörning i ett hanterat virtuellt Data Factory-nätverk etableras integreringskörningen med det hanterade virtuella nätverket. Den använder privata slutpunkter för att på ett säkert sätt ansluta till datalager som stöds.

Genom att skapa en integreringskörning i ett hanterat virtuellt nätverk är dataintegreringsprocessen isolerad och säker.

Fördelar med att använda ett hanterat virtuellt nätverk:

• Med ett hanterat virtuellt nätverk kan du avlasta bördan med att hantera det virtuella nätverket till Data Factory. Du behöver inte skapa ett undernät för en integrationskörning som så småningom kan använda många privata IP-adresser från ditt virtuella nätverk och som kräver tidigare planering av nätverksinfrastrukturen.
• Du behöver inte djup kunskap om Azure-nätverk för att säkert kunna göra dataintegrationer. Istället är det mycket enklare för dataingenjörer att komma igång med Secure Extract, Transform, and Load (ETL).
• Ett hanterat virtuellt nätverk tillsammans med hanterade privata slutpunkter skyddar mot dataexfiltrering.

Datafabriken stöder det hanterade virtuella nätverket endast i samma region som datafabriken.

Det finns två sätt att aktivera hanterade virtuella nätverk i datafabriken:

1. Aktivera hanterat virtuellt nätverk när datafabriken skapas.

2. Aktivera hanterat virtuellt nätverk i integrationskörning.

Hanterade privata slutpunkter

Hanterade privata endpoints är privata endpoints du skapar i Data Factorys hanterade virtuella nätverk som etablerar en privat länk till Azure-resurser. Data Factory hanterar dessa privata endpoints åt dig.

Data Factory stöder privata länkar. Du kan använda Azure Private Link för att komma åt Azure Platform as a Service (PaaS)-tjänster som Azure Storage, Azure Cosmos DB och Azure Synapse Analytics.

När du använder en privat länk passerar trafiken mellan dina datalager och det hanterade virtuella nätverket helt över Microsoft stamnätverk. Privat länk skyddar mot dataexfiltreringsrisker. Du upprättar en privat länk till en resurs genom att skapa en privat slutpunkt.

En privat endpoint använder en privat IP-adress i det hanterade virtuella nätverket för att föra in tjänsten i den. Privata slutpunkter mappas till en specifik resurs i Azure och inte hela tjänsten. Du kan begränsa anslutningen till en specifik resurs som din organisation godkänner. Mer information finns i Privata länkar och privata slutpunkter.

1. Se till att du aktiverar ett hanterat virtuellt nätverk i datafabriken.

2. Skapa en ny hanterad privat endpoint i Manage hub.

   

3. När du skapar en hanterad privat endpoint i Data Factory skapar du en privat endpoint-anslutning i ett Väntande-tillstånd . Detta tillstånd initierar ett godkännandeflöde. Resursägaren för den privata länken ansvarar för att godkänna eller avvisa anslutningen.

   

4. Om ägaren godkänner anslutningen upprättas den privata länken. Annars etableras inte den privata länken. I båda fallen uppdateras den hanterade privata slutpunkten med anslutningens status.

   

Endast en hanterad privat slutpunkt i ett godkänt tillstånd kan skicka trafik till en specifik privat länkresurs.

Interaktiv skapande

Interaktiva författarfunktioner stödjer funktioner som testanslutning, bläddra i mapplista och tabelllista, hämta schema och förhandsgranska data. Du kan aktivera interaktiv authoring när du skapar eller redigerar en Azure-integrationsruntime i ett virtuellt nätverk som hanteras av Azure Data Factory. Backend-tjänsten förallokerar beräkning för interaktiva författarfunktioner. Annars tilldelas beräkningen varje gång du utför en interaktiv operation, vilket tar längre tid. Tiden att leva (TTL) för interaktiv authoring är som standard 60 minuter, vilket innebär att den automatiskt inaktiveras 60 minuter efter den senaste interaktiva authoring-operationen. Du kan ändra TTL-värdet efter dina behov.

Tidsgräns

Kopieringsaktivitet

Som standard startar varje kopieringsaktivitet en ny beräkning baserat på konfigurationen av kopieringsaktiviteten. Med hanterat virtuellt nätverk aktiverat tar cold compute-starttiden några minuter, och datarörelsen kan inte starta förrän den är klar. Om dina pipelines innehåller flera sekventiella kopieringsaktiviteter, eller om du har många kopieringsaktiviteter i en foreach-loop och inte kan köra alla parallellt, kan du aktivera ett time to live (TTL)-värde i Azure-integrationskonfigurationen. Att specificera ett TTL-värde och de dataintegrationsenhetsnummer (DIU) som krävs för kopieringsaktiviteten håller motsvarande beräkningar vid liv under en tid efter att körningen är klar. Om en ny kopieringsaktivitet startar under TTL-tiden återanvänder den befintliga beräkningar, och starttiden minskar avsevärt. Efter att den andra kopieringsaktiviteten är klar förblir beräkningarna levande igen under TTL-tiden. Du kan välja mellan fördefinierade beräkningsstorlekar, från små till medelstora till stora. Alternativt kan du anpassa beräkningsstorleken baserat på dina behov och realtidsbehov.

Data Factory använder den DIU du väljer i TTL för att köra alla kopieringsaktiviteter. Storleken på DIU:n är inte automatiskt skalad efter faktiska behov, så du måste välja tillräckligt många DIU:er.

Pipeline och extern aktivitet

Precis som med copy kan du anpassa beräkningsstorlek och TTL-duration efter dina behov. Men till skillnad från copy kan du inte inaktivera pipeline och extern TTL.

Använd följande tabell som referens för att bestämma det optimala antalet noder för att köra både pipelines och externa aktiviteter.

Jämförelse av olika TTL

Följande tabell listar skillnaderna mellan typerna av TTL:

Skapa ett hanterat virtuellt nätverk via Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Utgående anslutning

Datakällor och tjänster som stöds

Följande tjänster har inbyggt stöd för privata slutpunkter. De kan anslutas via en privat länk från ett hanterat virtuellt Data Factory-nätverk:

• Azure Databricks
• Azure Functions (Premium-plan)
• Azure Key Vault
• Azure Machine Learning
• Azure Private Link
• Microsoft Purview

För att få information om stöd för datakällor kan du läsa anslutningsöversikten. Du kan komma åt alla datakällor som stöds av Data Factory via ett offentligt nätverk.

Lokala datakällor

Mer information om hur du kommer åt lokala datakällor från ett hanterat virtuellt nätverk med hjälp av en privat slutpunkt finns i Access on-premises SQL Server from a Data Factory managed virtual network using a private endpoint.

Utgående kommunikation via offentlig slutpunkt från ett hanterat virtuellt Data Factory-nätverk

Alla portar öppnas för utgående kommunikation.

Begränsningar och kända problem

Skapa länkad tjänst för Key Vault

När du skapar en länkad tjänst för Key Vault finns det ingen referens för integration runtime. Därför kan du inte skapa privata slutpunkter när länkade tjänster skapas av Key Vault. Men när du skapar en länkad tjänst för datalager som refererar till Key Vault, och den här länkade tjänsten refererar till en integreringskörning med hanterat virtuellt nätverk aktiverat, kan du skapa en privat slutpunkt för Key Vault när du skapar.

• Testanslutning: Den här åtgärden för en länkad tjänst i Key Vault validerar bara URL-formatet men utför ingen nätverksåtgärd.
• Använder privat slutpunkt: Den här kolumnen visas alltid som tom även om du skapar en privat slutpunkt för Key Vault.

Skapande av länkad tjänst för Azure HDInsight

Kolumnen Använda privat slutpunkt visas alltid som tom även om du skapar en privat slutpunkt för HDInsight med hjälp av en privat länktjänst och en lastbalanserare med portvidarebefordring.

Fullt kvalificerat domännamn (FQDN) för Azure HDInsight

Om du har skapat en egen privat länktjänst bör FQDN sluta med azurehdinsight.net utan ledande privatlänk i domännamnet när du skapar en privat endpoint. Om du använder privatlänk i domännamn, se till att det är giltigt och att du kan lösa det.

Åtkomstbegränsningar i hanterat virtuellt nätverk med privata slutpunkter

Du kan inte komma åt varje PaaS-resurs när båda sidor är exponerade för privat länk och en privat endpoint. Detta problem är en känd begränsning hos privata länkar och privata slutpunkter.

Du har till exempel en hanterad privat slutpunkt för lagringskonto A. Du kan också komma åt lagringskontoT B via det offentliga nätverket i samma hanterade virtuella nätverk. Men när lagringskonto B har en privat slutpunktsanslutning från ett annat hanterat virtuellt nätverk eller ett virtuellt kundnätverk kan du inte komma åt lagringskontoT B i ditt hanterade virtuella nätverk via det offentliga nätverket.

Relaterat innehåll

Se följande handledningar:

• Skapa en kopieringspipeline med hanterade virtuella nätverk och privata slutpunkter
• Skapa en pipeline för mappning av dataflöden med hjälp av hanterat virtuellt nätverk och privata slutpunkter