Kopiera data från eller till MongoDB genom att använda Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur man använder Copy Activity i Azure Data Factory och Synapse Analytics-pipelines för att kopiera data från och till en MongoDB-databas. Den bygger på översiktsartikeln om kopieringsaktivitet som ger en generell överblick över kopieringsaktiviteten.

Funktioner som stöds

Denna MongoDB-kontakt stöder följande funktioner:

(1) Azure integration runtime (2) Lokalt installerad integrationskörning

En lista över datalager som stöds som källor och mål finns i tabellen Stödda datalager.

Mer specifikt stöder den här MongoDB-anslutningsappen versioner upp till 4.2. Om ditt arbete kräver versioner som är nyare än 4.2 bör du överväga att använda MongoDB Atlas med MongoDB Atlas-anslutningsappen, som ger mer omfattande support och funktioner.

Förutsättningar

Om ditt datalager finns i ett lokalt nätverk, ett Azure virtuellt nätverk eller Amazon Virtual Private Cloud måste du konfigurera en självhostad integrationskörning för att ansluta till den.

Om ditt datalager är en hanterad molndatatjänst kan du använda Azure Integration Runtime. Om åtkomsten är begränsad till IP-adresser som är godkända i brandväggsreglerna kan du lägga till Azure Integration Runtime IP-adresser i listan över tillåtna.

Du kan också använda funktionen hanterad virtuell nätverksintegrering i Azure Data Factory för att få åtkomst till det lokala nätverket utan att installera och konfigurera en integrationskörning med egen värd.

Mer information om de nätverkssäkerhetsmekanismer och alternativ som stöds av Data Factory finns i Strategier för dataåtkomst.

Komma igång

Om du vill utföra kopieringsaktiviteten med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Kopiera data-verktyget
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• mall för Azure Resource Manager

Skapa en länkad tjänst till MongoDB genom att använda UI:t

Använd följande steg för att skapa en länkad tjänst till MongoDB i användargränssnittet för Azure portalen.

1. Bläddra till fliken Administrera i din Azure Data Factory eller Synapse workspace och välj Linked Services. Välj sedan Nytt:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter MongoDB och välj MongoDB-anslutningsappen.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutning

Följande avsnitt innehåller information om egenskaper som används för att definiera Data Factory-entiteter som är specifika för MongoDB-anslutningsappen.

Länkade tjänstegenskaper

Följande tabell listar de stödda egenskaperna för en MongoDB-länkad tjänst:

Exempel:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datamängd

För en fullständig lista över sektioner och egenskaper som du kan använda för att definiera dataset, se Datasets and linked services. Följande tabell listar de stödda egenskaperna för en MongoDB-datamängd:

Exempel:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Egenskaper av kopieringsaktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som stöds av MongoDB-källa och mottagare.

MongoDB som källa

Avsnittet källa i kopieringsaktiviteten stöder följande egenskaper:

Exempel:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB som mottagare

Avsnittet sink i Copy Activity har stöd för följande egenskaper:

Exempel

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importera och exportera JSON-dokument

Använd den här MongoDB-anslutningen för att enkelt:

• Kopiera dokument mellan två MongoDB-samlingar som de är.
• Importera JSON-dokument från olika källor till MongoDB, bland annat från Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Store och andra filbaserade arkiv som stöds.
• Exportera JSON-dokument från en MongoDB-samling till olika filbaserade arkiv.

Om du vill uppnå en sådan schemaagnostisk kopia hoppar du över avsnittet "struktur" (kallas även schema) i datauppsättningen och schemamappningen i kopieringsaktiviteten.

Datatypsmappning för MongoDB

När du kopierar data från MongoDB använder tjänsten följande mappningar från MongoDB-datatyper till interimistiska datatyper. För mer information om hur kopieringsaktivitet mappar källschemat och datatypen till sinken, se Schema och datatypmappningar.

MongoDB-anslutningslivscykel och uppgradering

I följande tabell visas versionssteget och ändringsloggarna för olika versioner av MongoDB-anslutningsappen:

Uppgradera den länkade MongoDB-tjänsten

Skapa en ny Länkad MongoDB-tjänst och konfigurera den genom att referera till länkade tjänstegenskaper.

Relaterat innehåll

För en lista över databutiker som stöds som källor och mottagare av kopieringsaktiviteten, se stödda databutiker.