Kopieer data van of naar MongoDB met behulp van Azure Data Factory of Synapse Analytics

Van toepassing op: Azure Data Factory Azure Synapse Analytics

Dit artikel beschrijft hoe je de Copy Activity in Azure Data Factory en Synapse Analytics pijplijnen kunt gebruiken om data te kopiëren van en naar een MongoDB-database. Het is gebaseerd op het artikel 'Overzicht kopieeractiviteit', waarin een algemeen overzicht van de kopieeractiviteit wordt gegeven.

Ondersteunde mogelijkheden

Deze MongoDB-connector ondersteunt de volgende mogelijkheden:

(1) Azure Integration Runtime (2) Zelf-gehoste Integration Runtime

Voor een lijst met gegevensopslaglocaties die als bronnen en doelen worden ondersteund, raadpleegt u de tabel Ondersteunde gegevensopslaglocaties.

Deze MongoDB-connector ondersteunt versies tot en met 4.2. Als voor uw werk nieuwere versies dan 4.2 zijn vereist, kunt u MongoDB Atlas gebruiken met de MongoDB Atlas-connector, die uitgebreidere ondersteuning en functies biedt.

Vereisten

Als uw gegevensarchief zich in een on-premises netwerk, een Azure virtueel netwerk of Amazon Virtual Private Cloud bevindt, moet u een zelf-hostende Integration Runtime configureren om er verbinding mee te maken.

Als uw gegevensarchief een beheerde cloudgegevensservice is, kunt u de Azure Integration Runtime gebruiken. Als de toegang is beperkt tot IP-adressen die zijn goedgekeurd in de firewallregels, kunt u Azure Integration Runtime IP-adressen toevoegen aan de acceptatielijst.

U kunt ook de functie beheerde integratieruntime voor virtuele netwerken in Azure Data Factory gebruiken om toegang te krijgen tot het on-premises netwerk zonder een zelf-hostende Integration Runtime te installeren en te configureren.

Zie Strategieën voor gegevenstoegang voor meer informatie over de netwerkbeveiligingsmechanismen en -opties die door Data Factory worden ondersteund.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

• Tool Gegevens kopiëren
• Azure-portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager sjabloon

Maak een gekoppelde service aan naar MongoDB door de UI te gebruiken

Gebruik de volgende stappen om een gekoppelde service te maken voor MongoDB in de gebruikersinterface van de Azure-portal.

1. Ga naar het tabblad Beheren in je Azure Data Factory of Synapse-werkruimte en selecteer Linked Services. Selecteer dan Nieuw:

   • Azure Data Factory
   • Azure Synapse

   

2. Zoek naar MongoDB en selecteer de MongoDB-connector.

   

3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

   

De configuratiedetails van de connector

De volgende secties bevatten details over eigenschappen die worden gebruikt om Data Factory-entiteiten te definiëren die specifiek zijn voor MongoDB-connector.

Eigenschappen van gekoppelde service

De volgende tabel geeft een overzicht van de ondersteunde eigenschappen voor een MongoDB-gekoppelde dienst:

Voorbeeld:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Voor een volledige lijst van secties en eigenschappen die je kunt gebruiken om datasets te definiëren, zie Datasets en gekoppelde services. De volgende tabel geeft een overzicht van de ondersteunde eigenschappen voor een MongoDB-dataset:

Voorbeeld:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Copy-activiteit eigenschappen

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door mongoDB-bron en -sink.

MongoDB als bron

De sectie bron van de kopieeractiviteit ondersteunt de volgende eigenschappen:

Voorbeeld:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB als sink

De sectie sink van de Copy Activity ondersteunt de volgende eigenschappen:

Voorbeeld

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

JSON-documenten importeren en exporteren

Gebruik deze MongoDB-connector om eenvoudig het volgende te doen:

• Documenten ongewijzigd kopiëren tussen twee MongoDB-collecties.
• Importeer JSON-documenten uit verschillende bronnen naar MongoDB, waaronder van Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Store en andere ondersteunde archiefbestanden.
• Exporteer JSON-documenten uit een MongoDB-verzameling naar verschillende bestandsarchieven.

Als u een dergelijke schemaagnostische kopie wilt bereiken, slaat u de sectie 'structuur' (ook wel schema genoemd) over in de gegevensset en schematoewijzing in de kopieeractiviteit.

Toewijzing van gegevenstypen voor MongoDB

Wanneer je data kopieert van MongoDB, gebruikt de service de volgende mappings van MongoDB-datatypes naar tussentijdse datatypes. Voor meer informatie over hoe kopieeractiviteit het bronschema en datatype aan de sink koppelt, zie Schema en datatype-mappingen.

Levenscyclus en upgrade van MongoDB-connector

In de volgende tabel ziet u de releasefase en wijzigingslogboeken voor verschillende versies van de MongoDB-connector:

De gekoppelde MongoDB-service upgraden

Maak een nieuwe gekoppelde MongoDB-service en configureer deze door te verwijzen naar de eigenschappen van de gekoppelde service.

Gerelateerde inhoud

Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.