Copiez des données depuis ou vers MongoDB en utilisant Azure Data Factory ou Synapse Analytics

S'APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Cet article explique comment utiliser l’activité de copie dans les pipelines Azure Data Factory et Synapse Analytics pour copier des données depuis et vers une base de données MongoDB. Il s’appuie sur l’article Vue d’ensemble de l’activité de copie.

Fonctionnalités prises en charge

Ce connecteur MongoDB prend en charge les capacités suivantes :

(1) Moteur d'intégration Azure (2) Moteur d'intégration auto-hébergé

Pour obtenir la liste des magasins de données pris en charge comme sources et récepteurs, consultez le tableau Magasins de données pris en charge.

Plus précisément, ce connecteur MongoDB prend en charge les versions jusqu’à 4.2. Si votre travail nécessite des versions plus récentes que 4.2, envisagez d’utiliser MongoDB Atlas avec le connecteur MongoDB Atlas qui fournit des fonctionnalités et une prise en charge plus complètes.

Prérequis

Si votre magasin de données se trouve à l’intérieur d’un réseau local, d’un réseau virtuel Azure ou d’Amazon Virtual Private Cloud, vous devez configurer un runtime d’intégration auto-hébergé /c0<> pour vous y connecter.

Si votre magasin de données est un service de données cloud managé, vous pouvez utiliser le Azure Integration Runtime. Si l’accès est limité aux adresses IP approuvées dans les règles de pare-feu, vous pouvez ajouter adresses IP d'Azure Integration Runtime à la liste autorisée.

Vous pouvez également utiliser la fonctionnalité runtime d’intégration de réseau virtuel managé dans Azure Data Factory pour accéder au réseau local sans installer et configurer un runtime d’intégration auto-hébergé.

Pour plus d’informations sur les mécanismes de sécurité réseau et les options pris en charge par Data Factory, consultez Stratégies d’accès aux données.

Prise en main

Pour effectuer l’activité de copie avec un pipeline, vous pouvez utiliser l’un des outils ou kits sdk suivants :

• Outil Copier des données
• portail Azure
• Kit de développement logiciel (SDK) .NET
• sdk Python
• Azure PowerShell
• REST API
• modèle Azure Resource Manager

Créez un service lié à MongoDB en utilisant l’interface utilisateur

Utilisez les étapes suivantes pour créer un service lié à MongoDB dans l’interface utilisateur du portail Azure.

1. Parcourez l’onglet Gérer dans votre espace de travail Azure Data Factory ou Synapse et sélectionnez Services liés. Ensuite, sélectionnez Neuf :

   • Azure Data Factory.
   • Azure Synapse

   

2. Recherchez Mongo et sélectionnez le connecteur MongoDB.

   

3. Configurez les informations du service, testez la connexion et créez le nouveau service lié.

   

Détails de configuration du connecteur

Les sections suivantes fournissent des informations sur les propriétés utilisées pour définir les entités Data Factory spécifiques du connecteur MongoDB.

Propriétés du service lié

Le tableau suivant liste les propriétés prises en charge pour un service lié à MongoDB :

Exemple :

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriétés du jeu de données

Pour une liste complète des sections et propriétés que vous pouvez utiliser pour définir des ensembles de données, voir Ensembles de données et services liés. Le tableau suivant liste les propriétés prises en charge pour un jeu de données MongoDB :

Exemple :

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriétés de l'activité de copie

Pour obtenir la liste complète des sections et des propriétés disponibles pour la définition des activités, consultez l’article Pipelines. Cette section fournit la liste des propriétés prises en charge par la source et le récepteur MongoDB.

MongoDB en tant que source

La section source de l’activité de copie prend en charge les propriétés suivantes :

Exemple :

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB en tant que récepteur

La section récepteur de l’activité de copie prend en charge les propriétés suivantes :

Exemple

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importer et exporter des documents JSON

Utilisez ce connecteur MongoDB pour facilement :

• Copier des documents entre deux collections MongoDB en l’état.
• Importez des documents JSON à partir de différentes sources vers MongoDB, notamment depuis Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Store, et d'autres magasins de fichiers pris en charge.
• Exporter des documents JSON d’une collection MongoDB vers différentes banques basées sur des fichiers.

Pour obtenir une telle copie indépendante du schéma, ignorez la section « structure » (également appelée schéma) dans le mappage de schéma et de jeu de données dans l’activité de copie.

Mappage de type de données pour MongoDB

Lorsque vous copiez des données depuis MongoDB, le service utilise les mappages suivants des types de données MongoDB vers des types de données intermédiaires. Pour plus d’informations sur la façon dont l’activité de copie mappe le schéma source et le type de données au récepteur, consultez Mappages de schéma et de type de données.

Cycle de vie et mise à niveau du connecteur MongoDB

Le tableau suivant présente l’étape de mise en production et les journaux des modifications pour différentes versions du connecteur MongoDB :

Mettre à niveau le service lié MongoDB

Créez un service lié MongoDB et configurez-le en vous référant aux propriétés du service lié.

Contenu connexe

Consultez les banques de données prises en charge pour obtenir la liste des banques de données prises en charge en tant que sources et récepteurs par l’activité de copie.