Copia datos desde o hacia MongoDB usando Azure Data Factory o Synapse Analytics

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Este artículo explica cómo utilizar la Actividad de Copia en las canalizaciones de Azure Data Factory y Synapse Analytics para copiar datos desde y hacia una base de datos MongoDB. El documento se basa en el artículo de introducción a la actividad de copia que describe información general de la actividad de copia.

Funcionalidades admitidas

Este conector MongoDB soporta las siguientes capacidades:

① Azure Integration Runtime ② Entorno de ejecución de integración autohospedado

Para una lista de almacenes de datos soportados como fuentes y sumideros, consulte la tabla de almacenes de datos soportados .

En concreto, este conector de MongoDB admite hasta la versión 4.2. Si el trabajo requiere versiones posteriores a la 4.2, considere la posibilidad de usar MongoDB Atlas con el conector de Atlas de MongoDB, que proporciona compatibilidad y características más completas.

Requisitos previos

Si el almacén de datos se encuentra dentro de una red local, una red virtual Azure o una nube privada virtual de Amazon, debe configurar un entorno de ejecución de integración autohospedado para conectarse a él.

Si el almacén de datos es un servicio de datos en la nube administrado, puede usar el Azure Integration Runtime. Si el acceso está restringido a direcciones IP aprobadas en las reglas del firewall, puede agregar las direcciones IP de Azure Integration Runtime a la lista de autorizados.

También puede usar la funcionalidad runtime de integración de red virtual administrada en Azure Data Factory para acceder a la red local sin instalar ni configurar un runtime de integración autohospedado.

Consulte Estrategias de acceso a datos para más información sobre los mecanismos de seguridad de red y las opciones que admite Data Factory.

Introducción

Para realizar la actividad de copia con una canalización, puede usar una de las siguientes herramientas o SDK:

• Herramienta Copiar datos
• Azure Portal
• SDK de .NET
• SDK de Python
• Azure PowerShell
• REST API
• plantilla Azure Resource Manager

Crea un servicio vinculado a MongoDB usando la interfaz de usuario

Siga estos pasos para crear un servicio vinculado a MongoDB en la interfaz de usuario del portal de Azure.

1. Navega a la pestaña Gestionar en tu espacio de trabajo de Azure Data Factory o Synapse y selecciona Servicios Vinculados. Luego selecciona Nuevo:

   • Azure Data Factory
   • Azure Synapse

   

2. Busque MongoDB y seleccione el conector de MongoDB.

   

3. Configure los detalles del servicio, pruebe la conexión y cree el servicio vinculado.

   

Detalles de configuración del conector

Las secciones siguientes proporcionan detalles sobre las propiedades que se usan para definir entidades de Data Factory específicas del conector MongoDB.

Propiedades del servicio vinculado

La siguiente tabla enumera las propiedades soportadas para un servicio enlazado de MongoDB:

Ejemplo:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propiedades del conjunto de datos

Para una lista completa de secciones y propiedades que puedes usar para definir conjuntos de datos, consulta Conjuntos de datos y servicios vinculados. La siguiente tabla enumera las propiedades soportadas para un conjunto de datos de MongoDB:

Ejemplo:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Las propiedades de la actividad de copia

Si desea ver una lista completa de las secciones y propiedades disponibles para definir actividades, consulte el artículo sobre canalizaciones. En esta sección se proporciona una lista de las propiedades que admite el origen y receptor de MongoDB.

MongoDB como origen

La sección fuente de la actividad de copia soporta las siguientes propiedades:

Ejemplo:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB como receptor

La sección sink de la actividad de copia admite las siguientes propiedades:

Ejemplo

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importación y exportación de documentos JSON

Utiliza este conector MongoDB de forma sencilla:

• Copiar documentos entre dos colecciones de MongoDB tal cual.
• Importe documentos JSON desde varios orígenes a MongoDB, incluidos desde Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Store y otros almacenes basados en archivos compatibles.
• Exportar documentos JSON de una colección de MongoDB a varios almacenes basados en archivos.

Para lograr esa copia independiente del esquema, omita la sección “structure” (estructura, también denominada schema) en el conjunto de datos y la asignación de esquemas en la actividad de copia.

Asignación de tipos para MongoDB

Cuando copias datos de MongoDB, el servicio utiliza los siguientes mapeos de los tipos de datos de MongoDB a los tipos de datos intermedios. Para más información sobre cómo la actividad de copia mapea el esquema fuente y el tipo de datos al sumidero, consulta Mapeos de esquema y tipos de datos.

Ciclo de vida y actualización del conector de MongoDB

En la tabla siguiente se muestran la fase de lanzamiento y los registros de cambios para diferentes versiones del conector de MongoDB:

Actualización del servicio vinculado de MongoDB

Cree un nuevo servicio vinculado de MongoDB y configúrelo haciendo referencia a las Propiedades del servicio vinculado.

Contenido relacionado

Para obtener una lista de los almacenes de datos que admite la actividad de copia como orígenes y receptores, consulte Almacenes de datos compatibles.