Copie dados do ou para o MongoDB usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo explica como usar a Atividade de Cópia nos pipelines Azure Data Factory e Synapse Analytics para copiar dados de e para um banco de dados MongoDB. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Funcionalidades com suporte

Este conector MongoDB suporta as seguintes capacidades:

① Runtime de integração do Azure ② Runtime de integração auto-hospedado

Para uma lista de repositórios de dados suportados como fontes e sumidouros, veja a tabela de armazenamentos de dados suportados .

Especificamente, este conector do MongoDB dá suporte a versões até 4.2. Se o seu trabalho exige versões mais recentes que a 4.2, considere utilizar o MongoDB Atlas com o conector do MongoDB Atlas, que oferece suporte e recursos mais completos.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local interna, uma rede virtual do Azure ou uma Amazon Virtual Private Cloud (VPC), você precisará configurar um runtime de integração auto-hospedado para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar Azure Integration Runtime IPs à lista de permissões.

Você também pode usar o recurso managed virtual network integration runtime no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar Dados
• Portal do Azure
• .NET SDK
• SDK Python
• Azure PowerShell
• REST API
• modelo Azure Resource Manager

Crie um serviço vinculado ao MongoDB usando a interface

Use as etapas a seguir para criar um serviço vinculado ao MongoDB na interface do usuário do portal Azure.

1. Navegue até a aba Gerenciar no seu Azure Data Factory ou no espaço de trabalho Synapse e selecione Serviços Vinculados. Depois, selecione Novo:

   • Fábrica de dados do Azure
   • Azure Synapse

   

2. Pesquise por MongoDB e selecione o conector MongoDB.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas ao conector do MongoDB.

Propriedades do serviço vinculado

A tabela a seguir lista as propriedades suportadas para um serviço vinculado ao MongoDB:

Você também pode colocar uma cadeia de conexão no Azure Key Vault. Para mais detalhes, veja Armazenar credenciais no Azure Key Vault. |Sim | | Banco de dados | Nome do banco de dados que você quer acessar. | Sim | | connectVia | O Integration Runtime para usar para conectar ao armazenamento de dados. Para saber mais, confira a seção Pré-requisitos. Se você não especificar essa propriedade, o Azure Integration Runtime padrão é usado. |Não |

Exemplo:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para uma lista completa de seções e propriedades que você pode usar para definir conjuntos de dados, veja Conjuntos de dados e serviços vinculados. A tabela a seguir lista as propriedades suportadas para um conjunto de dados do MongoDB:

Exemplo:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte e pelo coletor do MongoDB.

MongoDB como fonte

A seção de código-fonte da atividade de cópia suporta as seguintes propriedades:

Exemplo:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB como coletor

A seção Copy Activity sink suporta as seguintes propriedades:

Exemplo

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importar ou exportar documentos JSON

Use este conector MongoDB para facilitar a:

• Copiar documentos entre duas coleções do MongoDB no estado em que se encontram.
• Importe documentos JSON de várias fontes para o MongoDB, incluindo do Azure Cosmos DB, Armazenamento de Blobs do Azure, Azure Data Lake Storage e outros armazenamentos de arquivos suportados.
• Exportar documentos JSON de uma coleção do MongoDB para vários repositórios baseados em arquivo.

Para efetuar essa cópia independente de esquema, ignore a seção da "estrutura" (também chamada de esquema) no conjunto de dados e mapeamento de esquema na atividade de cópia.

Mapeamento de tipo de dados para o MongoDB

Quando você copia dados do MongoDB, o serviço usa os seguintes mapeamentos dos tipos de dados do MongoDB para os tipos de dados intermediários. Para mais informações sobre como a atividade de cópia mapeia o esquema de origem e o tipo de dado para o sumidor, veja Mapeamentos de esquema e tipos de dados.

Ciclo de vida e atualização do conector do MongoDB

A tabela a seguir mostra o estágio de lançamento e os logs de alteração para versões diferentes do conector do MongoDB:

• Lê Double como tipo de dado String. |

Atualizar o serviço vinculado do MongoDB

Crie um novo serviço vinculado ao MongoDB e configure-o consultando as Propriedades do serviço vinculado.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.