Kopiuj dane z lub do MongoDB za pomocą Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Ten artykuł opisuje, jak korzystać z Copy Activity w potokach Azure Data Factory i Synapse Analytics do kopiowania danych z i do bazy MongoDB. Opiera się na przeglądzie aktywności kopiowania, który przedstawia ogólny przegląd działania kopiowania.

Obsługiwane możliwości

To złącze MongoDB obsługuje następujące funkcje:

(1) Środowisko uruchomieniowe Azure (2) Środowisko uruchomieniowe lokalnie hostowane

Listę magazynów danych obsługiwanych jako źródła i ujścia można znaleźć w tabeli Obsługiwane magazyny danych.

W szczególności ten łącznik bazy danych MongoDB obsługuje wersje do 4.2. Jeśli twoja praca wymaga nowszych wersji niż 4.2, rozważ użycie usługi MongoDB Atlas z łącznikiem Usługi MongoDB Atlas, który zapewnia bardziej kompleksową obsługę i funkcje.

Wymagania wstępne

Jeśli magazyn danych znajduje się wewnątrz sieci lokalnej, sieci wirtualnej Azure lub chmury prywatnej Amazon Virtual, musisz skonfigurować self-hosted Integration Runtime aby nawiązać z nim połączenie.

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji zarządzanego środowiska wykonawczego zintegrowanej sieci wirtualnej w Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania lokalnego środowiska Integration Runtime.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• SDK platformy .NET
• SDK Python
• Azure PowerShell
• API REST
• Szablon menedżera zasobów Azure

Utworzenie usługi powiązanej do MongoDB, korzystając z interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z bazą danych MongoDB w interfejsie użytkownika portalu Azure.

1. Przejdź do zakładki Zarządzanie w swoim obszarze roboczym Azure Data Factory lub Synapse i wybierz Usługi powiązane. Następnie wybierz Nowe:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj MongoDB i wybierz łącznik MongoDB.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika bazy danych MongoDB.

Właściwości połączonej usługi

Poniższa tabela przedstawia obsługiwane właściwości dla usługi powiązanej z MongoDB:

Przykład:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Pełną listę sekcji i właściwości, które możesz wykorzystać do definiowania zbiorów danych, znajdziesz w artykule Datasets and linked services. Poniższa tabela przedstawia obsługiwane właściwości dla zbioru danych MongoDB:

Przykład:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości aktywności kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło i ujście bazy danych MongoDB.

MongoDB jako źródło

Sekcja źródłowa aktywności kopiowania obsługuje następujące właściwości:

Przykład:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB jako ujście

Sekcja sink działania Copy Activity obsługuje następujące właściwości:

Przykład

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importowanie i eksportowanie dokumentów JSON

Użyj tego złącza MongoDB, aby z łatwością:

• Kopiowanie dokumentów między dwiema kolekcjami bazy danych MongoDB w następujący sposób.
• Zaimportuj dokumenty JSON z różnych źródeł do bazy danych MongoDB, w tym z Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Store i innych obsługiwanych magazynów opartych na plikach.
• Eksportowanie dokumentów JSON z kolekcji MongoDB do różnych repozytoriów bazujących na plikach.

Aby uzyskać kopię niezależną od schematu, pomiń sekcję „struktura” (zwaną również schematem) w zestawieniu danych i mapowaniu schematów w aktywności kopiowania.

Mapowanie typów danych dla bazy danych MongoDB

Gdy kopiujesz dane z MongoDB, usługa wykorzystuje następujące mapowania z typów danych MongoDB do pośrednich typów danych. Więcej informacji o tym, jak działanie kopiowania mapuje schemat źródłowy i typy danych do ujścia, znajdziesz w sekcji Mapowania schematu i typów danych.

Cykl życia i uaktualnianie łącznika bazy danych MongoDB

W poniższej tabeli przedstawiono etap wydania i dzienniki zmian dla różnych wersji łącznika bazy danych MongoDB:

Uaktualnianie połączonej usługi MongoDB

Utwórz nową połączoną usługę MongoDB i skonfiguruj ją, odwołując się do właściwości połączonej usługi.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz obsługiwane magazyny danych.