Kopiowanie danych z bazy danych MongoDB przy użyciu Azure Data Factory lub usługi Synapse Analytics (starsza wersja)

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób użycia działania kopiowania w potoku Azure Data Factory lub Synapse Analytics w celu skopiowania danych z bazy danych MongoDB. Opiera się na przeglądzie aktywności kopiowania, który przedstawia ogólny przegląd działania kopiowania.

Obsługiwane możliwości

Dane z bazy danych MongoDB można skopiować do dowolnego obsługiwanego docelowego magazynu danych. Aby uzyskać listę magazynów danych obsługiwanych jako źródła/ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

W szczególności ten łącznik bazy danych MongoDB obsługuje następujące funkcje:

• MongoDB w wersji 2.4, 2.6, 3.0, 3.2, 3.4 i 3.6.
• Kopiowanie danych przy użyciu uwierzytelniania podstawowego lub anonimowego .

Wymagania wstępne

Jeśli magazyn danych znajduje się wewnątrz sieci lokalnej, sieci wirtualnej Azure lub chmury prywatnej Amazon Virtual, musisz skonfigurować self-hosted Integration Runtime aby nawiązać z nim połączenie.

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji zarządzanego środowiska wykonawczego zintegrowanej sieci wirtualnej w Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania lokalnego środowiska Integration Runtime.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Integration Runtime udostępnia wbudowany sterownik bazy danych MongoDB, dlatego nie trzeba ręcznie instalować żadnego sterownika podczas kopiowania danych z bazy danych MongoDB.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• .NET SDK
• SDK języka Python
• Azure PowerShell
• API REST
• Szablon menedżera zasobów Azure

Tworzenie połączonej usługi z bazą danych MongoDB przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z bazą danych MongoDB w interfejsie użytkownika portalu Azure.

1. Przejdź do karty Zarządzanie w obszarze roboczym Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj Mongo i wybierz łącznik MongoDB.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika bazy danych MongoDB.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane w przypadku połączonej usługi MongoDB:

Przykład:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDb",
        "typeProperties": {
            "server": "<server name>",
            "databaseName": "<database name>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz Zestawy danych i połączone usługi. Następujące właściwości są obsługiwane w przypadku zestawu danych MongoDB:

Przykład:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbCollection",
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "collectionName": "<Collection name>"
        }
    }
}

Właściwości aktywności kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło bazy danych MongoDB.

MongoDB jako źródło

Następujące właściwości są obsługiwane w sekcji źródło działania kopiowania:

Przykład:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Schemat według usługi Data Factory

Azure Data Factory wywnioskuje schemat z kolekcji MongoDB przy użyciu ostatnich 100 dokumentów w kolekcji. Jeśli te 100 dokumentów nie zawiera pełnego schematu, niektóre kolumny mogą być ignorowane podczas operacji kopiowania.

Mapowanie typów danych dla bazy danych MongoDB

Podczas kopiowania danych z bazy danych MongoDB następujące mapowania są używane z typów danych Bazy danych MongoDB do tymczasowych typów danych używanych wewnętrznie w usłudze. Zobacz Mapowania schematu i typu danych, aby dowiedzieć się, jak zadanie kopiowania odwzorowuje schemat i typ danych źródła na miejsce przeznaczenia.

Obsługa złożonych typów przy użyciu tabel wirtualnych

Usługa używa wbudowanego sterownika ODBC do nawiązywania połączenia z bazą danych MongoDB i kopiowania danych. W przypadku typów złożonych, takich jak tablice lub obiekty z różnymi typami w dokumentach, sterownik ponownie normalizuje dane w odpowiednich tabelach wirtualnych. W szczególności jeśli tabela zawiera takie kolumny, sterownik generuje następujące tabele wirtualne:

• Tabela podstawowa zawierająca te same dane co rzeczywista tabela z wyjątkiem kolumn typu złożonego. Tabela podstawowa używa takiej samej nazwy jak rzeczywista tabela, którą reprezentuje.
• Tabela wirtualna dla każdej kolumny typu złożonego, która rozszerza zagnieżdżone dane. Tabele wirtualne są nazwane przy użyciu nazwy rzeczywistej tabeli, separatora "_" i nazwy tablicy lub obiektu.

Tabele wirtualne odwołują się do danych w rzeczywistej tabeli, umożliwiając sterownikowi dostęp do danych, które nie są znormalizowane. Dostęp do zawartości tablic Bazy danych MongoDB można uzyskać, wykonując zapytania i łącząc tabele wirtualne.

Przykład

Na przykład tabela ExampleTable to tabela Bazy danych MongoDB zawierająca jedną kolumnę z tablicą obiektów w każdej komórce — Faktury i jedną kolumnę z tablicą typów skalarnych — klasyfikacje.

Sterownik wygenerowałby wiele tabel wirtualnych reprezentujących tę pojedynczą tabelę. Pierwsza tabela wirtualna to tabela podstawowa o nazwie "ExampleTable", pokazana w przykładzie. Tabela podstawowa zawiera wszystkie dane oryginalnej tabeli, ale dane z tablic zostały pominięte i są rozszerzane w tabelach wirtualnych.

W poniższych tabelach przedstawiono tabele wirtualne reprezentujące oryginalne tablice w przykładzie. Te tabele zawierają następujące elementy:

• Odwołanie z powrotem do oryginalnej kolumny klucza podstawowego odpowiadającej wierszowi oryginalnej tablicy (za pośrednictwem kolumny _id)
• Wskazanie położenia danych w oryginalnej tablicy
• Rozwinięte dane dla każdego elementu w tablicy

Tabela "ExampleTable_Invoices":

Tabela "ExampleTable_Ratings":

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz obsługiwane magazyny danych.