Kopiowanie danych z magazynu zgodnego z usługą Amazon S3 przy użyciu Azure Data Factory lub usługi Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób kopiowania danych z magazynu zgodnego z usługą Amazon Simple Storage Service (Amazon S3). Aby dowiedzieć się więcej, przeczytaj artykuły wprowadzające dotyczące Azure Data Factory i Synapse Analytics.

Obsługiwane możliwości

Ten łącznik pamięci masowej zgodny z usługą Amazon S3 jest obsługiwany w następujących możliwościach:

(1) Środowisko uruchomieniowe Azure (2) Środowisko uruchomieniowe lokalnie hostowane

W szczególności ten łącznik magazynu zgodnego z Amazon S3 obsługuje kopiowanie plików w postaci oryginalnej lub analizowanie plików przy użyciu obsługiwanych formatów plików i kodeków kompresji. Łącznik używa usługi AWS Signature w wersji 4 do uwierzytelniania żądań do usługi S3. Możesz użyć tego łącznika magazynu zgodnego z usługą Amazon S3, aby skopiować dane z dowolnego dostawcy magazynu zgodnego z usługą S3. Określ odpowiedni adres URL usługi w konfiguracji połączonej usługi.

Wymagane uprawnienia

Aby skopiować dane z magazynu zgodnego z usługą Amazon S3, upewnij się, że udzielono następujących uprawnień do operacji obiektów amazon S3: s3:GetObject i s3:GetObjectVersion.

Jeśli używasz interfejsu użytkownika do tworzenia, dodatkowe s3:ListAllMyBuckets uprawnienia i s3:ListBucket/s3:GetBucketLocation są wymagane w przypadku operacji, takich jak testowanie połączenia z połączoną usługą i przeglądanie z katalogu głównego. Jeśli nie chcesz udzielać tych uprawnień, możesz wybrać opcje "Testuj połączenie ze ścieżką pliku" lub "Przeglądaj z określonej ścieżki" z interfejsu użytkownika.

Aby uzyskać pełną listę uprawnień usługi Amazon S3, zobacz Określanie uprawnień w zasadach w witrynie platformy AWS.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• SDK platformy .NET
• SDK języka Python
• Azure PowerShell
• API REST
• Szablon menedżera zasobów Azure

Tworzenie usługi powiązanej z magazynem zgodnym z Amazon S3 za pomocą interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z magazynem zgodnym z usługą Amazon S3 w interfejsie użytkownika portalu Azure.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie wybierz pozycję Nowe:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj pozycję Amazon i wybierz łącznik magazynu zgodnego z usługą Amazon S3.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek specyficznych dla magazynu zgodnego z usługą Amazon S3.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane w przypadku usługi połączonej Amazon S3 Kompatybilne.

Przykład:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz artykuł Zestawy danych.

Azure Data Factory obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

• Format Avro
• Format binarny
• Format tekstu z delimitatorami
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Następujące właściwości są obsługiwane dla Amazon S3 Compatibility w ustawieniach location w zbiorze danych na podstawie formatu:

Przykład:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Właściwości aktywności kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło magazynu zgodnego z usługą Amazon S3.

Przestrzeń zgodna z Amazon S3 jako typ źródła

Azure Data Factory obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

• Format Avro
• Format binarny
• Format tekstu z delimitatorami
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Następujące właściwości są obsługiwane w przypadku magazynu zgodnego z usługą Amazon S3 w ustawieniach storeSettings w źródle kopiowania opartym na formacie:

Przykład:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Przykłady filtrów folderów i plików

Sekcja ta opisuje, jak zachowują się ścieżka folderu i nazwa pliku przy użyciu filtrów wieloznacznych.

Przykłady listy plików

W tej sekcji opisano wynikowe zachowanie używania ścieżki listy plików w źródle działanie Kopiuj.

Załóżmy, że masz następującą strukturę folderu źródłowego i chcesz skopiować pliki pogrubione:

Właściwości czynności wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie wyszukiwania.

Właściwości działania GetMetadata

Aby dowiedzieć się więcej o właściwościach, sprawdź aktywność GetMetadata.

Usuń właściwości działania

Aby dowiedzieć się więcej o właściwościach, zobacz Usuń działanie.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych przez działanie Kopiuj jako źródła i ujścia, zobacz Obsługiwane magazyny danych.