Azure Data Factory and Azure Synapse Analytics 中的 Delimited text format

適用於： Azure Data Factory Azure Synapse Analytics

當您想要剖析分隔符號文字檔，或將資料寫入分隔符號文字格式時，請遵循本文來進行作業。

下列連接器支援分隔符號文字格式：

• Amazon S3
• Amazon S3 相容儲存體
• Azure 黏液
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Azure 檔案儲存體
• 檔案系統
• FTP
• 谷歌雲存儲
• HDFS
• HTTP
• Oracle 雲端儲存空間
• SFTP

資料集屬性

如需可用來定義資料集的區段和屬性完整清單，請參閱資料集一文。 本節提供分隔符號文字資料集所支援的屬性清單。

以下是 Azure Blob 儲存體 上分隔文字資料集的範例：

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "escapeChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

複製活動 屬性

如需可用來定義活動的區段和屬性完整清單，請參閱管線一文。 本節提供分隔符號文字來源和接收所支援的屬性清單。

做為來源的分隔符號文字

複製活動的 [來源] 區段支援下列屬性。

下支援的formatSettings：

"activities": [
    {
        "name": "CopyFromDelimitedText",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 3,
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

做為接收的分隔符號文字

複製活動的 [接收] 區段支援下列屬性。

下支援的formatSettings：

對應資料流程屬性

在映射資料流中，你可以在以下資料儲存中以分隔文字格式讀寫：Azure Blob 儲存體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2 和 SFTP，你可以在 Amazon S3 中閱讀分隔文字格式。

內嵌資料集

對應資料流支援將「內嵌資料集」作為定義來源和接收的選項。 內嵌分隔資料集會直接在您的來源和接收轉換內定義，且不會在定義的資料流程外部共用。 這有助於直接在資料流程內針對資料集屬性進行參數化，並可受益於共用 ADF 資料集帶來的效能提升。

當您要讀取大量的來源資料夾和檔案時，可以在 [投影] | [結構描述選項] 對話方塊內設定 [使用者投影的結構描述] 選項來改善資料流程檔案探索效能。 此選項會關閉 ADF 的預設結構描述自動探索，並將大幅改善檔案探索的效能。 設定此選項之前，請務必匯入投影，讓 ADF 具有現有投影的結構描述。 此選項不適用於結構描述漂移。

來源屬性

下表列出分隔符號文字來源支援的屬性。 您可以在 [來源選項] 索引標籤中編輯這些屬性。

來源範例

下圖是在對應資料流中分隔符號文字來源設定的範例。

相關的資料流程指令碼：

source(
    allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: false,
	multiLineRow: true,
	wildcardPaths:['*.csv']) ~> CSVSource

接收屬性

下表列出分隔符號文字接收支援的屬性。 您可以在 [設定] 索引標籤中編輯這些屬性。

接收範例

下圖是在對應資料流中分隔符號文字接收設定的範例。

相關的資料流程指令碼：

CSVSource sink(allowSchemaDrift: true,
    validateSchema: false,
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CSVSink

相關的連接器和格式

以下是一些與分隔符號文字格式相關的常見連接器和格式：

• Azure Blob 儲存體
• 二進位格式
• Dataverse
• 差異格式
• Excel 格式
• 檔案系統
• FTP
• HTTP
• JSON 格式
• Parquet 格式

相關內容

• 資料集結構描述中的資料類型對應
• 複製活動概述
• 對應資料流程
• 查閱活動
• GetMetadata 活動