Azure Data Factory 和 Azure Synapse Analytics 中的複製活動

適用於：Azure Data Factory Azure Synapse Analytics

在 Azure Data Factory 和 Synapse 管線中，您可以使用複製活動在內部部署與雲端資料存放區之間複製資料。 複製資料之後，您可以使用其他活動進一步轉換和分析資料。 您也可以使用複製活動來發佈商業智慧 (BI) 及應用程式使用情況的轉換和分析結果。

複製活動會在整合執行階段上執行。 您可以針對不同的資料複製案例，使用不同類型的整合執行階段：

• 透過網際網路從任何 IP 公開存取的兩個資料存放區之間複製資料時，您可以使用 Azure 整合執行階段進行複製活動。 此整合執行階段安全、可靠、可調整且可在全域使用。
• 在內部部署或具有存取控制的網路 (例如，Azure 虛擬網路) 資料存放區之間複製資料時，您需要設定自我裝載整合執行階段。

整合執行階段必須與每個來源及接收資料存放區相關聯。 如需複製活動如何決定要使用哪一個整合執行階段的相關資訊，請參閱判斷要使用的 IR。

若要將資料從來源複製到接收，執行複製活動的服務會執行下列步驟：

1. 從來源資料存放區讀取資料。
2. 執行序列化/還原序列化、壓縮/解壓縮及資料行對應等。 其會根據輸入資料集、輸出資料集及複製活動的設定執行這些作業。
3. 將資料寫入接收/目的地資料存放區。

支援的資料存放區和格式

支援的檔案格式

Azure Data Factory 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔的文字格式
• Excel 格式
• Iceberg 格式 (僅適用於 Azure Data Lake Storage Gen2)
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

您可以使用複製活動在兩個以檔案為基礎的資料存放區之間「依原狀複製檔案」，藉此有效率地複製資料，而不需經過序列化或還原序列化。 此外，您也可以剖析或產生指定格式的檔案，例如，您可以執行下列動作：

• 從 SQL Server 資料庫複製資料，並以 Parquet 格式寫入 Azure Data Lake Storage Gen2。
• 從內部部署檔案系統複製文字 (CSV) 格式的檔案，然後以 Avro 格式寫入 Azure Blob 儲存體中。
• 從內部部署檔案系統複製壓縮檔案、立即解壓縮檔案，並將解壓縮的檔案寫入 Azure Data Lake Storage Gen2。
• 從 Azure Blob 儲存體複製 Gzip 壓縮文字 (CSV) 格式的資料，然後寫入 Azure SQL Database 中。
• 需要序列化/還原序列化或壓縮/解壓縮的更多活動。

支援區域

啟用複製活動的服務可在 Azure 整合執行階段位置中列出的區域和地理位置全域提供使用。 全域可用的拓撲可確保進行有效率的資料移動，通常可避免發生跨區域躍點的情況。 請參閱依 區域的產品 ，以檢查特定區域中 Data Factory、Synapse 工作區和資料移動的可用性。

組態

若要使用管線執行複製活動，您可以使用下列其中一個工具或 SDK：

• 複製資料工具
• Azure 入口網站
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 範本

一般而言，若要在 Azure Data Factory 或 Synapse 管線中使用複製活動，您必須：

1. 為來源和接收資料存放區建立連結的服務。 您可以在本文的支援的資料存放區和格式一節中找到支援的連接器清單。 如需設定資訊和支援的屬性，請參閱連接器文章的＜連結服務屬性＞一節。
2. 建立來源和接收的資料集。 如需設定資訊和支援的屬性，請參閱來源和接收連接器文章的〈資料集屬性〉一節。
3. 建立具有複製活動的管線。 下一節提供範例。

語法

下列複製活動範本包含完整的支援屬性清單。 請指定適合您案例的屬性。

"activities":[
    {
        "name": "CopyActivityTemplate",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<source dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<sink dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>",
                <properties>
            },
            "sink": {
                "type": "<sink type>"
                <properties>
            },
            "translator":
            {
                "type": "TabularTranslator",
                "columnMappings": "<column mapping>"
            },
            "dataIntegrationUnits": <number>,
            "parallelCopies": <number>,
            "enableStaging": true/false,
            "stagingSettings": {
                <properties>
            },
            "enableSkipIncompatibleRow": true/false,
            "redirectIncompatibleRowSettings": {
                <properties>
            }
        }
    }
]

語法詳細資料

監視

您可以在 Azure Data Factory 和 Synapse 管線中以視覺化方式和程式設計方式監視複製活動執行。 如需詳細資訊，請參閱監視複製活動。

增量複製

Data Factory 和 Synapse 管線可讓您以累加方式將差異資料從來源資料存放區複製到接收資料存放區。 詳情請參閱教學課程：以累加方式複製資料。

效能和微調

複製活動監視體驗會顯示每個活動執行的複製效能統計資料。 複製活動效能和可擴縮性指南描述透過複製活動影響資料移動效能的重要因素。 其中也列出在測試期間所觀察到的效能值，並討論如何最佳化複製活動效能。

從上次失敗的執行繼續

當您在檔案型存放區之間依現狀複製二進位格式的大型檔案，並選擇將來源的資料夾/檔案階層保留到接收時，複製活動支援從上次失敗執行繼續，例如將資料從 Amazon S3 移轉至 Azure Data Lake Storage Gen2。 它適用於下列檔案型連接器： Amazon S3、 Amazon S3 相容儲存體Azure Blob、 Azure Data Lake Storage Gen1、 Azure Data Lake Storage Gen2、 Azure 檔案儲存體、 檔案系統、 FTP、 Google Cloud Storage、 HDFS、 Oracle Cloud Storage 和 SFTP。

您可以使用下列兩種方式來使用複製活動繼續：

• 活動層級重試：您可以設定複製活動的重試計數。 在管線執行期間，如果此複製活動執行失敗，下一次自動重試會從上次試用的失敗點開始。

• 從失敗的活動重新執行：管線執行完成之後，您也可以在 ADF UI 監視檢視或以程式設計方式，從失敗的活動觸發重新執行。 如果失敗的活動是複製活動，則管線不僅會從此活動重新執行，也會從先前執行的失敗點繼續執行。

  

請注意以下幾點：

• 繼續執行發生在檔案層級。 如果複製檔案時複製活動失敗，則在下次執行時，將重新複製此特定檔案。
• 為了讓繼續執行功能可以正常運作，請勿在重新執行之間變更複製活動設定。
• 當您從 Amazon S3、Azure Blob、Azure Data Lake Storage Gen2 和 Google Cloud Storage 複製資料時，複製活動可以從任意數目的複製檔案繼續。 而在其餘檔案型連接器作為來源的情況下，目前複製活動支援從有限數目的檔案繼續，數量範圍通常在數千以內，而且會隨著案路徑的長度而有所不同；超過此數量的檔案將在重新執行期間重新複製。

對於二進位檔案複製以外的其他案例，複製活動會從頭開始重新執行。

保留中繼資料與資料

將資料從來源複製到接收時，在 Data Lake 移轉之類的案例中，您也可以選擇使用複製活動來保留中繼資料和 ACL 以及資料。 如需詳細資訊，請參閱保留中繼資料。

將中繼資料標記新增至檔案型接收器

接收器是 Azure 記憶體型 (Azure Data Lake 儲存體或 Azure Blob 儲存體) 時，我們可以選擇將一些中繼資料新增至檔案。 這些中繼資料將會以索引鍵值組的形式出現為檔案屬性的一部分。 對於所有類型的檔案型接收器，您可以使用管線參數、系統變數、函數和變數來新增涉及動態內容的中繼資料。 除此之外，對於二進位檔案型匯入，您可以選擇使用關鍵字 $$LASTMODIFIED 來新增來源檔案的上次修改日期時間，並將自訂值作為中繼資料添加到匯入檔案中。

結構描述和資料類型對應

如需複製活動如何將來源資料對應至接收的相關資訊，請參閱結構描述和資料類型對應。

在複製期間新增其他資料行

除了將資料從來源資料存放區複製到接收之外，您也可以設定在複製期間新增其他資料行，以一併複製到接收。 例如：

• 當您從 檔案型來源複製時，請將相對檔案路徑儲存為 String 類型的其他數據行，以追蹤數據的來源檔案。
• 將指定的來源資料行複製為另一個資料行。
• 新增具有 ADF 運算式的資料行，以附加 ADF 系統變數 (例如管線名稱/管線識別碼)，或儲存上游活動輸出中的其他動態值。
• 新增具有靜態值的資料行，以符合下游取用需求。

您可以在複製活動來源索引標籤上找到下列設定。您也可以使用您定義的資料行名稱，照常在複製活動結構描述對應中對應這些額外的資料行。

若要以程式設計方式進行設定，請在複製活動來源中新增 additionalColumns 屬性：

範例︰

"activities":[
    {
        "name": "CopyWithAdditionalColumns",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "<source type>",
                "additionalColumns": [
                    {
                        "name": "filePath",
                        "value": "$$FILEPATH"
                    },
                    {
                        "name": "newColName",
                        "value": "$$COLUMN:SourceColumnA"
                    },
                    {
                        "name": "pipelineName",
                        "value": {
                            "value": "@pipeline().Pipeline",
                            "type": "Expression"
                        }
                    },
                    {
                        "name": "staticValue",
                        "value": "sampleValue"
                    }
                ],
                ...
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

自動建立接收資料表

當您將資料複製到 SQL 資料庫/Azure Synapse Analytics 時，如果目的地資料表不存在，複製活動會支援根據來源資料自動建立資料表。 其目的在於協助您快速開始載入資料，並評估 SQL 資料庫/Azure Synapse Analytics。 資料擷取之後，您可以視需求檢閱和調整接收資料表結構描述。

將資料從任何來源複製到下列接收資料存放區時，支援使用此功能。 您可以在 ADF 製作 UI ->複製活動接收器 ->資料表選項 ->自動建立角色上或透過複製活動接收承載中的 tableOption 屬性找到此選項ADF 製作 UI。

• Azure SQL 資料庫
• Azure SQL 受控執行個體
• Azure Synapse Analytics
• SQL 伺服器

容錯

根據預設，複製活動會停止複製資料，並在來源資料列與接收資料列不相容時傳回失敗。 若要讓複製成功，您可以設定複製活動略過並記錄不相容的資料列，並只複製相容的資料。 如需詳細資訊，請參閱複製活動容錯。

資料一致性驗證

當您將資料從來源移至目的地存放區時，複製活動會提供選項，讓您執行額外的資料一致性驗證，以確保資料不僅成功從來源複製到目的地存放區，而且還驗證來源與目的地存放區之間的一致性。 在資料移動期間發現不一致的檔案之後，您可以啟用容錯設定來略過不一致的檔案，藉此中止複製活動或繼續複製其餘部分。 您可以在複製活動中啟用工作階段記錄設定，以取得略過的檔案名稱。 如需詳細資訊，請參閱複製活動中的資料一致性驗證。

工作階段記錄

您可以記錄複製的檔名，這可協助您進一步確保資料不僅成功從來源複製到目的地存放區，而且透過檢閱複製活動工作階段記錄，來源和目的地存放區之間的一致性。 如需詳細資料，請參閱工作階段登入複製活動。

相關內容

請參閱下列快速入門、教學課程和範例：

• 在相同的 Azure Blob 儲存體帳戶中將資料從一個位置複製到另一個位置
• 將資料從 Azure Blob 儲存體複製到 Azure SQL Database
• 將資料從 SQL Server 資料庫複製到 Azure