使用 Azure Data Factory 或 Synapse Analytics 中的 Hadoop Pig 程式來轉換資料。

適用於: Azure Data Factory Azure Synapse Analytics

提示

關於 Microsoft Fabric 中 Data Factory 中的等效活動,請參閱 Azure HDInsight activity。

Data Factory 管線中的 HDInsight Pig 活動,會在您自己的或隨選的 HDInsight 叢集上執行 Pig 查詢。 本文是以資料轉換活動一文為基礎,該文提供了資料轉換和系統支援的轉換活動的一般概覽。

想了解更多,請先閱讀Azure Data Factory或Synapse Analytics的介紹,並在閱讀本文前完成教學:資料轉換。

使用 UI 將 HDInsight Pig 活動新增至管線

若要在管線中使用 HDInsight Pig 活動,請完成下列步驟:

  1. 在管線的 Activities 窗格中搜尋 Pig,然後將 Pig 活動拖曳到管線畫布上。

  2. 如果畫布上的新 Pig 活動尚未選取,請選取它。

  3. 選取 [HDI 叢集] 索引標籤,選取或建立 HDInsight 叢集的新連結服務,該叢集會用來執行 MapReduce 活動。

    顯示 Pig 活動的 UI。

  4. 選取 Script 標籤以選擇或建立新的腳本連接服務,連接到您的腳本所託管的 Azure 儲存體 位置。 指定要在其中執行的類別名稱,以及儲存體位置中的檔案路徑。 您也可以設定進階詳細資料,包含偵錯設定、引數,以及要傳遞至指令碼的參數。

    顯示 Pig 活動之 Script 索引標籤的 UI。

語法

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigScript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

語法詳細資料

屬性 描述 必要
名稱 活動的名稱 Yes
說明 說明活動用途的文字 No
型別 在 Hive 活動中,活動類型為 HDInsightPig Yes
linkedServiceName 參考已註冊為連結服務的 HDInsight 叢集。 若要深入了解此已連結的服務,請參閱計算已連結的服務一文。 Yes
scriptLinkedService 參考用來儲存要執行之 Pig 指令碼的 Azure 儲存體 連結服務。 此處僅支援 Azure Blob 儲存體 及 ADLS Gen2 連接的服務。 如果您未指定此連結服務,則使用 HDInsight 連結服務中定義的 Azure 儲存體 Linked Service。 No
scriptPath 提供 scriptLinkedService 所引用的 Azure 儲存體 中腳本檔案的路徑。 檔案名稱有區分大小寫。 No
getDebugInfo 指定何時將日誌檔案複製到 HDInsight 叢集所使用的 Azure 儲存體(或由 scriptLinkedService 指定)。 允許的值:無、總是或失敗。 預設值:無。 No
引數 指定 Hadoop 作業的引數陣列。 引數會以命令列引數的方式傳遞給每項工作。 No
定義 在 Pig 腳本中將參數指定為鍵值對以供引用。 No

請參閱下列文章,其說明如何以其他方式轉換資料: