使用 Azure Data Factory 或 Synapse Analytics 從 Impala 複製資料

適用於： Azure Data Factory Azure Synapse Analytics

本文說明如何在 Azure Data Factory 或 Synapse Analytics 管線中使用複製活動，從 Impala 複製資料。 本文是根據複製活動概觀一文，該文提供複製活動的一般概觀。

支援的功能

此 Impala 連接器支援下列功能：

（1） Azure 整合執行時 （2） 自架整合執行時

如需複製活動所支援作為來源或接收器的資料存放區清單，請參閱支援的資料存放區表格。

該服務會提供內建的驅動程式來啟用連線。 因此，您不需要為了使用此連接器而需手動安裝驅動程式。

先決條件

如果你的資料儲存位於本地網路、Azure虛擬網路或亞馬遜虛擬私人雲中，你需要配置一個自架整合執行時來連接它。

如果你的資料儲存是雲端管理型資料服務，你可以使用Azure Integration Runtime。 如果存取權限限制在防火牆規則中核准的 IP，你可以將 Azure Integration Runtime IPs 加入允許清單。

你也可以在 Azure Data Factory 中使用 managed 虛擬網路整合執行時功能，無需安裝和設定自架整合執行環境即可存取本地網路。

如需 Data Factory 支援的網路安全性機制和選項的詳細資訊，請參閱資料存取策略。

開始

若要使用管線執行複製活動，您可以使用下列其中一個工具或 SDK：

• 複製資料工具
• Azure portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 模板

使用 UI 建立連至 Impala 的連結服務

請依照以下步驟在 Azure 入口網站介面中建立與 Impala 的連結服務。

1. 請瀏覽 Azure Data Factory 或 Synapse 工作區的管理標籤，選擇連結服務，然後點選新建：

   • Azure Data Factory
   • Azure Synapse

   

2. 搜尋 Impala，接著選取 Impala 連接器。

   

3. 設定服務詳細資料，測試連線，然後建立新的連結服務。

   

連接器設定詳細資料

下列各節提供屬性的相關詳細資料，這些屬性是用來定義 Impala 連接器專屬的 Data Factory 實體。

連結服務屬性

Impala 連接器現在支援 2.0 版。 請參閱 本節，將您的 Impala 連接器版本從 1.0 升級。 如需屬性詳細資料，請參閱對應的章節。

• 2.0 版
• 1.0 版

2.0 版

Impala 連結服務在套用 2.0 版時支援下列屬性：

範例︰

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl": true,
            "thriftTransportProtocol": "Binary",
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

1.0 版

套用 1.0 版時，Impala 連結服務支援下列屬性：

以下是針對 Impala 連結服務所支援的屬性。

範例︰

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

資料集屬性

如需可用來定義資料集的區段和屬性完整清單，請參閱資料集一文。 本節提供 Impala 資料集所支援的屬性清單。

若要從 Impala 複製資料，請將資料集的類型屬性設定為 ImpalaObject。 以下是支援的屬性：

範例

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

複製活動屬性

如需可用來定義活動的區段和屬性完整清單，請參閱管線一文。 本節提供 Impala 來源類型所支援的屬性清單。

Impala 作為來源類型

若要從 Impala 複製資料，請將複製活動中的來源類型設定為 ImpalaSource。 複製活動的 [來源] 區段支援下列屬性。

範例︰

"activities":[
    {
        "name": "CopyFromImpala",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Impala input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ImpalaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Impala 的資料類型對應

當您從 Impala 複製資料及將資料複製到該處時，服務內會使用下列過渡資料類型對應。 若要瞭解複製活動如何將來源架構和資料類型映射到匯入端，請參閱 架構和資料類型對應。

查閱活動屬性

若要了解屬性的詳細資料，請參閱查閱活動。

Impala 連接器生命週期和升級

下表顯示不同 Impala 連接器版本的發行階段和變更記錄：

將 Impala 連接器從 1.0 版升級至 2.0 版

1. 在 [編輯鏈接服務 ] 頁面中，選取 2.0 版，並參考 鏈接服務屬性 2.0 版來設定連結服務。

2. Impala 連結服務版本 2.0 的數據類型對應與版本 1.0 的數據類型對應不同。 若要瞭解最新的數據類型對應，請參閱 Impala 的數據類型對應。

3. 自行裝載的整合執行環境需要5.55或以上版本。

相關內容

如需複製活動支援作為來源和接收器的資料存放區清單，請參閱支援的資料存放區。