將模型從 Hugging Face Hub 部署至 Azure Machine Learning 線上端點,以進行即時推論

Microsoft 與 Hugging Face 合作,將 Hugging Face Hub 的開源模型帶到 Azure Machine Learning。 Hugging Face 是轉換程式的建立器,這是一個廣受歡迎的程式庫,用於建立大型語言模型。 具有數千個開放原始碼模型的 Hugging Face 模型中樞。 透過整合 Azure Machine Learning,您可以部署自己選擇的開源模型,以保護且可擴展的 Azure 推論基礎架構。 您可以從 Azure Machine Learning 模型目錄中的數千個轉換程式模型搜尋,並透過引導式精靈輕鬆地將模型部署至受控線上端點。 當你部署受管理的線上端點時,它會提供一個安全的 REST API 讓你能即時評分你的模型。

Note

來自 Hugging Face 的模型須受 Hugging Face 模型詳細資料頁面上的可用第三方授權條款之限制。 你有責任遵守模特兒的授權條款。

使用線上端點進行即時推斷的優點

Azure Machine Learning 中的受控線上端點可協助您在 Azure 中,以周全的方式將模型部署至強大的 CPU 和 GPU 機器。 託管線上端點負責服務、擴展、保護及監控您的模型,讓您無需自行架設和管理底層基礎設施。 當您部署模型時,系統會為您自動佈建虛擬機器。 您可以有多個部署,並且將流量分割或鏡像至 (部分機器翻譯) 那些部署。 鏡像流量可協助您在正式環境流量上測試新版本的模型,而無須將它們發行至生產環境。 流量分割可讓您在觀察效能表現的同時,逐步增加流向新模型版本的正式環境流量。 自動調整 可讓您根據工作負載動態增加或減少資源。 您可以根據使用率計量、特定排程或兩者的組合來設定調整。 根據使用率計量進行調整的一個範例是,如果 CPU 使用率高於 70%,則新增節點。 排程型調整的一個範例是根據尖峰上班時間新增節點。

使用 Studio 部署 Hugging Face 集線器模型

若要尋找部署模型,請開啟 Azure Machine Learning 工作室中的模型目錄。 選擇所有篩選條件,然後在篩選集合區塊中選擇 HuggingFace。 選取模型圖格以開啟模型頁面。

部署模型

選擇即時部署選項,以開啟快速部署對話方塊。 指定下列選項:

  • 選取 GPU 或 CPU 的範本。 CPU 實例類型適合測試,GPU 實例類型在生產環境中效能較佳。 大型模型無法容納在 CPU 實例類型中。
  • 選取執行個體類型。 此實例清單會篩選出能部署模型且不會耗盡記憶體的實例。
  • 選取執行個體的數目。 一個實例足以進行測試,但在正式環境中,建議使用兩個或更多實例。
  • 選擇性地指定端點和部署名稱。
  • 請選擇 部署。 接著,您會流覽至端點頁面,這可能需要幾秒鐘的時間。 部署需要幾分鐘的時間,才能根據模型大小和執行個體類型來完成。

注意:如果您想要部署至現有的端點,請從快速部署對話方塊中選取 More options,並使用完整的部署精靈。

門控模型

受限制模型是指在使用前需要先獲得模型作者批准的模型。 若要使用這些模型:

  1. 擁有 Hugging Face 讀取或細微權限的代碼。
  2. 請透過 Hugging Face 上的模特兒頁面申請存取權限。
  3. 建立一個名為 HuggingFaceTokenConnection 的自訂金鑰連線,其中金鑰為 HF_TOKEN,而值為標記為秘密的 Hugging Face 代幣。
  4. 建立一個端 點 ,將 enforce_access_to_default_secret_stores 設為 enabled。
  5. 使用新建立的端點部署模型。

測試已部署的模型

部署結束後,你可以在 端點 頁面找到該模型的 REST 端點。 用這個端點來評分模型。 你可以選擇新增更多部署、管理流量,以及擴展 端點 中心。 使用端點頁面上的 測試 標籤,用樣本輸入測試模型。 模型頁面上會顯示範例輸入。 您可以在 Hugging Face Hub 推理 API 文件中找到輸入格式、參數和範例輸入。

使用 Python SDK 部署 HuggingFace 集線器模型

設定 Python SDK 。

尋找要部署的模型

瀏覽 Azure Machine Learning 工作室中的模型目錄,並尋找您要部署的模型。 複製您想要部署的模型名稱。 匯入必要的程式庫。 目錄中顯示的模型會從 HuggingFace 登錄列出。 使用您從模型目錄和 model_id 登錄複製的模型名稱,建立 HuggingFace。 使用此範例中的最新版本來部署 bert-base-uncased 模型。

from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    ManagedOnlineEndpoint,
    ManagedOnlineDeployment,
)
from azure.identity import DefaultAzureCredential

ml_client = MLClient(
    credential=DefaultAzureCredential(),
    subscription_id="<your-subscription-id>",
    resource_group_name="<your-resource-group>",
    workspace_name="<your-workspace-name>"
)


registry_name = "HuggingFace"
model_name = "bert-base-uncased"
model_id = f"azureml://registries/{registry_name}/models/{model_name}/labels/latest"

部署模型

建立線上端點。 然後,建立部署。 最後,將所有流量設定為使用此部署。 您可以從模型目錄中的模型頁面開啟快速部署對話方塊,以找到模型的最佳 CPU 或 GPU instance_type。 請確定您使用具有配額的 instance_type。

import time
endpoint_name="hf-ep-" + str(int(time.time())) # endpoint name must be unique per Azure region, hence appending timestamp 
ml_client.begin_create_or_update(ManagedOnlineEndpoint(name=endpoint_name) ).wait()
ml_client.online_deployments.begin_create_or_update(ManagedOnlineDeployment(
    name="demo",
    endpoint_name=endpoint_name,
    model=model_id,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)).wait()
endpoint = ml_client.online_endpoints.get(endpoint_name)
endpoint.traffic = {"demo": 100}
ml_client.begin_create_or_update(endpoint).result()

測試已部署的模型

建立一個包含輸入的檔案,然後提交給線上端點進行評分。 本節的程式碼範例允許輸入 fill-mask 該型別,因為你已經部署了模型 bert-base-uncased 。 您可以在 Hugging Face Hub 推理 API 文件中找到輸入格式、參數和範例輸入。

import json
scoring_file = "./sample_score.json"
with open(scoring_file, "w") as outfile:
    outfile.write('{"inputs": ["Paris is the [MASK] of France.", "The goal of life is [MASK]."]}')   
response = ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name="demo",
    request_file=scoring_file,
)
response_json = json.loads(response)
print(json.dumps(response_json, indent=2))

使用 CLI 部署 HuggingFace 中樞模型

設定 CLI。

尋找要部署的模型

瀏覽 Azure Machine Learning 工作室中的模型目錄,並尋找您要部署的模型。 複製您想要部署的模型名稱。 目錄中顯示的模型會從 HuggingFace 登錄列出。 使用此範例中的最新版本來部署 bert-base-uncased 模型。

部署模型

你需要 instance_type 和 model 的值來部署模型。 您可以從模型目錄中的模型頁面開啟快速部署對話方塊,以找到模型的最佳 CPU 或 GPU instance_type。 請確定您使用具有配額的 instance_type。

目錄中顯示的模型會從 HuggingFace 登錄列出。 使用此範例中的最新版本來部署 bert-base-uncased 模型。 根據模型名稱和登錄的完整 model 資產識別碼是 azureml://registries/HuggingFace/models/bert-base-uncased/labels/latest。 您會建立用於deploy.yml命令的az ml online-deployment create內嵌檔案。

建立線上端點。 然後,建立部署。

# create endpoint
endpoint_name="hf-ep-"$(date +%s)
model_name="bert-base-uncased"
az ml online-endpoint create --name $endpoint_name 

# create deployment file. 
cat <<EOF > ./deploy.yml
name: demo
model: azureml://registries/HuggingFace/models/$model_name/labels/latest
endpoint_name: $endpoint_name
instance_type: Standard_DS3_v2
instance_count: 1
EOF
az ml online-deployment create --file ./deploy.yml --workspace-name $workspace_name --resource-group $resource_group_name

測試已部署的模型

建立一個包含輸入的檔案,然後提交給線上端點進行評分。 Hugging Face 將fill-mask類型的程式碼輸入提供給已部署bert-base-uncased的模型。 你可以在 Hugging Face hub 推理 API 文件中找到輸入格式、參數和範例輸入。

scoring_file="./sample_score.json"
cat <<EOF > $scoring_file
{
  "inputs": [
    "Paris is the [MASK] of France.",
    "The goal of life is [MASK]."
  ]
}
EOF
az ml online-endpoint invoke --name $endpoint_name --request-file $scoring_file

Hugging Face 模型範例程式碼

請造訪此連結來尋找各種案例的 hugging face 模型範例程式碼,包括權杖分類、翻譯、問題解答和零樣本分類。

疑難排解:部署錯誤和不支援的模型

HuggingFace 中心擁有數千款模型,每天更新數百款。 僅測試收藏中最受歡迎的模型,其他模型可能因以下錯誤之一而失敗。

門控模型

門控模型 需要使用者同意分享聯絡資訊,並接受模型擁有者的條款與條件,才能存取模型。 若未正確遵循 前述步驟,嘗試部署此類模型會因 KeyError 而失敗。

需要執行遠端程式碼的模型

模型通常會使用轉換程式 SDK 中的程式碼,但有些模型會執行模型存放庫中的程代碼。 這類模型必須將 trust_remote_code 參數設為 True。 請遵循此連結,以深入瞭解如何使用 遠端程式碼。 出於安全考量,這類模型不被支援。 嘗試部署這類模型失敗,並出現下列錯誤: ValueError: Loading <model> requires you to execute the configuration file in that repo on your local machine. Make sure you read the code to avoid malicious use, then set the option trust_remote_code=True to remove this error.

具有不正確權杖化工具的模型

模型套件中未正確指定或遺漏的權杖化工具可能會導致 OSError: Can't load tokenizer for <model> 錯誤。

缺少程式庫

有些模型需要額外的 Python 函式庫。 您可以在本機執行模型時安裝遺漏的程式庫。 需要標準 Transformers 函式庫以外的特殊函式庫的模型,會因 ImportError 或 ModuleNotFoundError 錯誤而失敗。

記憶體不足

如果您看到 OutOfQuota: Container terminated due to insufficient memory 錯誤,請嘗試使用記憶體較大的 instance_type。

常見問題集

模型權數會儲存在哪裡?

Hugging Face 模型透過登錄檔出現在 Azure Machine Learning 模型目錄HuggingFace中。 Hugging Face 建立並管理這個登錄檔,並將其作為社群登錄檔提供給 Azure Machine Learning。 模型權數並未裝載在 Azure 上。 當你部署這些模型時,工作空間中的線上端點會直接從 Hugging Face 中心下載重量。 HuggingFace Azure Machine Learning 中的登錄檔作為目錄,幫助你在 Azure Machine Learning 中發現並部署 Hugging Face hub 的中樞模型。

支援哪些型號?

Azure 支援符合以下條件的 Hugging Face 模型:

  • 該模型在 Hugging Face Hub 上帶有 Transformers、Diffusers 或 Sentence-Transformers 標籤。
  • 模型有一個 支援的任務 ,例如 chat-completion、 image-to-text或 embeddings。
  • 模型權重是 Safetensor 格式,模型不需要 trust_remote_code。

我該如何部署用於批次推論的模型? 目前,你無法將這些模型部署到批次端點進行批次推論。

我可以用登錄檔 HuggingFace 的模型作為作業輸入,這樣我就能用 transformers SDK 微調這些模型嗎? 因為模型權重不存在 HuggingFace 登錄檔,你無法透過這些模型作為工作輸入來存取模型權重。

如果我的部署失敗或推論沒有如預期運作,我該如何獲得支援?HuggingFace是社群註冊表,Microsoft 支援不涵蓋。 檢查部署日誌,確認問題是與 Azure Machine Learning 平台有關,還是 Hugging Face Transformers 特有的問題。 如果有任何平台問題,例如無法建立線上端點或端點 REST API 無法驗證,請聯絡 Microsoft 客服。 對於 transformer 專屬的問題,可以在 GitHub 建立議題、使用 HuggingFace 論壇,或使用 HuggingFace 支援。

什麼是社群登錄? 受信任的 Azure Machine Learning 合作夥伴會建立社群登錄檔,作為 Azure Machine Learning 登錄檔。 所有 Azure Machine Learning 使用者都能存取這些資料。

使用者可以在哪裡提交有關 Azure Machine Learning 內 Hugging Face 的問題和疑慮? 在 Azure Machine Learning 討論論壇 中提交您的問題,或開啟 GitHub 問題。

區域可用性

Hugging Face 集合目前僅適用於公用雲端的所有區域。