如何在經典版的託管運算部署中進行部署和推論

部署模型

1. 在模型頁面，選擇 「使用此模型」。 若所選模型僅能部署至受管理計算，此動作會開啟部署視窗。

2. 或者，如果你選擇了同時支援其他部署選項的機型，就會進入「購買選項」視窗。 選擇「 管理運算 購買」選項以開啟部署視窗。

   • 在部署視窗中選擇勾選方塊以使用臨時共享配額。 若要部署到自架管理的運算系統，你的訂閱必須有足夠的配額。 如果你的配額不足，你可以透過選擇「我想要使用共享配額」選項，使用我們的臨時配額權限 ，我承認這個端點將在 168 小時內被刪除。

3. 部署視窗會預先填入一些選擇和參數值。 你可以選擇保留或依照需要更改。 你也可以選擇現有的端點來部署，或建立一個新的端點。 在這個例子中，指定一個 1 實例數量，並建立一個新的端點來部署。

   

4. 選擇 部署 以建立你的部署。 創建過程可能需要幾分鐘完成。 完成後，入口網站會開啟模型部署頁面。

   提示

   要查看已部署到你專案的端點，請到左側窗格的「我的資產」區塊，選擇 Models + 端點。

5. 確認你的部署是否成功。 在部署細節頁面，檢查配置狀態是否顯示成功，部署狀態顯示健康。 如果你看到任何錯誤，請參考 故障排除 部分。

6. 建立端點會使用金鑰認證來進行授權。 要取得與特定端點相關的金鑰，請依照以下步驟操作：

   1. 選擇部署，並記錄端點的目標 URI 與金鑰。
   2. 利用這些憑證呼叫部署並產生預測。

   目標URI遵循以下格式： https://<endpoint-name>.<region>.inference.ml.azure.com/score

取用部署

建立部署後，請遵循以下步驟來加以取用：

1. 在您的 Foundry 專案中，選取 [我的資產] 區段下的 [模型 + 端點]。
2. 從 「模型部署」 標籤中選擇您的部署。
3. 移至 [測試] 索引標籤以取得端點的範例推斷。
4. 回到 「詳情 」標籤，複製部署的「目標 URI」，你可以用它來執行程式碼推論。
5. 到部署的 Consume 標籤中尋找用於消費的程式碼範例。

6. 從你選擇的模型詳情頁面複製型號 ID。 對於所選模型，情況如下： azureml://registries/azureml/models/Phi-4/versions/8。

部署模型

1. 安裝 Azure Machine Learning SDK。

   pip install azure-ai-ml
   pip install azure-identity
   

2. 用 Azure Machine Learning 認證並建立客戶端物件。 請將佔位符替換成你的訂閱 ID、資源群組名稱和 Foundry 專案名稱。

   from azure.ai.ml import MLClient
   from azure.identity import InteractiveBrowserCredential
   
   workspace_ml_client = MLClient(
       credential=InteractiveBrowserCredential(),
       subscription_id="your subscription ID goes here",
       resource_group_name="your resource group name goes here",
       workspace_name="your project name goes here",
   )
   

   這段程式碼透過互動式瀏覽器憑證與 Azure 進行驗證，並建立一個客戶端來與你的 Foundry 專案互動。 執行這段程式碼時，瀏覽器會開啟一個驗證視窗。

   參考資料：MLClient、 InteractiveBrowserCredential

3. 建立一個端點。 對於管理式運算部署選項，你需要在模型部署前建立端點。 可以把端點想像成一個可以容納多個模型部署的容器。 端點名稱在某個區域內必須是唯一的，因此在此範例中，使用時間戳來建立唯一的端點名稱。

   import time, sys
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       ProbeSettings,
   )
   
   # Make the endpoint name unique
   timestamp = int(time.time())
   online_endpoint_name = "customize your endpoint name here" + str(timestamp)
   
   # Create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       auth_mode="key",
   )
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).wait()
   

   此程式碼建立一個基於金鑰的受管理線上端點。 手術通常需時2至3分鐘。 完成後，你會有一個端點網址，可以部署模型。

   參考：ManagedOnlineEndpoint、online_endpoints.begin_create_or_update

4. 建立部署。 將下一個程式碼中的型號 ID 替換為你從「 尋找你的模型」 目錄區塊中所選模型詳情頁複製的型號 ID。

   model_name = "azureml://registries/azureml/models/Phi-4/versions/8" 
   
   demo_deployment = ManagedOnlineDeployment(
       name="demo",
       endpoint_name=online_endpoint_name,
       model=model_name,
       instance_type="Standard_DS3_v2",
       instance_count=2,
       liveness_probe=ProbeSettings(
           failure_threshold=30,
           success_threshold=1,
           timeout=2,
           period=10,
           initial_delay=1000,
       ),
       readiness_probe=ProbeSettings(
           failure_threshold=10,
           success_threshold=1,
           timeout=10,
           period=10,
           initial_delay=1000,
       ),
   )
   workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
   endpoint.traffic = {"demo": 100}
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).result()
   

   這段程式碼會將模型部署到你的端點，並有兩個Standard_DS3_v2虛擬實例。 部署包含存活與就緒探查，用於健康狀態監視。 本次部署的流量設定為 100%。 整個行動需要數分鐘才能完成。 完成後，你的模型即可接受推理請求。

   參考資料：ManagedOnlineDeployment、ProbeSettings、online_deployments.begin_create_or_update

對部署進行推論

1. 你需要範例 JSON 資料來測試推論。 在你的工作目錄中建立一個檔案， sample_score.json 內容如下：

   {
     "inputs": {
       "question": [
         "Where do I live?",
         "Where do I live?",
         "What's my name?",
         "Which name is also used to describe the Amazon rainforest in English?"
       ],
       "context": [
         "My name is Wolfgang and I live in Berlin",
         "My name is Sarah and I live in London",
         "My name is Clara and I live in Berkeley.",
         "The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
       ]
     }
   }
   

2. 使用sample_score.json進行推理。 根據你儲存範例 JSON 檔案的位置，在下一段程式碼中更改評分檔案的位置。

   import json
   
   scoring_file = "./sample_score.json" 
   response = workspace_ml_client.online_endpoints.invoke(
       endpoint_name=online_endpoint_name,
       deployment_name="demo",
       request_file=scoring_file,
   )
   response_json = json.loads(response)
   print(json.dumps(response_json, indent=2))
   

   這段程式碼會將範例問題和上下文傳送到你部署的模型，並列印答案。 模型透過從提供的上下文中擷取相關文字來進行問答。 預期輸出包括每題的答案文字及信心分數。

   參考資料：online_endpoints.invoke