Wdrażanie modeli jako bezserwerowych wdrożeń interfejsu API (wersja klasyczna)

• Możesz użyć dowolnej zgodnej przeglądarki internetowej, aby poruszać się po Foundry.

Znajdowanie modelu w wykazie modeli

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).
2. Jeśli nie jesteś jeszcze w projekcie, wybierz go.
3. Wybierz pozycję Katalog modeli w okienku po lewej stronie.

Wdrażanie modelu w bezserwerowym interfejsie API

W tej sekcji utworzysz punkt końcowy dla modelu.

1. W kreatorze wdrażania wybierz pozycję Wdróż. Poczekaj, aż wdrożenie będzie gotowe, a nastąpi przekierowanie do strony Wdrożenia.

2. Aby wyświetlić punkty końcowe wdrożone w projekcie, w sekcji Moje zasoby w okienku po lewej stronie wybierz pozycję Modele i punkty końcowe.

3. Utworzony punkt końcowy używa uwierzytelniania klucza do autoryzacji. Aby uzyskać klucze skojarzone z danym punktem końcowym, wykonaj następujące kroki:

   1. Wybierz wdrożenie i zanotuj identyfikator URI i klucz punktu końcowego.

   2. Użyj tych poświadczeń, aby wywołać wdrożenie i wygenerować przewidywania.

4. Jeśli musisz korzystać z tego wdrożenia z innego projektu lub hubu albo planujesz użycie narzędzia Prompt flow do tworzenia inteligentnych aplikacji, musisz utworzyć połączenie z wdrożeniem interfejsu API serverless. Aby dowiedzieć się, jak skonfigurować istniejące wdrożenie bezserwerowego interfejsu API w nowym projekcie lub hubie, zobacz Korzystanie z wdrożenia bezserwerowego interfejsu API z innego projektu lub z Prompt flow.

   Wskazówka

   Jeśli używasz "Prompt flow" w tym samym projekcie lub centrum, w którym wdrożono aplikację, nadal musisz utworzyć połączenie.

Korzystanie z wdrożenia bezserwerowego interfejsu API

Modele wdrożone w Azure Machine Learning oraz Foundry w bezserwerowych wdrożeniach API obsługują Azure AI Model Inference API, który umożliwia dostęp do wspólnego zestawu funkcji dla modeli podstawowych i może być używany przez deweloperów do uzyskiwania prognoz z różnorodnych zestawów modeli w jednolity i spójny sposób.

Dowiedz się więcej o możliwościach tego interfejsu API i sposobachkorzystania z niego podczas tworzenia aplikacji.

Usuń punkty końcowe i subskrypcje

Możesz usunąć subskrypcje modelu i interfejsy końcowe. Usunięcie subskrypcji modelu powoduje, że skojarzony punkt końcowy jest w stanie złej kondycji i jest nieużywalny.

Aby usunąć wdrożenie bezserwerowego interfejsu API:

1. Przejdź do Foundry.
2. Przejdź do swojego projektu.
3. W sekcji Moje zasoby wybierz pozycję Modele i punkty końcowe.
4. Otwórz wdrożenie, które chcesz usunąć.
5. Wybierz pozycję Usuń.

Aby usunąć skojarzoną subskrypcję modelu:

1. Przejdź do portalu Azure
2. Przejdź do grupy zasobów, do której należy projekt.
3. W filtrze Typ wybierz pozycję SaaS.
4. Wybierz subskrypcję, którą chcesz usunąć.
5. Wybierz pozycję Usuń.

• Aby pracować z programem Foundry, zainstaluj rozszerzenie Azure CLI i rozszerzenie ml dla Azure Machine Learning.

  az extension add -n ml
  

  Jeśli masz już zainstalowane rozszerzenie, upewnij się, że zainstalowano najnowszą wersję.

  az extension update -n ml
  

  Po zainstalowaniu rozszerzenia skonfiguruj je:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

Znajdowanie modelu w wykazie modeli

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).
2. Jeśli nie jesteś jeszcze w projekcie, wybierz go.
3. Wybierz pozycję Katalog modeli w okienku po lewej stronie.

Kroki opisane w tej sekcji artykułu używają modelu DeepSeek-R1 na potrzeby ilustracji. Kroki są takie same, niezależnie od tego, czy używasz modeli Foundry Models oferowanych przez Azure, czy modeli Foundry Models pochodzących od partnerów i społeczności. Jeśli na przykład zdecydujesz się wdrożyć model Cohere-command-r-08-2024 , możesz zastąpić poświadczenia modelu w fragmentach kodu poświadczeniami aplikacji Cohere.

Wdrażanie modelu w bezserwerowym interfejsie API

W tej sekcji utworzysz punkt końcowy dla modelu. Nadaj punktowi końcowego nazwę DeepSeek-R1-qwerty.

1. Utwórz punkt końcowy bezserwerowy.

   endpoint.yml

   name: DeepSeek-R1-qwerty
   model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1
   

   Użyj pliku endpoint.yml , aby utworzyć punkt końcowy:

   az ml serverless-endpoint create -f endpoint.yml
   

2. W dowolnym momencie możesz zobaczyć punkty końcowe wdrożone w projekcie:

   az ml serverless-endpoint list
   

3. Utworzony punkt końcowy używa uwierzytelniania klucza do autoryzacji. Wykonaj poniższe kroki, aby uzyskać klucze skojarzone z danym punktem końcowym.

   az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty
   

4. Jeśli musisz korzystać z tego wdrożenia z innego projektu lub hubu albo planujesz użycie narzędzia Prompt flow do tworzenia inteligentnych aplikacji, musisz utworzyć połączenie z wdrożeniem interfejsu API serverless. Aby dowiedzieć się, jak skonfigurować istniejące wdrożenie bezserwerowego interfejsu API w nowym projekcie lub hubie, zobacz Korzystanie z wdrożenia bezserwerowego interfejsu API z innego projektu lub z Prompt flow.

   Wskazówka

   Jeśli używasz "Prompt flow" w tym samym projekcie lub centrum, w którym wdrożono aplikację, nadal musisz utworzyć połączenie.

Korzystanie z wdrożenia bezserwerowego interfejsu API

Modele wdrożone w Azure Machine Learning oraz Foundry w bezserwerowych wdrożeniach API obsługują Azure AI Model Inference API, który umożliwia dostęp do wspólnego zestawu funkcji dla modeli podstawowych i może być używany przez deweloperów do uzyskiwania prognoz z różnorodnych zestawów modeli w jednolity i spójny sposób.

Dowiedz się więcej o możliwościach tego interfejsu API i sposobachkorzystania z niego podczas tworzenia aplikacji.

Usuń punkty końcowe i subskrypcje

Możesz usunąć subskrypcje modelu i interfejsy końcowe. Usunięcie subskrypcji modelu powoduje, że skojarzony punkt końcowy jest w stanie złej kondycji i jest nieużywalny.

Aby usunąć wdrożenie bezserwerowego interfejsu API:

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

Aby usunąć skojarzoną subskrypcję modelu:

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

• Aby pracować z usługą Foundry, zainstaluj zestaw SDK Azure Machine Learning dla Python.

  pip install -U azure-ai-ml
  

  Po zainstalowaniu zaimportuj niezbędne przestrzenie nazw i utwórz klienta połączonego z projektem:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

Znajdowanie modelu w wykazie modeli

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).
2. Jeśli nie jesteś jeszcze w projekcie, wybierz go.
3. Wybierz pozycję Katalog modeli w okienku po lewej stronie.

Kroki opisane w tej sekcji artykułu używają modelu DeepSeek-R1 na potrzeby ilustracji. Kroki są takie same, niezależnie od tego, czy używasz modeli Foundry Models oferowanych przez Azure, czy modeli Foundry Models pochodzących od partnerów i społeczności. Jeśli na przykład zdecydujesz się wdrożyć model Cohere-command-r-08-2024 , możesz zastąpić poświadczenia modelu w fragmentach kodu poświadczeniami aplikacji Cohere.

Wdrażanie modelu w bezserwerowym interfejsie API

W tej sekcji utworzysz punkt końcowy dla modelu. Nadaj punktowi końcowego nazwę DeepSeek-R1-qwerty.

1. Utwórz punkt końcowy bezserwerowy.

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

2. W dowolnym momencie możesz zobaczyć punkty końcowe wdrożone w projekcie:

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

3. Utworzony punkt końcowy używa uwierzytelniania klucza do autoryzacji. Wykonaj poniższe kroki, aby uzyskać klucze skojarzone z danym punktem końcowym.

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

4. Jeśli musisz korzystać z tego wdrożenia z innego projektu lub hubu albo planujesz użycie narzędzia Prompt flow do tworzenia inteligentnych aplikacji, musisz utworzyć połączenie z wdrożeniem interfejsu API serverless. Aby dowiedzieć się, jak skonfigurować istniejące wdrożenie bezserwerowego interfejsu API w nowym projekcie lub hubie, zobacz Korzystanie z wdrożenia bezserwerowego interfejsu API z innego projektu lub z Prompt flow.

   Wskazówka

   Jeśli używasz "Prompt flow" w tym samym projekcie lub centrum, w którym wdrożono aplikację, nadal musisz utworzyć połączenie.

Korzystanie z wdrożenia bezserwerowego interfejsu API

Modele wdrożone w Azure Machine Learning oraz Foundry w bezserwerowych wdrożeniach API obsługują Azure AI Model Inference API, który umożliwia dostęp do wspólnego zestawu funkcji dla modeli podstawowych i może być używany przez deweloperów do uzyskiwania prognoz z różnorodnych zestawów modeli w jednolity i spójny sposób.

Dowiedz się więcej o możliwościach tego interfejsu API i sposobachkorzystania z niego podczas tworzenia aplikacji.

Usuń punkty końcowe i subskrypcje

Możesz usunąć subskrypcje modelu i interfejsy końcowe. Usunięcie subskrypcji modelu powoduje, że skojarzony punkt końcowy jest w stanie złej kondycji i jest nieużywalny.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Aby usunąć skojarzoną subskrypcję modelu:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

• Aby pracować z usługą Foundry, zainstaluj Azure CLI zgodnie z opisem w Azure CLI.

  Skonfiguruj następujące zmienne środowiskowe zgodnie z ustawieniami:

  RESOURCE_GROUP="serverless-models-dev"
  LOCATION="eastus2" 
  

Znajdowanie modelu w wykazie modeli

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).
2. Jeśli nie jesteś jeszcze w projekcie, wybierz go.
3. Wybierz pozycję Katalog modeli w okienku po lewej stronie.

Kroki opisane w tej sekcji artykułu używają modelu DeepSeek-R1 na potrzeby ilustracji. Kroki są takie same, niezależnie od tego, czy używasz modeli Foundry Models oferowanych przez Azure, czy modeli Foundry Models pochodzących od partnerów i społeczności. Jeśli na przykład zdecydujesz się wdrożyć model Cohere-command-r-08-2024 , możesz zastąpić poświadczenia modelu w fragmentach kodu poświadczeniami aplikacji Cohere.

Wdrażanie modelu w bezserwerowym interfejsie API

W tej sekcji utworzysz punkt końcowy dla modelu. Nadaj punktowi końcowemu nazwę myserverless-text-1234ss.

1. Utwórz punkt końcowy bezserwerowy. Użyj następującego szablonu, aby utworzyć punkt końcowy:

   serverless-endpoint.bicep

   param projectName string = 'my-project'
   param endpointName string = 'myserverless-text-1234ss'
   param location string = resourceGroup().location
   param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   // Replace period character which is used in some model names (and is not valid in the subscription name)
   var sanitizedModelName = replace(modelName, '.', '')
   var subscriptionName = '${sanitizedModelName}-subscription'
   
   resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
     name: '${projectName}/${endpointName}'
     location: location
     sku: {
       name: 'Consumption'
     }
     properties: {
       modelSettings: {
         modelId: modelId
       }
     }
     dependsOn: [
       projectName_subscription
     ]
   }
   
   output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
   

   Utwórz wdrożenie w następujący sposób:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

2. W dowolnym momencie możesz zobaczyć punkty końcowe wdrożone w projekcie:

   Narzędzia do zarządzania zasobami umożliwiają wykonywanie zapytań dotyczących zasobów. Poniższy kod używa Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Utworzony punkt końcowy używa uwierzytelniania klucza do autoryzacji. Pobierz klucze skojarzone z danym punktem końcowym przy użyciu interfejsów API REST w celu wykonywania zapytań dotyczących tych informacji.

4. Jeśli musisz korzystać z tego wdrożenia z innego projektu lub hubu albo planujesz użycie narzędzia Prompt flow do tworzenia inteligentnych aplikacji, musisz utworzyć połączenie z wdrożeniem interfejsu API serverless. Aby dowiedzieć się, jak skonfigurować istniejące wdrożenie bezserwerowego interfejsu API w nowym projekcie lub hubie, zobacz Korzystanie z wdrożenia bezserwerowego interfejsu API z innego projektu lub z Prompt flow.

   Wskazówka

   Jeśli używasz "Prompt flow" w tym samym projekcie lub centrum, w którym wdrożono aplikację, nadal musisz utworzyć połączenie.

Korzystanie z wdrożenia bezserwerowego interfejsu API

Modele wdrożone w Azure Machine Learning oraz Foundry w bezserwerowych wdrożeniach API obsługują Azure AI Model Inference API, który umożliwia dostęp do wspólnego zestawu funkcji dla modeli podstawowych i może być używany przez deweloperów do uzyskiwania prognoz z różnorodnych zestawów modeli w jednolity i spójny sposób.

Dowiedz się więcej o możliwościach tego interfejsu API i sposobachkorzystania z niego podczas tworzenia aplikacji.

Usuń punkty końcowe i subskrypcje

Możesz usunąć subskrypcje modelu i interfejsy końcowe. Usunięcie subskrypcji modelu powoduje, że skojarzony punkt końcowy jest w stanie złej kondycji i jest nieużywalny.

Do zarządzania zasobami można użyć narzędzi do zarządzania zasobami. Poniższy kod używa Azure CLI:

az resource delete --name <resource-name>