Warnung
Microsoft Foundry と Azure Machine Learning のプロンプト フローは、2027 年 4 月 20 日に廃止されます。 新しい開発では、プロンプト フローは推奨されなくなりました。 2027 年 4 月 20 日より前に、既存の Prompt フロー アプリケーションとデプロイを Microsoft Agent Framework に移行します。
プロンプト フロー コンテナー イメージは、セキュリティやパッケージの更新プログラムなど、更新プログラムを受信しなくなりました。 これは、 promptflow-runtime、 promptflow-runtime-stable、 promptflow-pythonなどのプロンプト フロー ランタイム イメージに適用されます。
2027 年 4 月 20 日以降、Microsoft Foundry と Azure Machine Learning の Web 作成エクスペリエンス、VS Code 拡張機能、関連する Prompt フロー コンテナー イメージなど、プロンプト フローはサポートされなくなり、使用できなくなります。
アプリケーションがプロンプト フローのデプロイまたはランタイム イメージに依存している場合は、提供終了日より前に、サポートされている代替手段 (Microsoft Agent Framework にワークロードを移動することを計画します。 移行ガイダンスについては、プロンプト フロー移行ガイドと移行コード サンプルを参照してください。
Open Model LLM ツールを使用すると、Falcon や Llama 2 など、さまざまなオープン モデルと基本モデルAzure Machine Learningプロンプト フローでの自然言語処理を利用できます。
注意事項
Deprecation notice: Open Model LLM ツールは、LLM ツールを優先して非推奨となりました。これにより、Azure AI モデル推論 API でサポートされているすべてのモデルがサポートされます。そのため、プロバイダーの柔軟性が向上します。
Visual Studio Code プロンプト フロー拡張機能での動作を次に示します。 この例では、このツールを使用して LlaMa-2 チャット エンドポイントを呼び出し、"CI とは何か" を確認しています。
このプロンプト フロー ツールでは、次の 2 種類の LLM API がサポートされています。
- チャット: 前の例に示されています。 チャット API の種類は、テキストベースの入力と応答を使用した対話型の会話を容易にします。
- 入力候補: 入力候補 API の種類は、指定されたプロンプト入力に基づいて単一の応答テキスト補完を生成するために使用されます。
クイック概要: Open Model LLM ツールを使用する方法
- Azure Machine Learning モデル カタログからモデルを選択し、デプロイします。
- モデルデプロイに接続します。
- オープン モデル LLM ツールの設定を構成します。
- プロンプトを準備します。
- フローを実行します。
前提条件: モデルのデプロイ
- シナリオに一致したモデルを Azure Machine Learning モデル カタログから選択します。
-
Deploy ボタンを使用して、モデルをAzure Machine Learningオンライン推論エンドポイントにデプロイします。
- 標準の展開オプションのいずれかを使用します。
詳細については、「 推論のために基礎モデルをエンドポイントにデプロイする」を参照してください。
前提条件: モデルに接続する
デプロイされたモデルをプロンプト フローで使用するには、それに接続する必要があります。 接続する方法は 2 つあります。
エンドポイント接続
フローがAzure Machine Learningまたは Foundry ワークスペースMicrosoft関連付けられると、Open Model LLM ツールはそのワークスペース上のエンドポイントを使用できます。
Azure Machine Learningワークスペースまたは Foundry ワークスペースの使用: いずれかの Web ページ ベースのブラウザー ワークスペースでプロンプト フローを使用している場合は、そのワークスペースで自動的に起動するオンライン エンドポイントを使用できます。
VS Code またはコードを最初に使用する: VS Code またはいずれかの Code First オファリングでプロンプト フローを使用している場合は、ワークスペースに接続する必要があります。 Open Model LLM ツールは、承認に azure.identity DefaultAzureCredential クライアントを使用します。 1 つの方法は、 環境の資格情報の値を設定することです。
カスタム接続
Open Model LLM ツールは CustomConnection を使用します。 プロンプト フローでは、次の 2 種類の接続がサポートされます。
Workspace 接続 - Azure Machine Learning ワークスペースにシークレットとして格納される接続。 これらの接続は多くの場所で使用できますが、一般的に Studio UI で作成および管理されます。 Studio UI でカスタム接続を作成する方法については、 カスタム接続を作成する方法を参照してください。
ローカル接続 - コンピューターにローカルに格納されている接続。 これらの接続は Studio UX では使用できませんが、VS Code 拡張機能で使用できます。 ローカルカスタム接続を作成する方法については、ローカル 接続を作成する方法を参照してください。
設定する必要があるキーは次のとおりです。
-
endpoint_url
- この値は、以前に作成した推論エンドポイントにあります。
-
endpoint_api_key
- シークレット値として設定してください。
- この値は、以前に作成した推論エンドポイントにあります。
-
model_family
- サポートされる値: LLAMA、DOLLY、GPT2、または FALCON
- この値は、対象とするデプロイの種類によって異なります。
ツールの実行: 入力
Open Model LLM ツールには多くのパラメーターがあり、その一部が必要です。 詳細については、次の表を参照してください。これらのパラメーターを前のスクリーンショットと照合して、視覚的にわかりやすくすることができます。
| 氏名 | タイプ | Description | 必須 |
|---|---|---|---|
| api | 文字列 | 使用されるモデルと選択したシナリオに依存する API モード。 サポートされている値: (完了 |チャット) | はい |
| endpoint_name | 文字列 | サポートされているモデルがデプロイされているオンライン推論エンドポイントの名前。 接続よりも優先されます。 | はい |
| 温度 | float | 生成されたテキストのランダム性。 既定値は 1 です。 | いいえ |
| max_new_tokens | 整数 | 完了時に生成するトークンの最大数。 既定値は 500 です。 | いいえ |
| top_p | float | 生成されたトークンから上位の選択肢を使用する確率。 既定値は 1 です。 | いいえ |
| model_kwargs | 辞書 | この入力は、使用されるモデルに固有の構成を提供するために使用されます。 たとえば、Llama-02 モデルでは {"temperature":0.4} を使用できます。 既定： {} | いいえ |
| デプロイメント名 | 文字列 | オンライン推論エンドポイントのターゲットとなるデプロイの名前。 値が渡されない場合は、推論ロード バランサーのトラフィック設定が使用されます。 | いいえ |
| ダイアログを表示する | 文字列 | 言語モデルが応答を生成するために使用するテキスト プロンプト。 | はい |
出力
| API | 返り値の種類 | Description |
|---|---|---|
| Completion | 文字列 | 1 つの予測完了のテキスト |
| チャット | 文字列 | 会話に含まれる 1 つの応答のテキスト |
オンライン エンドポイントへのデプロイ
Open Model LLM ツールを含むフローをオンライン エンドポイントにデプロイする場合は、アクセス許可を設定するための追加の手順があります。 Web ページを介したデプロイ中に、システム割り当て ID の種類とユーザー割り当て ID の種類を選択できます。 どちらの方法でも、Azure ポータル (または同様の機能) を使用して、エンドポイントをホストしている Azure Machine Learning ワークスペースまたは Ai Studio プロジェクトの ID に "閲覧者" ジョブ関数ロールを追加します。 プロンプト フローのデプロイを更新する必要がある場合があります。