AZURE Kubernetes Service (AKS) 上の LLM 推論サービスと MCP サーバーを AI ツールチェーン オペレーター アドオンと統合する

この記事では、MCP 準拠のツール サーバーを Azure Kubernetes Service (AKS) 上の AI ツールチェーン オペレーター (KAITO) 推論ワークスペースに接続し、LLM アプリケーションを呼び出すセキュリティで保護されたモジュール式のツールを有効にします。 また、モデルを MCP サーバーと統合し、構造化された応答を使用してリアルタイム関数の実行を監視することで、エンドツーエンドのツール呼び出しを検証する方法についても説明します。

モデル コンテキスト プロトコル (MCP)

ツール呼び出しによる KAITO 推論の拡張機能として、モデル コンテキスト プロトコル (MCP) は、呼び出す言語モデル用のツールを定義および公開するための標準化された方法を提供します。

MCP を使用したツール呼び出しにより、ロジックをモデル自体に緊密に結合することなく、言語モデルを実際のサービスやアクションに簡単に接続できます。 MCP では、すべての関数または API 呼び出しをアプリケーション コードに埋め込む代わりに、互換性のある LLM で使用できる標準化されたツールまたは API を公開するスタンドアロン ツール サーバーを実行できます。 このクリーンな分離は、ツールを個別に更新し、モデル間で共有し、他のマイクロサービスと同様に管理できることを意味します。

独自の (BYO) 内部サーバーを持ち込んだり、AKS 上の KAITO 推論ワークスペースとシームレスに外部 MCP サーバーを接続したりできます。

AKS 上の AI ツールチェーン 演算子 (KAITO) を使用した MCP

外部 MCP サーバーは、統一されたスキーマドリブン形式で登録し、 KAITO ワークスペースでデプロイされたものも含め、互換性のある推論エンドポイントに提供できます。 このアプローチにより、ビジネス ロジックの外部化、ツールの実行からモデルの動作の切り離し、エージェント、モデル、環境間でツールを再利用できます。

このガイドでは、定義済みの MCP サーバーを登録し、KAITO 推論ワークスペースで実行されている LLM によって発行された実際の呼び出しをテストし、ツール実行パス全体 (モデル プロンプトから MCP 関数呼び出しまで) が意図したとおりに動作することを確認します。 モデルに関係なく、ツールを柔軟にスケーリングまたはスワップできます。

[前提条件]

参照 MCP サーバーに接続する

この例では、タイム ゾーン変換機能を提供し、LLM が現在の時刻情報を取得し、標準化された名前を使用して変換を実行できるようにする、参照 Time MCP サーバーを使用します。

KAITO 推論サービスをポートフォワードする

  1. KAITO ワークスペースの準備ができていることを確認し、 kubectl get コマンドを使用して推論サービス エンドポイントを取得します。

    kubectl get svc workspace‑phi‑4-mini-toolcall
    

    注

    出力は、 ClusterIP または内部アドレスである可能性があります。 サービスがリッスンしているポートを確認します。 既定の KAITO 推論 API は、HTTP のポート 80 にあります。 内部のみである場合は、ローカルでポート転送できます。

  2. kubectl port-forward コマンドを使用して、推論サービスをポートフォワードしてテストします。

    kubectl port-forward svc/workspace‑phi‑4‑mini-toolcall 8000:80
    
  3. /v1/models エンドポイントを確認し、Phi-4-mini-instruct を使用して curl LLM が使用可能であることを確認します。

    curl http://localhost:8000/v1/models
    

    Phi-4-mini-instruct OpenAI と互換性のある推論 API は、次の場合に使用できます。

    http://localhost:8000/v1/chat/completions
    

参照 MCP サーバーが有効であることを確認する

この例では、Time MCP サーバーが https://mcp.example.com でホストされていることを前提としています。

  • curlを使用してサーバーからツールが返されたことを確認します。

    curl https://mcp.example.com/mcp/list_tools
    

    予想される出力:

    {
      "tools": [
        {
          "name": "get_current_time",
          "description": "Get the current time in a specific timezone",
          "arguments": {
            "timezone": "string"
          }
        },
        {
          "name": "convert_time",
          "description": "Convert time between two timezones",
          "arguments": {
            "source_timezone": "string",
            "time": "string",
            "target_timezone": "string"
          }
        }
      ]
    }
    

API 要求を使用して MCP サーバーを KAITO ワークスペースに接続する

KAITO は、 API 要求で宣言されたツール 、または推論ランタイム内で動的に登録されたツール (vLLM + MCP ツール ローダー) からツール定義を自動的にフェッチします。

このガイドでは、MCP 定義を使用してサーバーを指すツール呼び出し要求を Phi-4-mini-instruct 推論エンドポイントに送信する Python 仮想環境を作成します。

  1. このテスト プロジェクトの新しい作業ディレクトリを定義します。

    mkdir kaito-mcp
    cd kaito-mcp
    
  2. Python 仮想環境を作成し、すべてのパッケージがテスト プロジェクトに対してローカルになるようにアクティブ化します。

    uv venv
    source .venv/bin/activate
    
  3. オープンソースの Autogen フレームワークを使用して、ツール呼び出し機能をテストし、その依存関係をインストールします。

    uv pip install "autogen-ext[openai]" "autogen-agentchat" "autogen-ext[mcp]"
    
  4. 次の test.py という名前のテスト ファイルを作成します。

    • Time MCP サーバーに接続し、ツール get_current_time 読み込みます。
    • localhost:8000で実行されている KAITO 推論サービスに接続します。
    • "ヨーロッパ/パリでは何時ですか?" のようなクエリの例を送信します。
    • get_current_time ツールの自動選択と呼び出しを有効にします。
    import asyncio
    
    from autogen_agentchat.agents import AssistantAgent
    from autogen_agentchat.ui import Console
    from autogen_core import CancellationToken
    from autogen_core.models import ModelFamily, ModelInfo
    from autogen_ext.models.openai import OpenAIChatCompletionClient
    from autogen_ext.tools.mcp import (StreamableHttpMcpToolAdapter,
                                    StreamableHttpServerParams)
    from openai import OpenAI
    
    
    async def main() -> None:
        # Create server params for the Time MCP service
        server_params = StreamableHttpServerParams(
            url="https://mcp.example.com/mcp",
            timeout=30.0,
            terminate_on_close=True,
        )
    
        # Load the get_current_time tool from the server
        adapter = await StreamableHttpMcpToolAdapter.from_server_params(server_params, "get_current_time")
    
        # Fetch model name from KAITO's local OpenAI-compatible API
        model = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy").models.list().data[0].id
    
        model_info: ModelInfo = {
            "vision": False,
            "function_calling": True,
            "json_output": True,
            "family": ModelFamily.UNKNOWN,
            "structured_output": True,
            "multiple_system_messages": True,
        }
    
        # Connect to the KAITO inference workspace
        model_client = OpenAIChatCompletionClient(
            base_url="http://localhost:8000/v1",
            api_key="dummy",
            model=model,
            model_info=model_info
        )
    
        # Define the assistant agent
        agent = AssistantAgent(
            name="time-assistant",
            model_client=model_client,
            tools=[adapter],
            system_message="You are a helpful assistant that can provide time information."
        )
    
        # Run a test task that invokes the tool
        await Console(
            agent.run_stream(
                task="What time is it in Europe/Paris?",
                cancellation_token=CancellationToken()
            )
        )
    
    if __name__ == "__main__":
        asyncio.run(main())
    
  5. 仮想環境でテスト スクリプトを実行します。

    uv run test.py
    

    このテストの出力では、次のものが必要です。

    • モデルは、MCP 名と予期される引数を使用して、ツール呼び出しを正しく生成します。
    • Autogen はツール呼び出しを MCP サーバーに送信し、MCP サーバーはロジックを実行して結果を返します。
    • Phi-4-mini-instruct LLM は、生のツール出力を解釈し、自然言語応答を提供します。
    ---------- TextMessage (user) ----------
    What time is it in Europe/Paris?
    
    ---------- ToolCallRequestEvent (time-assistant) ----------
    [FunctionCall(id='chatcmpl-tool-xxxx', arguments='{"timezone": "Europe/Paris"}', name='get_current_time')]
    
    ---------- ToolCallExecutionEvent (time-assistant) ----------
    [FunctionExecutionResult(content='{"timezone":"Europe/Paris","datetime":"2025-09-17T17:43:05+02:00","is_dst":true}', name='get_current_time', call_id='chatcmpl-tool-xxxx', is_error=False)]
    
    ---------- ToolCallSummaryMessage (time-assistant) ----------
    The current time in Europe/Paris is 5:43 PM (CEST).
    

その他の MCP ツールを試す

convert_timeなど、この MCP サーバーで使用できるさまざまなツールをテストできます。

  1. 前の手順の test.py ファイルで、 adapter 定義を次のように更新します。

    adapter = await StreamableHttpMcpToolAdapter.from_server_params(server_params, "convert_time")
    
  2. 新しいツールを呼び出すように task 定義を更新します。 例えば次が挙げられます。

    task="Convert 9:30 AM New York time to Tokyo time."
    
  3. Python スクリプトを保存して実行します。

    uv run test.py
    

    予想される出力:

    9:30 AM in New York is 10:30 PM in Tokyo.
    

トラブルシューティング

次の表は、外部 MCP サーバーで KAITO 推論をテストするときの一般的なエラーとその解決方法を示しています。

エラー 解決方法
Tool not found ツール名が、 /mcp/list_toolsで宣言されている名前と一致していることを確認します。
401 Unauthorized MCP サーバーで認証トークンが必要な場合は、 server_params を更新して、認証トークンを持つヘッダーを含めるようにしてください。
connection refused KAITO 推論サービスが適切にポート転送されていることを確認します (例: localhost:8000)。
tool call ignored KAITO ツールの呼び出しに関するドキュメントを確認して、ツール呼び出しをサポートする vLLM モデルを見つけます。

次のステップ

この記事では、Autogen を使用して KAITO ワークスペースを外部参照 MCP サーバーに接続し、OpenAI 互換 API を介したツール呼び出しを有効にする方法について説明しました。 また、LLM が AKS 上の MCP 準拠ツールから結果を検出、呼び出し、統合できることも検証しました。 詳細については、次のリソースを参照してください。