Foundation Model APIに対してプロビジョニング済みスループットを予約する

このページでは、 Foundation Model API向けのリザーブプロビジョッドスループットについて説明します。それが何であるか、いつ使うべきか、予約のサイズ付け方法、そしてそれを使用するエンドポイントの作成と管理方法についてです。

予約済みプロビジョニングスループットとは何ですか?

Reserved provisioned throughputは、Azure Databricks Foundation Model APIの容量オプションです。 共有の容量プールから割り当てられる「トークン単位の提供」ではなく、所定の契約期間にわたって固定量の専用容量を確保します。 その容量はモデル単位で測定され、Azure Databricks では予約期間中、その容量が確保されます。

容量が事前に専用かつ予約されているため、共有ペイパートークンの需要が高くても、その容量のスループットとレイテンシーは一定のまま維持されます。 予約容量を超えるトラフィックはレート制限があり、従量課金(トークン単位)で自動的に提供されるわけではありません。 そのオーバーフローを拒否するのではなくペイパートークンに送るには、エンドポイント前のモデルサービスにフォールバックを設定してください。 「 予約容量を超えるトラフィックの処理」を参照してください。

予約済みプロビジョンドスループットを使用するタイミング

予約済みプロビジョニングスループットは、共有プールへのベストエフォートアクセスではなく、信頼できる容量を必要とするワークロード向けに設計されています。 Databricks は次の場合にそれを推奨します:

  • ビジネスに不可欠なアプリケーションやエージェントを稼働させており、運用環境の機能がそのモデルに依存しているため、共有リソースを巡って他のトラフィックと競合することはできません。
  • 共有のトークン課金型よりも整合性のある可用性と稼働時間が求められるため、共有プールへの負荷が高くなっても、スループットへの影響は小さくなります。
  • 予測可能なトラフィック量が急増しているか、あるいは高水準で持続しており、トークン単位課金または優先トークン単位課金において、容量やレート制限の制約に直面しています。

もしあなたのトラフィックが探索的または低ボリュームであれば、 ペイパートークン や 優先ペイパートークンを参照してください。

サポートされているモデル

サポートされた基礎モデルでは、予約済みプロビジョニングスループットが利用可能です。 Azure Databricksはモデルごとの適格性をキュレーションし、Create Flowでは予約可能なモデルのみが表示されます。

以下のモデル向けに予約プロビジョニングスループットが利用可能です:

供給者 Model エンドポイント名
Zhipu AI GLM 5.3 databricks-glm-5-3
Zhipu AI GLM 5.3 フラッシュ databricks-glm-5-3-flash
Zhipu AI GLM 5.2 (レガシー) databricks-glm-5-2
ムーンショットAI キミK3 databricks-kimi-k3
DeepSeek DeepSeek V4.1 フラッシュ(1017) databricks-deepseek-v4-1-flash-1017
DeepSeek DeepSeek V4.1 フラッシュ databricks-deepseek-v4-1-flash
アリババクラウド Qwen3.5 122B A10B databricks-qwen35-122b-a10b

Note

Qwen3.5 122B A10Bは パブリックプレビュー中です。 Databricksのアカウントチームに連絡して、有効化の支援について相談してください。

予約済みプロビジョンドスループットの仕組み

モデル ユニットで容量を予約します。 モデルユニットとは、エンドポイントが1分間にどれだけの作業量を処理できるかを設定するプロビジョニング済みスループットの単位です。 モデルユニットが増えれば、確保できる処理量も増えます。 モデルユニットは50単位で予約し、最小予約数は50です。

予約を作成するには、予約するモデル ユニットの数と期間 (契約期間) を選択します。 Azure Databricksは、その専用容量を全期間にわたって提供します。 エンドポイントは同時に複数の予約を保持でき、その総予約容量はアクティブな予約全体のモデルユニットの合計です。

以下の用語は、予約済みプロビジョニングスループットエンドポイントの各要素を表します。

任期 意味
モデルユニット 供給容量の単位です。 モデルユニットが多ければ、予約済みスループットも増えます。 モデルユニット推定ツールを使って、予想されるトラフィックからプールのサイズを見積もりましょう。
Reservation モデルユニットのプリペイド付与枠1件と、エンドポイントの利用期間。 エンドポイントは複数の予約を同時に保持でき、それぞれに独自のモデルユニットと期間終了日が設定されています。
任期 予約期間:1ヶ月または3ヶ月。 長期契約は単位あたりの金利が低くなります。
対象範囲 お使いのエンドポイントのアクティブな予約の合計モデルユニット数です。
フォールバック カバレッジを超えたトラフィック向けにモデルサービス上で設定するバックアップの宛先です。 Azure Databricksはトラフィックを自動的にペイパートークンにルーティングしません。 フォールバックがなければ、カバレッジを超えるトラフィックはレート制限されます。 「 予約容量を超えるトラフィックの処理」を参照してください。

いくら確保するか決めてください

どれだけのモデルユニットを予約するかはあなた次第です。 全てのワークロードを専用容量に割り当てるか、より少ない予約をして余剰分をトークン課金に送り、フォールバックを設けることができます(「 予約容量を超えるトラフィックの処理」を参照)。

  • 基準値を予約し、ピークをフォールバックに送信します。 安定した日常的なトラフィックをカバーできる十分なモデルユニットを予約し、その基準を超えるバーストがペイパートークンで走るようにフォールバックを設定しましょう。 利用者は、より少ない容量を契約し、オーバーフロー分についてのみトークン単位で支払うことで、そのバースト時のベストエフォート型の共有容量を利用できます。
  • ピークに備えて予約してください。 予想される最大負荷に対応できるよう、十分な数のモデルユニットを確保し、すべてのワークロードが専用リソース上で実行されるようにしてください。 これにより、より大きなコミットメントと引き換えに最も一貫した動作が得られます。

いずれにせよ、Create Flowの内蔵「 モデルユニット推定 ツール」を使って、ワークロードをモデル単位に変換します。 期待される要求の形状を入力すると、推定ツールが必要なモデル単位を返します:

  • 想定する1分あたりのリクエスト数。
  • 要求あたりの入力トークンの平均数。
  • 要求あたりの出力トークンの平均数。
  • 想定されるキャッシュヒット率。

ベースラインの規模を見積もるには、典型的なトラフィックを入力します。 ピーク時の予約を行うには、予想される最も混雑する時間帯のアクセス数を入力してください。 見積もりはコミットする前に何度でも実行できます。

予約済みプロビジョニング スループットとトークン単位課金制との比較

リザーブされたプロビジョニングスループットとトークン課金は補完的であり、どちらか一方ではありません。 コアトラフィック専用の容量を予約し、予約プールを超える分についてはトークン課金制へのフォールバックを設定することができます。 以下の表は各選択肢がどこに位置するかを示しています。

能力 トークンあたりの支払い 予約プロビジョニングスループット
価格基準 トークンごと、使用量 予約済み容量、契約期間全体に対して課金
キャパシティ 共有プール、ベストエフォート 専用プール、あなたのために予約されています
読み込み中の待機時間 需要の共有によって変動することがあります 予約容量に関しては一貫性があります
Reservation なし 1ヶ月か3ヶ月
最適な用途 スパイク トラフィック、内部トラフィック、または試験的トラフィック 外部の業務上重要なアプリケーション、または本番環境で稼働するエージェント

価格設定の仕組み

予約済みのプロビジョンドスループットでは、送信するリクエスト数ではなく、予約した容量に基づいて課金されます。 予約容量を使ったかどうかに関わらず、予約期間全体分の請求が発生します。

何が起きるか 課金方法
予約容量内のトラフィック 契約期間全体の予約容量として請求されます。
予約容量を超えるトラフィックがあり、フォールバックが構成されている場合 オーバーフローのみにトークンごと支払い、フォールバック宛先で請求されます。
予約容量を超えるトラフィックがあり、フォールバックはありません レート制限中、課金されません。
予約期限切れ後の交通 予約容量を超えるトラフィックと同じように処理します。フォールバックを設定していればトークンごと支払い、それ以外はレート制限付きです。
  • 長期契約は短期契約よりも単位あたりの金利が低くなります。
  • エンドポイントが異なる期間の予約を同時に保持する場合、それぞれが独立した料金で価格設定されます。
  • 具体的な料金はモデルや期間によって異なります。

始める前に

Requirement Detail
モデル許可 Unity Catalogの基礎モデル(system.ai.<model>登録モデル)で、MANAGEが必要です。 もし持っていなければ、管理者にカタログエクスプローラーで許可してもらうよう頼んでください。 Foundation モデルの Unity カタログのアクセス許可を参照してください。
適格モデル リザーブ済みプロビジョンドスループットは、対象モデルに対してのみ作成できます。 「サポートされているモデル」を参照してください。

予約済みプロビジョニングスループットエンドポイントを作成する

Unityゲートウェイから予約プロビジョンドスループットを作成します。

  1. Unity Gateway で、+ モデルを選択します。

  2. モデル サービスの名前を付けます。

  3. 宛先では「プロビジョニング済みスループット」を選択し、リンクを選択してワークスペース内に新しいサービスエンドポイントを作成します。 「 プロビジョニング済みのスループットエンドポイントを設定する 」ダイアログが開きます。

    基盤モデル、モデルユニット、予約期間を選択してプロビジョニングされたスループットエンドポイントダイアログを設定します。

  4. 適格な基盤モデルを選択してください。

  5. モデルユニットを50単位で設定してください。 プールのサイズを決定するには、モデル単位の推定を選択し、予想されるワークロード (1 分あたりの要求数、要求あたりの平均入力と出力トークン数、予想キャッシュ ヒット率) を入力すると、推定ツールが必要なモデル単位数を算出します。 いくら確保するか決めるをご覧ください。

    ワークロード入力と推奨されるモデル ユニット予約を備えたモデル ユニット推定ダイアログ。

  6. 予約期間を選びましょう:1ヶ月か3ヶ月。 長期契約は単位あたりの金利が低くなります。

  7. モデル ユニットと契約期間を確認し、エンド ポイントを作成します。 Azure Databricksは専用容量をプロビジョニングします。

Note

エンドポイントの容量タイプは作成時に固定されます。 既存のエンドポイントを後から予約済みプロビジョニングスループットに変換することはできません。 代わりに、新しい予約済みプロビジョニングスループットエンドポイントを作成しましょう。

表示と監視

エンドポイントの詳細ページには、予約済みプロビジョニング スループットという見出しのアクティブな構成セクションが表示され、予約済みモデル ユニットと各予約の期間、有効期限、ステータスが記載されています。 エンドポイントにスケールアップやモデル遷移による複数のスタック予約が保持されている場合、それらはリストとして表示されます。

予約済みプロビジョニング済みスループットエンドポイントの概要で、ステータスおよびアクティブ予約の期間、モデル単位、有効期限が表示されます。

メトリクスタブには、リクエスト数/分、エラー数、レイテンシ(p50、p90、p95、p99)、トークン数、最初のトークンまでの時間など、通常のサービングテレメトリが表示され、使用状況を観察してスケールを決めることができます。

容量の拡大

容量を追加するには、編集>容量の追加を開き、追加するモデル単位数 (50 単位) を入力し、契約期間を選択します。 これにより既存の予約の上に新たな予約が重なってしまいます。 既存のものを修正したり中断したりすることはありません。 詳細ページにはそれぞれの予約が記載され、それぞれのスケジュールで期限切れとなります。

「Edit serving endpoint」ページの「Add Capacity tab」を使い、新しい予約期間にモデルユニットを追加します。

予約を別のモデルに移動する

モデルリリースは迅速に進みますし、今日キャパシティを確保しているモデルが、3か月後に使いたいものとは限りません。 アクティブな予約は、期間の終了を待たずに、その全部または一部を、あるリザーブされたプロビジョニング スループット エンドポイントから、異なるモデルを提供する別のリザーブされたプロビジョニング スループット エンドポイントへ移行できます。

トランジションは、同じワークスペース内にすでに存在する2つのエンドポイント間でモデルユニットを移動させます:

  • 移動されたモデルユニットは、移行完了時に新しい期間とともに、新しい予約として宛先エンドポイントで再発行されます。
  • 残されたモデルユニットは元の有効期間、有効期限、自動更新設定、クールダウン履歴を保持します。
  • コミット済みモデルユニットの総数は変わりません。 移行は、すでにコミットしたキャパシティを再割り当てするだけで、追加のキャパシティは加えません。 容量を追加するには、「 容量を拡大する」を参照してください。

Note

移行はトラフィックではなく容量を移動させます。 完了後、エンドポイントの前にあるUnity Gatewayモデルサービスを更新して、トラフィックを宛先に送るようにします。 「 モデルのルーティングとフォールバックの設定」を参照してください。

適格な遷移

Databricksは、容量の可用性に応じてどのモデルが対象となる目的地かを決定します。 以下のモデルが容量移転の対象となる目的地です:

供給者 Model エンドポイント名
Zhipu AI GLM 5.3 databricks-glm-5-3
Zhipu AI GLM 5.3 フラッシュ databricks-glm-5-3-flash
ムーンショットAI キミK3 databricks-kimi-k3
DeepSeek DeepSeek V4.1 フラッシュ(1017) databricks-deepseek-v4-1-flash-1017
DeepSeek DeepSeek V4.1 フラッシュ databricks-deepseek-v4-1-flash

予約の移行

  1. 宛先エンドポイントが存在することを確認してください。 存在しない場合は、まず宛先モデル用の予約済みプロビジョニング スループット エンドポイントを作成します。 エンドポイントが転送されたモデルユニットの受け取りのみに指定されている場合は、容量として0 (空のエンドポイント)を選択してください。 「 予約済みプロビジョニングスループットエンドポイントの作成」を参照してください。

  2. ソース エンドポイントを開き、>モデルを移行 を選択します。

    [Edit serving endpoint] ページの [Transition model] タブ。宛先モデルが選択され、移行するモデルユニットと期間が指定されています。

  3. モデルの移行で、宛先エンドポイントを選択します。

  4. 移行する予約項目で移動したい予約を選択します。 クールダウン中の予約は選択できません。

  5. 「キャパシティおよびコミットメント期間」の項目で、選択した各予約について:

    • モデルユニットを50単位で移動させるように設定します。 デフォルトはフル予約です。
    • 開始する予約条件を選択します。
  6. 目的地で再発行される内容の概要を確認し、「 更新」を選択します。

  7. 両方のエンドポイント詳細ページでアクティブ 構成 セクションを確認して新しい予約を確認し、トラフィックを宛先モデルサービスに再指向してください。

遷移ルール

ルール Detail
両方のエンドポイントがすでに存在している必要があります トランジションは、同じワークスペース内の2つの予約済みプロビジョニングスループットエンドポイント間で容量を移動します。 目的地が空いている場合もあれば、すでに自身の予約を保持している場合もあります。
クールダウン:予約の移行は7日に1回(168時間)に限られます 予約は7日に1回移行可能です。 まだクールダウン中の予約は選択できず、新しく購入したモデルユニットはすぐに移動できません。 Azure Databricksは、ワークスペースごとの予約転送回数を制限する権利を留保します。
モデルユニットは50単位ずつ移動できます 予約全額、または50モデル ユニット単位で一部を移動してください。
移行するとコミットメント期間がリセットされます 移動したモデルユニットは、ソース予約にどれだけ時間が残っていたかに関係なく、目的地エンドポイントで完全な新しいタームを開始し、ソース タームですでに経過した時間はクレジットとして戻されません。 200台のモデルユニットの予約を、残り1週間の状態で1か月契約で移動すると、新しい1か月契約で200台のモデル予約が発生します。
自動更新は宛先エンドポイントに引き継がれます 移行されたモデルユニットは、ソースエンドポイントからの自動更新設定を保持します。 ソース側にある残りのモデルユニットは、自動更新設定とクールダウンを維持します。
請求は宛先モデルの料金に従います 移動したモデルユニットは、選択した期間について宛先モデルの料金で請求されます。 価格設定の仕組みをご覧ください。
空になったソースエンドポイントが残る すべてのモデルユニットをエンドポイントから移動しても、そのエンドポイントは削除されません。 予約もモデルユニットも0のままワークスペースに残るので、後で容量を戻したり自分で削除したりできます。

例示

Scenario の前に 後の
完全移行: GLM 5.3からKimi K3に200台分の全ユニットを移動させ、1か月の契約は維持してください。
  • GLM 5.3: 1か月契約で200モデルユニット。
  • Kimi K3: 空です。
  • GLM 5.3: 0モデルユニット。
  • Kimi K3: 200モデルユニット、新たな1か月の期間で、7日間クールダウン。
部分的な移行: 11月10日にGLM 5.3からKimi K3へ100 model unitsを移動させてください。
  • GLM 5.3: 1か月契約で250モデルユニット、期限は12月1日です。
  • Kimi K3: 50モデルユニット。
  • GLM 5.3: 150台のモデルユニット、有効期限は引き続き12月1日です。
  • Kimi K3: オリジナルの50 model unitsに加え、100 model unitsが新たに1か月契約で提供されます。
期間延長: GLM 5.3からKimi K3に100台すべてのモデルユニットを移動させ、3か月の期間を選びます。
  • GLM 5.3: 1か月の期間で100台。
  • Kimi K3: 空です。
  • GLM 5.3: 0モデルユニット。
  • Kimi K3: 新規の3か月契約で100モデルユニット。

Note

期間はUTCで計算され、1か月の期間は30日、3か月の期間は90日を用います。 有効期限は次のUTC午前0時まで切り上げます。

有効期限

  • 期限切れになると、予約プールは失効します。 その後、トラフィックは予約容量を超えるトラフィックと同様に処理されます。つまり、設定したペイパートークンのフォールバックに送られるか、フォールバックがなければレート制限付きになります。 「 予約容量を超えるトラフィックの処理」を参照してください。
  • 期間終了後に予約容量を維持するには、現在の予約が切れる前に新しい予約を作成しましょう。 「 容量拡大」を参照してください。
  • 期限切れの予約は期限切れバッジで表示され、削除されるのではなく保持されます。

予約容量を超えるトラフィックを処理してください

予約済みプロビジョニング済みスループットエンドポイントは、予約済み容量からのトラフィックのみを処理します。 Azure Databricksはオーバーフローを自動的にpay-per-tokenにルーティングしません。 バーストや予約期限切れなど、予約容量を超えるトラフィックはレートリミットエラーで拒否されます。

そのオーバーフロー分の処理を継続するために、エンドポイントの前にUnity Gatewayモデルサービス にフォールバックを設定しましょう。 予約済みプロビジョニング済みスループットエンドポイントをプライマリ宛先に、ペイパートークンまたは 優先ペイパートークン エンドポイントをフォールバックに設定します。 予約済みエンドポイントがレートリミットエラーを返すと、モデルサービスはフォールバック宛先に対してリクエストを再試行し、ワークロードは継続して実行され、超過分に対してのみトークン単位で課金されます。

セットアップ手順については、「 モデルのルーティングとフォールバックの設定」を参照してください。

制限事項

  • 現在のリリースでは、モデルごとワークスペースごとに1つの予約済みプロビジョニングスループットエンドポイントを作成できます。
  • 予約は前払いで、期間中は有効です。 途中で予約をキャンセルすることはできません。
  • 予約が終了するまでは、アクティブな予約があるエンドポイントを削除することはできません。
  • モデルに対する MANAGE を持たないユーザーには、読み取り専用ビューが表示されます。
  • 予約は7日に一度、厳選されたデスティネーションモデルに限定して別のモデルに移行できます。 予約を別のモデルに移動するを参照してください。

その他の Foundation Model API の制限については、「 Foundation Model API の制限とクォータ」を参照してください。

その他のリソース