Microsoft Fabric のカスタム ライブ プール

適用対象:✅ ファブリック データ エンジニアリングとデータ サイエンス

カスタムライブプールは、Fabricのノートブックベースのワークロードに対してほぼ即時のセッション起動を提供する、事前にウォームされたSparkクラスターです。 カスタム ライブ プールは、実行のたびにクラスターのプロビジョニングを待つ代わりに、構成されたスケジュール期間中にクラスターをウォームに保ち、対話型およびスケジュールされたノートブックに対して 5 秒のセッション開始時刻を有効にします。

カスタム ライブ プールを使用する理由

Fabric の標準 Spark セッションでは、セッションが開始されるたびにクラスター プロビジョニングが必要です。 対話型、スケジュール、パイプラインによってトリガーされるかにかかわらず、頻繁にノートブックを実行するチームの場合、このプロビジョニング時間は反復サイクルが遅くなり、ジョブの全体的な待機時間が長くなる可能性があります。

カスタム ライブ プールは、次の方法でこれに対処します。

• ユーザー定義のスケジュールに基づいて事前にクラスターをハイドレートするため、ワークロードが到着したときにコンピューティングの準備が整います。
• クラスターの数とライブラリ構成に使用される環境を正確に制御できます。
• スケジュールされた期間中に、サポートされているすべてのノートブック セッションの種類に対して一貫したスタートアップ パフォーマンス (最大 5 秒) を提供します。

カスタム ライブ プールは、Fabric の既存のスターター プールとカスタム Spark プール オプションを補完します。

主な概念

次の概念では、クラスターの準備方法、使用できるタイミング、容量とライブラリの構成の管理方法など、カスタム ライブ プールのしくみについて説明します。

ハイドレーションとウォームアップ

カスタム ライブ プールを作成して発行すると、ファブリックはスケジュールされたウィンドウの前にクラスターの準備を開始します。 ハイドレーションとは、クラスターが完全にプロビジョニングされ、接続された環境で構成され、セッション要求が到着するまでウォーム状態に保持されていることを意味します。

最大 5 秒の起動時間は、プールが完全にハイドレートされた後にのみ使用できます。 初期セットアップ中または構成の変更直後に、ハイドレーションの完了中にセッションの起動時間が長くなる場合があります。 トラブルシューティングについては、「 ハイドレーションに予想以上に時間がかかる」を参照してください。

スケジュール

すべてのカスタム ライブ プールには、プールがアクティブなタイミングを定義するスケジュールが必要です。 クラスターはスケジュールされた期間中のみウォームに保たれ、課金はクラスターが割り当てられている間のみ行われます。 スケジュールが期限切れになった場合、またはクラスターが構成されたしきい値を超えてアイドル状態になると、Fabric によって割り当てが解除され、課金が停止します。

チームが必要なときにウォーム コンピューティングを使用できるように、予想されるワークロード ウィンドウをカバーするようにスケジュールを計画します。 構成手順とベスト プラクティスについては、「 ライブ プールの構成」を参照してください。

環境アタッチメント

各カスタム ライブ プールは、ファブリック環境にアタッチされます。 環境は、ハイドレートされたクラスターにプレインストールされるライブラリを制御します。 ライブラリを更新するには、環境を変更して再発行する必要があります。 既存のハイドレートされたクラスターは、次回のスケジュールされたハイドレーションまたは手動更新まで、新しいライブラリで更新されません。 構成手順については、「 ライブ プールの構成」を参照してください。

ライブラリの発行モード

アタッチされた環境のライブラリ発行モードによって、ハイドレートされたクラスターにライブラリを配信する方法が決まります。

• フル モード: 環境の発行中にライブラリが解決され、ハイドレートされたクラスター イメージにベイクされます。 セッションが開始されると、クラスターにフル モードのスナップショットが既に存在し、約 5 秒のセッションが開始されます。 可能な限り最速のセッション起動で安定した再現可能なライブラリ セットが必要な場合は、フル モードを使用します。
• クイック モード: ライブラリはハイドレートされたクラスターにプレインストールされていません。 代わりに、ノートブック セッションの開始時にインストールされます。 ハイドレートされたクラスターでは引き続き高速なコンピューティング割り当てが提供されますが、セッション開始時にライブラリをインストールすると時間が追加されます。 ライブラリの安定性がそれほど重要でない場合は、開発時の迅速な反復にクイック モードを使用します。

クラスターの容量

各プールには、構成中に設定した最大クラスター数があります。 Fabric では、この値を超えてプールが自動的にスケーリングされることはありません。 すべてのハイドレートされたクラスターが使用中の場合、追加のジョブはオンデマンド プロビジョニングにフォールバックします。これは、ライブラリ パッケージの依存関係に応じて約 3 ~ 5 分以上かかります。 サイズ設定のガイダンスについては、「 クラスターのサイズ設定」を参照してください。

サポートされるワークロード

カスタム ライブ プールでは、次の種類のノートブック ベースの Spark セッションがサポートされます。

• Fabric ポータルから実行される対話型ノートブック
• ノートブック スケジューラで構成されたスケジュールされたノートブックの実行
• パイプラインによってトリガーされるノートブックの実行タスク

容量とライセンス

カスタムライブプールには有料のFabric容量SKUが必要です。 Fabric 試用版の容量は現在サポートされていません。

利用可能な容量SKUに関する情報は、Fabricの概念とライセンスをご覧ください。

アクセス制御

ワークスペース ロールの割り当てによって、カスタム ライブ プールの構成と状態へのアクセスが制御されます。

カスタムライブプールは、 既存のCustomize Compute Configuration for Items workspace設定を使用します。 彼らには個別の委任設定がありません。 ワークスペース管理者が既存設定を有効にすると、メンバーは環境レベルの計算およびカスタムライブプールの設定を管理できます。 この設定では、メンバーがカスタムSparkプールを作成したり、ワークスペースレベルのSpark設定を変更したりすることはできません。

設定手順については「 既存の計算カスタマイズ設定を使う」を参照してください。

カスタムライブプールとやり取りできるように、B2Bゲストユーザーに明確なワークスペース役割を割り当てる必要があります。 ライブプールの設定を作成または更新する必要がある場合は、 メンバー または 管理者 の役割を割り当ててください。

制限事項

現在のリリースのカスタム ライブ プールには、次の制約が適用されます。

• セッションは、プールが完全にハイドレートされた後、最大 5 秒で開始されます。 初期セットアップ中または構成を変更した後は、起動時間が長くなる可能性があります。
• ライブラリの変更には、アタッチされた環境を再発行する必要があります。 ハイドレートされたクラスターは自動的に更新されません。
• アタッチされた環境で一部のライブラリにクイック モードが使用されている場合、それらのライブラリはハイドレートされたクラスターにプレインストールされないため、セッションの開始時にインストールする必要があります。 カスタム ライブ プールを使用してセッションを最速で起動するには、ライブラリの依存関係にフル モードを使用します。
• ノートブックベースの Spark セッションのみがサポートされています。 Spark ジョブ定義はサポートされていません。
• ファブリックの試用版容量はサポートされていません。
• すべてのプールにはスケジュールが必要です。 スケジュールのないプールは発行できません。
• カスタム ライブ プールは、環境パブリック API または CI/CD パイプラインを使用して管理することはできません。 構成は、Fabric ポータルを使用して実行する必要があります。

関連するコンテンツ

• カスタム ライブ プールを構成する
• Fabric 環境でライブラリを管理する
• スターター プールの構成
• カスタム Spark プールを作成する
• 環境を作成して使用する