Microsoft Fabric でカスタム ライブ プールを構成する

適用対象:✅ ファブリック データ エンジニアリングとデータ サイエンス

カスタムライブプールは、Fabricのノートブックのセッション起動をほぼ瞬時に行うプリハイド化されたSparkクラスターです。 この記事では、最適なパフォーマンスを得るためにカスタム ライブ プールを作成、構成、管理する方法について説明します。

前提条件

カスタム ライブ プールを設定する前に、次のことを確認してください。

• 有料のFabric SKUでFabricワークスペースにアクセスできる(Fabricトライアル容量はサポートされていません)。
• ワークスペース内の管理者またはメンバーの役割。
• ワークスペースに割り当てられた有効なFabric キャパシティ
• ライブラリ構成に使用する発行済みの Fabric 環境 。
• 既存のカスタムSparkプール。 カスタムSparkプールを作成できるのはワークスペース管理者だけです。

メンバーロールを持っている場合、ワークスペース管理者は既存の「アイテムカスタマイズ」ワークスペース設定を有効にしなければなりません。

既存の計算カスタマイズ設定を活用してください

カスタムライブプールは、 既存のCustomize Compute Configuration for Items workspace設定を使用します。 彼らには個別の委任設定がありません。 ワークスペースメンバーがカスタムライブプール設定を作成または更新する前に、ワークスペース管理者は既存の設定を有効にする必要があります:

1. Fabric ワークスペースに移動します。

2. ワークスペースのホーム リボンから [ワークスペース の設定] を選択します。

3. [データ エンジニアリング/サイエンス] を展開し、[Spark の設定] を選択します。

4. [ プール ] タブを選択します。

5. アイテムの計算設定をカスタマイズをオンにしてください。

   

6. 保存を選びます。

この設定がオンの場合、メンバーはFabric環境を使って既存のカスタムSparkプールを選択し、セッションレベルのドライバーコア、ドライバーメモリ、エグゼキュータコア、エグゼキュータメモリを調整し、ライブプールの設定を作成または更新できます。 メンバーは環境を保存し、公開することができます。

この設定では、メンバーがワークスペース設定でカスタムSparkプールを作成・管理することはできません。 ワークスペース管理者は基盤となるカスタムSparkプールを作成しなければなりません。

アイテムのカスタマイズ計算設定がオフのとき、環境はワークスペースのデフォルトプールとその計算設定を使用します。 メンバーはワークスペース管理者が設定を有効にするまで、カスタムライブプールの設定を作成または更新できません。

このワークスペース制御の詳細については、 データエンジニアリングワークスペース管理設定をご覧ください。

ライブプール用のカスタムプールを作成する(管理者専用)

このタスクには 管理者 ワークスペースの役割が必要です。 カスタムSparkプールがすでに存在している場合、ワークスペースメンバーはこのタスクをスキップして既存のプール上でライブプールの計算を設定できます。

1. Fabric ワークスペースに移動します。
2. ワークスペースのホーム リボンから [ワークスペース の設定] を選択します。
3. [データ エンジニアリング/サイエンス] を展開し、[Spark の設定] を選択します。
4. [ プール ] タブを選択します。
5. [ ワークスペースの既定のプール ] ドロップダウンから、[ 新しいプール] を選択します。
6. プールの名前を入力します。 この名前は、プールの一意の識別子 ( dev-team-pool や prod-daily-analyticsなど) です。
7. ワークロードの ノード ファミリ と ノード サイズ を選択します。
8. [ 自動スケール ] チェック ボックスをオンにして、プールの自動スケールを有効にします。

ライブ プールを構成する

ワークスペース管理者やメンバーは 、環境 設定を通じてライブプールの設定を作成または更新できます。 メンバーの場合、ワークスペース管理者はまず アイテムのカスタマイズ済みコンピュート設定を有効にする必要があります。 メンバーはワークスペース管理者が作成した既存のカスタムSparkプールを選択しなければなりません。

1. Fabric ワークスペースで、カスタム ライブ プールにアタッチする環境を開きます。

2. 左側のウィンドウで、[コンピューティング] を選択 します。

3. 前の手順で作成したプールをドロップダウンから選択します。

4. [ ライブ プール] で、ラジオ ボタンを選択して、この環境のライブ プール コンピューティングをアクティブにします。

   

5. [ ライブ プールのスケジュール] で、ラジオ ボタンを選択してオンにします。 すべてのカスタム ライブ プールにはスケジュールが必要です。 クラスターは、スケジュールされた期間中にのみハイドレートされます。

6. スケジュール設定を指定します。

   • スケジュールが繰り返し行われるかどうか
   • 開始日と終了日時
   • タイム ゾーン
   • プールを非アクティブ化して再アクティブ化するタイミング
   • 該当するその他の設定

   Important

   Fabric では、スケジュールされた期間外のアクティビティに標準の Spark プロビジョニングが使用され、起動時間が遅くなります。 クラスターは、スケジュールされたウィンドウの外では暖かく保たれません。

   スケジュールのヒントについては、「 スケジュールのベスト プラクティス」を参照してください。

7. コンピューティング設定を保存します。

8. 上部のリボンの [発行 ] ボタンを選択します。

発行後、プールはアクティブになり、ファブリックは次のスケジュール期間より前にクラスターのハイドレートを開始します。

スケジュールの時間帯を理解する

スケジュールは、Fabricがクラスターを水分補給し、無効化されたクラスターを再水和できるウィンドウを定義しています。 設定された時間帯以外では、ライブプールをウォーム状態に保ちません。

例えば、毎日午前8時から午後5時まで放送される定期スケジュールを考えてみましょう。

• 午前8時に日課の時間が始まり、Fabricは水分補給を開始または継続します。
• スケジュールウィンドウ中は、設定されたアイドルタイムアウト後にアイドルクラスターを無効化できます。 Fabricは設定された再活性化間隔に従って交換品を再水和できます。
• 午後5時にスケジュールの時間帯が終了します。 Fabricは翌日午後5時から翌朝8時の間にクラスターの再水和を続けません。
• スケジュールウィンドウ外に提出されたノートブックは標準のSparkプロビジョニングを使用し、ライブプールのウォームスタート特典は受けられません。
• 同じ日々の動作が、設定されたスケジュール終了日まで繰り返されます。

スケジュールの開始時間は、その時刻ちょうどにクラスターがすでに利用可能であることを保証するものではありません。 ハイドレーションには時間がかかります。特に環境の更新後やFabricが新しいクラスタをプロビジョニングしなければならない場合などです。 スケジュールされたノートブックを午前8:00に開始する必要がある場合は、ライブ プールのスケジュールを60～90分前倒しして開始してください。 ノートブック実行前に、 モニタリングハブ を使って 利用可能なクラスタ がゼロより大きいか確認してください。 受信ノートブックは、互換性のあるハイドリッドクラスターが利用可能である場合にのみウォームセッションを受け取ります。

プールの状態を監視する

カスタム ライブ プールの状態を確認するには:

1. Fabric ポータルで、 監視ハブを開きます。

2. 発行した環境を探し、省略記号 (...) を選択してコンテキスト メニューを開きます。

3. 詳細を表示します。

   

4. 右側のウィンドウで、[ ライブ プールの状態 ] を展開して、プールの現在の状態を表示します。

ライブ プールの状態には、次のような詳細が含まれます。

• プールの状態: アクティブ、ハイドレート、アイドル、停止など
• 使用可能なクラスター: ノートブック セッションに対応しているクラスターの数
• ビジー状態のクラスター: 現在実行中のセッションを実行しているクラスターの数
• 次のスケジュール: 今後のアクティビティ ウィンドウ

ベスト プラクティス

カスタム ライブ プールを最大限に活用するには、構成と管理に関する次のベスト プラクティスを検討してください。

コストとパフォーマンスを最適化する

• 要求に合わせてカウントを調整する: 予想される同時セッションに基づいて最大クラスター数を設定します。 過剰プロビジョニングではコストが増加します。
• 使用率の監視: プールメトリックを定期的に確認し、必要に応じてクラスターの数を調整します。
• スケジュールを効率的にスケーリングする: 必要な場合を除き、複数のプール間でスケジュールが重複しないようにします。
• アイドル タイムアウトを活用する: 適切なアイドル タイムアウトを設定して、リソースの可用性とクラスターの頻繁な再起動の回避のバランスを維持します。

クラスターのサイズ設定

プールを構成するときは、次の設定と推奨事項を考慮してください。

• クラスター サイズ: ノートブック セッションの Executor インスタンスの数 (範囲: 1 から 16)。
• 最大クラスター数: ハイドレートを維持するクラスターの最大数。 予想される同時セッションに基づいて設定します。
• アイドル タイムアウト: 未使用のクラスターが割り当てられたままで、ファブリックによって終了されるまでの時間。

ライブラリの依存関係を管理する

• 環境のグループ化を使用する: オンザフライ インストールではなく、環境に共通ライブラリを事前インストールします。
• 環境のバージョン管理: アタッチされた環境を更新するには、ハイドレートされたクラスターを再公開して更新する必要があります。
• ハイドレートされたクラスターを更新する: 環境が変更されたら、プールを更新するか、次のスケジュールされたサイクルが変更を適用するまで待ちます。

ワークロード パターンに適応する

• 外部の動作を監視する: 実際の使用パターンに基づいてアイドル タイムアウトを調整します。
• セッション間での共有: リソース使用率を向上させるために一貫したワークロード パターンがある場合は、複数のプール間で同じ環境を共有することを検討してください。

ベスト プラクティスをスケジュールする

• ワークロード パターンに合わせて調整する: チームが対話型またはスケジュールされたノートブックを実行するときにアクティブな時間をスケジュールします。
• バッファ時間: 最初に想定されるノートブック実行の 60～90 分前にスケジュールを開始し、ハイドレーションが完了するようにします。
• 可用性の確認:遅延に敏感なスケジュール実行を行う前に、 モニタリングハブ内に少なくとも1つの利用可能なクラスターがあるか確認してください。
• タイム ゾーンを検討する: チームが複数のタイム ゾーンにまたがる場合は、スケジュールを拡張して必要な時間範囲をカバーします。

Troubleshooting

カスタム ライブ プールのトラブルシューティングには、次のシナリオで説明されているように、プールの状態、環境の正常性、およびスケジュールの構成を確認する必要があります。

プールは使用できません

プールのアクティブ化に失敗した場合、または "利用できません" 状態が表示された場合:

• ファブリック容量がアクティブであり、現在ワークスペースに割り当てられていることを確認する
• アタッチされた環境が "準備完了" 状態であることを確認します。
• アタッチされた環境が発行されていること、そしてエラーがないことを確認してください。

ハイドレーションに予想以上に時間がかかる

ハイドレートが予想よりも遅い場合:

• 環境の依存関係とビルドの状態を確認します。
• 環境が "準備完了" 状態であることを確認します。
• 詳細については、プール情報を確認してください。

セッションまたはノートブックの起動に失敗する

アクティブなプールでもノートブック セッションを開始できない場合:

• セッションが正しい環境を使用していることを確認します。
• プールが "使用可能" 状態であり、完全にハイドレートされていることを確認します。

ライブプールの設定は利用できません

ライブプールの設定を作成または更新できない場合は:

• 管理者またはメンバーワークスペースの役割を持っているか確認してください。
• メンバーロールをお持ちの場合は、ワークスペース管理者にアイテムのカスタマイズコンピュート設定を有効にするよう依頼してください。
• ワークスペース管理者が環境内で選択可能なカスタムSparkプールを作成しているか確認してください。

関連するコンテンツ

• カスタム ライブ プールの概要
• スターター プールの構成
• カスタム Spark プールを作成する
• 環境を作成して使用する