予測 I/O とは

予測I/Oは、データの読み込みと更新を高速化するAzure Databricksの最適化の集合です。

• 加速読み取りは 、通常は返すよりもはるかに多くのデータをスキャンする選択的なクエリを高速化します。
• 加速更新では、更新、削除、またはマージによってファイル内の数行のみが変更された場合に書き換えられるデータが減ります。

予測 I/O は、Azure Databricks 上の Photon エンジン専用です。 「Photon とは」を参照してください。

予測I/Oが適用される場合

予測I/Oは自動的に実行されます。 個別のクエリでオンにするわけではありません。 メリット:

• サーバーレスやプロSQLウェアハウス、またはPhoton対応クラスターでクエリを実行しましょう。 予測I/Oを使って読み取りを高速化する を参照してください。
• 頻繁に DELETE、MERGE、または UPDATE 操作を行うテーブルで削除ベクトルを有効にして、更新を加速させましょう。 「予測 I/O を使用して更新を高速化する」を参照してください。

予測 I/Oはブルーム フィルターのインデックスも置き換えます。 ブルーム フィルター インデックス (非推奨) を参照してください。

予測 I/O を使用して読み取りを高速化する

予測 I/O は、サポートされるコンピューティングの種類に対するすべての操作のデータ スキャンとフィルター処理のパフォーマンスを高速化するために使用されます。

予測I/Oはディープラーニング技術を適用することでスキャン性能を向上させます:

• データを読み取る最も効率的なアクセスパターンを特定し、実際に必要なデータのみをスキャンします。
• クエリ結果の生成に必要のない列と行のデコードを排除します。
• 1 行を照合する選択的クエリで検索条件の確率を計算します。 クエリが実行される間、予測I/Oはこれらの確率を使って次の一致行の位置を予測し、そのデータだけをクラウドストレージから読み込みます。

予測 I/O を使用して更新を高速化する

これらのPhoton対応コンピュートタイプで削除ベクトルが有効になっているすべてのテーブルに対して、更新のための予測I/Oが自動的に使用されます。

• サーバーレス SQL ウェアハウス。
• Pro SQL ウェアハウス。
• Databricks Runtime 14.0 以降を実行しているクラスター。

Databricks の削除ベクトルを参照してください。

Delta Lake テーブルのプロパティを設定することで、Delta Lake テーブルの削除ベクトルのサポートを有効にします。 テーブル作成時に削除ベクターを有効にしたり、既存のテーブルを変更したりします。例えば:

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

予測I/Oは削除ベクトルを活用し、Delta Lakeテーブルのデータ変更時の完全なファイル書き換え頻度を減らすことで更新を加速させます。 予測 I/O では、DELETE、MERGE、UPDATE の各操作が最適化されます。

予測 I/O では、レコードが更新または削除されたときにデータ ファイル内のすべてのレコードを書き換えるのではなく、削除ベクトルを使用して、ターゲット データ ファイルからレコードが削除されたことを示します。 補足データ ファイルが更新を示すために使用されます。

テーブルに対する後続の読み取りは、記録された変更を最新のテーブルバージョンに適用することで、現在のテーブルの状態を更新します。