Lakeflow 上の Spark 宣言型パイプラインにおいて、このパイプラインを環境バージョンにモダナイズするプラットフォームの改善が展開されており、このパイプラインでこれを有効にすると動作が変更される可能性があることが検出されました。 この更新は、データが書き込まれる前に安全に中止され、次回の実行時に変更が元に戻された状態で自動的に再試行されます。ユーザーからの操作は必要ありません。 原因:
AUTO_CDC_FROM_SNAPSHOT
このパイプラインでは「Auto CDC From Snapshot」を使用していますが、これは環境バージョンへの自動移行ではまだサポートされていません。 現在、「Auto CDC From Snapshot」を使用したパイプラインの移行サポートについて、積極的に取り組んでいます。
EVENT_HOOK
このパイプラインではイベント フックを使用していますが、これらは環境バージョンへの自動移行ではまだサポートされていません。
FINGERPRINT_MISMATCH
環境バージョンへの自動移行後、パイプラインのクエリ プランまたはセッション構成に変更があったことを検知しました。
FOREACH_BATCH
このパイプラインでは ForeachBatch シンクを使用していますが、これは環境バージョンへの自動移行ではまだサポートされていません。 私たちはForeachBatch sinkを使ったパイプラインの移行サポートに積極的に取り組んでいます。
NO_PREVIOUS_FINGERPRINT
この自動移行がこのパイプラインにとって安全であることを検証するための十分なベースライン データが見つかりませんでした。
REQUIRES_REFRESH_ALL
この更新では、すべてのテーブルが更新されるわけではないため、自動移行の対象にはなりません。