Deklaratywne potoki Spark na platformie Lakeflow, wersja 2025.30

23 lipca – 30, 2025 r.

Te funkcje i ulepszenia zostały udostępnione w wersji 2025.30 Spark Declarative Pipelines w Lakeflow.

Wersje środowiska Databricks Runtime używane w tej wersji

Kanał:

  • CURRENT (ustawienie domyślne): Databricks Runtime 16.1
  • WERSJA ZAPOZNAWCZA: Databricks Runtime 16.4

Uwaga / Notatka

Ponieważ wersje kanału deklaratywnego platformy Spark w kanale Lakeflow są wdrażane w różnych okresach, uaktualnienia kanałów są wdrażane w różnych okresach. Wydanie, w tym wersje środowiska Databricks Runtime, może nie zostać zaktualizowane do tygodnia lub więcej po początkowej dacie wydania. Aby znaleźć wersję środowiska Databricks Runtime dla potoku, zobacz Informacje o środowisku.

Nowe funkcje i ulepszenia

  • Dodaliśmy następujące nowe funkcje do interfejsów API AUTO CDC w deklaratywnych potokach Spark na platformie Lakeflow.

    • Wiele przepływów na obiekt docelowy: polecenie create_auto_cdc_flow obsługuje teraz parametr nazwy, co umożliwia zapisanie wielu niezależnych przepływów usługi AUTO CDC w tej samej tabeli docelowej. Umożliwia to scenariusze, takie jak stosowanie zarówno aktualizacji przyrostowych, jak i strumieni poprawek do pojedynczej tabeli.

    • Jednorazowe uzupełnianie danych: nowy parametr once umożliwia jednorazowe operacje uzupełniania danych (np. początkowe zasilenie danymi). Gdy `once` = true, przepływ jednorazowo pobiera migawkę danych i ignoruje pliki, które pojawią się później.

    • Obsługa SQL: Nowa składnia SQL polecenia CREATE FLOW umożliwia bezpośrednie użycie AUTO CDC INTO w SQL, z taką samą obsługą parametrów name i once.

  • Edytor Lakeflow obsługuje teraz połączenie klastra na żądanie i działanie klastra wyzwalane przez aktywność użytkownika.

  • Last updated on