Databricks Runtime 13.2 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.2 obsługiwanym przez platformę Apache Spark 3.4.0.

Usługa Databricks wydała tę wersję w lipcu 2023 r.

Nowe funkcje i ulepszenia

• Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB
• Zwiększona niezawodność dla VACUUM z płytkim klonem w katalogu Unity.
• Support for Python UDF in SQL
• Aplikacja Delta Lake UniForm dla platformy Apache Iceberg jest dostępna w publicznej wersji zapoznawczej
• Dynamiczne klastrowanie Delta Lake jest w publicznej wersji wstępnej
• obsługa Archival w Azure Databricks
• Wsparcie klauzuli IDENTIFIER
• Obsługa katalogu Unity dla funkcji w Python i Pandas zdefiniowanych przez użytkownika (UDF)
• Udostępnij schematy za pomocą Delta Sharing
• Poprawki błędów

Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB

Możesz włączyć punktowanie kontrolne zmian, aby zmniejszyć czas trwania punktu kontrolnego i opóźnienie od końca do końca dla stanowych obciążeń przesyłania strumieniowego ze strukturą. Databricks zaleca włączenie punktów kontrolnych do logowania zmian dla wszystkich stanowych zapytań w usłudze Structured Streaming. Zobacz Zapisywanie punktów kontrolnych dziennika zmian.

Zwiększona niezawodność VACUUM z użyciem płytkiego klonowania w Unity Catalog.

Gdy używasz tabel zarządzanych przez Unity Catalog jako źródła i celu dla płytkiej operacji klonowania, Unity Catalog zarządza podstawowymi plikami danych, aby zwiększyć niezawodność zarówno dla źródła, jak i celu operacji klonowania. Uruchomienie VACUUM na źródle płytkiego klonu nie powoduje uszkodzenia sklonowanej tabeli. Zobacz Użyj VACUUM wraz z płytkimi klonami w Unity Catalog.

Obsługa funkcji zdefiniowanych przez użytkownika Python w programie SQL

Teraz można zadeklarować funkcje zdefiniowane przez użytkownika przy użyciu Pythona w instrukcjach SQL CREATE FUNCTION w Unity Catalog. Zobacz funkcje definiowane przez użytkownika (UDF) w językach SQL i Python w Unity Catalog.

Aplikacja Delta Lake UniForm dla platformy Apache Iceberg jest dostępna w publicznej wersji zapoznawczej

Format Delta Lake Universal (UniForm) umożliwia odczytywanie tabel Delta z klientami Apache Iceberg. Zobacz Odczytywanie tabel Delta Lake za pomocą klientów Iceberg.

Klasteryzacja płynna w Delta Lake jest teraz dostępna w publicznej wersji zapoznawczej.

Klastrowanie liquid Delta Lake zastępuje partycjonowanie tabel i ZORDER, aby uprościć decyzje dotyczące układu danych i zoptymalizować wydajność zapytań. Zobacz Używaj płynnego grupowania dla tabel.

Obsługa archiwizacji w programie Azure Databricks

Obsługa archiwalna w Azure Databricks wprowadza kolekcję funkcji, które umożliwiają korzystanie z zasad cyklu życia opartych na chmurze w magazynie obiektów w chmurze zawierających tabele delty w celu przenoszenia plików do archiwalnych warstw magazynowania. Zobacz obsługę Archival w Azure Databricks.

Obsługa klauzuli IDENTIFIER

Użyj IDENTIFIER(:mytable), aby bezpiecznie sparametryzować nazwy tabel, kolumn, funkcji i schematów w wielu instrukcjach SQL.

Obsługa katalogu Unity dla funkcji definiowanych przez użytkownika (UDF) w Pythonie i Pandas.

W środowisku Databricks Runtime 13.2 lub nowszym funkcje zdefiniowane przez użytkownika (UDF) napisane w Pythonie są obsługiwane w klastrach korzystających ze standardowego trybu dostępu (dawniej trybu dostępu współdzielonego) w obszarze roboczym z włączonym katalogiem Unity. Obejmuje to Python i funkcje zdefiniowane przez użytkownika biblioteki Pandas. Aby uzyskać szczegółowe informacje na temat funkcji zdefiniowanych przez użytkownika w języku Python, zobacz Skalarne funkcje zdefiniowane przez użytkownika (UDF) języka Python.

Udostępnianie schematów za pomocą Delta Sharing

Środowisko Databricks Runtime 13.2 dodaje możliwość używania ALTER SHARE <share-name> ADD SCHEMA <schema-name> do udostępnienia całego schematu za pomocą Delta Sharing, zapewniając odbiorcy dostęp do wszystkich tabel i widoków w schemacie w momencie udostępnienia oraz do wszelkich tabel i widoków, które zostaną dodane do schematu w przyszłości. Zobacz Dodawanie schematów do udziału i ALTER SHARE.

Poprawki błędów

• Usunięto usterkę z czytnikiem JSON, w którym rekordy były analizowane w trybie PERMISSIVE, jeśli failOnUnknownFieldsmode została włączona. Rekordy są teraz odrzucane w trybie DROPMALFORMEDparser lub zapisywane do badRecordsPath, jeśli którąkolwiek z tych opcji ustawiono. FAILFAST zgłasza błąd, jeśli typ kolumny nie jest zgodny.

Uaktualnienia biblioteki

• Uaktualnione biblioteki Python:
  • nodeenv z wersji 1.7.0 do 1.8.0
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • io.delta.delta-sharing-spark_2.12 z 0.6.7 do 0.7.0

Apache Spark

Środowisko Databricks Runtime 13.2 obejmuje platformę Apache Spark 3.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-42750] [SC-133452][dbrrm-273] Obsługa instrukcji Insert By Name
• [SPARK-43133] [SC-133728] Obsługa programu Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][connect][PS] Włącz SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Poprawka (NullOps|NumOps).(eq|ne) dla programu Spark Connect.
• [SPARK-44021] [SC-134109][sql] Dodaj spark.sql.files.maxPartitionNum
• [SPARK-43910] [ SC-132936][sql] Usuwanie __auto_generated_subquery_name z identyfikatorów w błędach
• [SPARK-43976] [ SC-133375][core] Obsługa przypadku, w którym "modifiedConfigs" nie istnieją w dziennikach zdarzeń
• [SPARK-32559] [SC-133992][sql] Poprawka logiki przycinania nie obsłużyła poprawnie znaków sterujących ASCII
• [SPARK-43421] [ SC-132930][ss] Wdrażanie punktów kontrolnych opartych na dzienniku zmian dla dostawcy systemu magazynowania stanów RocksDB
• [SPARK-43594] [SC-133851][sql] Dodaj LocalDateTime (typ daty i czasu) do anyToMicros
• [SPARK-43884] [SC-133867] Znaczniki parametrów w DDL
• [SPARK-43398] [ SC-133894][core] Limit czasu wykonawcy powinien być maksymalnym z limitu czasu bezczynności tasowania oraz limitu czasu rdd
• [SPARK-43610] [SC-133892][connect][PS] Włącz InternalFrame.attach_distributed_column w programie Spark Connect.
• [SPARK-43971] [SC-133826][connect][PYTHON] Obsługa createDataFrame w Pythonie w trybie strumieniowym
• [SPARK-44006] [SC-133652][connect][PYTHON] Obsługa artefaktów pamięci podręcznej
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Dodawanie copyFromLocalToFs interfejsu API
• [SPARK-43921] [SC-133461][protobuf] Generowanie plików deskryptora Protobuf w czasie kompilacji
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementowanie obsługi plików w usłudze SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][python][SS][pomocnicza] Python wiersze StreamingQueryProgressPerSecond
• [SPARK-43768] [SC-132398][python][CONNECT] Python obsługę zarządzania zależnościami w programie Python Spark Connect
• [SPARK-43979] [13.X] Przywróć wartość "[SC-133456][sql] CollectedMetrics powinna być traktowana jako ta sama dla siebie"
• [SPARK-42290] [SC-133696][sql] Napraw błąd niemożności zgłaszania błędu OOM, gdy AQE jest włączone
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Dodawanie funkcji matematycznych SQL do języka Scala i Python
• [SPARK-43747] [ SC-132047][python][CONNECT] Dodanie obsługi pliku pyfile w SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Umożliwienie TimedeltaOps.(sub|rsub) za pomocą Spark Connect
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Włącz test parzystości: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Ulepszanie sugerowanych kandydatów do nierozwiązanego atrybutu
• [SPARK-43901] [SC-133454][sql] Avro będzie obsługiwał niestandardowy typ dziesiętny oparty o Long
• [SPARK-43267] [ SC-133024][jdbc] Traktowanie nieznanych kolumn zdefiniowanych przez użytkownika w PostgreSQL jako ciągi znaków w tablicach
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Dodawanie funkcji xpath_* do języka Scala i Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Dodawanie percentylu do języka Scala i interfejsu API Python
• [SPARK-43717] [ SC-133455][connect] Program Scala client reduce agg nie może obsłużyć partycji null dla danych wejściowych pierwotnych scala
• [SPARK-43984] [SC-133469][sql][PROTOBUF] Zmiana w celu użycia foreach , gdy map nie generuje wyników
• [SPARK-43612] [SC-132011][connect][PYTHON] Implement SparkSession.addArtifact(s) w kliencie Python
• [SPARK-44002] [ SC-133606][connect] Napraw obsługę statusów artefaktów
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Dodawanie funkcji agregacji liniowej do języka Scala i Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Tworzenie modułu sql/api
• [SPARK-43979] [SC-133456][sql] CollectedMetrics powinny być traktowane jako takie same dla samołączenia
• [SPARK-43977] [SC-133373][connect] Napraw nieoczekiwany wynik sprawdzania dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: poprawa błędu z enumami jako liczbami całkowitymi
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Dodawanie funkcji unix_* do języka Scala i Python
• [SPARK-43807] [SC-132545][sql] Przeniesienie _LEGACY_ERROR_TEMP_1269 do PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [ SC-133123][sql] Poprawka błędu nie wyświetla sql kolumny dla percentylu[Cont|Dysk]
• [SPARK-42626] [ SC-133248][connect] Dodaj niszczący iterator dla SparkResult
• [SPARK-43333] [SC-132898][sql] Pozwól Avro na konwersję typu związkowego na SQL z nazwą pola stabilną względem typu.
• [SPARK-43953] [SC-133134][connect] Usuń pass
• [SPARK-43970] [ SC-133403][python][CONNECT] Ukryj nieobsługiwane metody ramki danych przed automatycznym uzupełnianiem
• [SPARK-43973] [SC-133272][ss][UI] Interfejs użytkownika Strukturalnego przesyłania strumieniowego powinien prawidłowo wyświetlać nieudane zapytania.
• [SPARK-42577] [ SC-125445][core] Dodaj ograniczenie maksymalnej liczby prób dla etapów, aby uniknąć potencjalnego nieskończonego ponawiania próby
• [SPARK-43841] [SC-132699][sql] Obsługa atrybutów kandydata bez prefiksu w StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Dalsze działania] Zmodyfikować obsługę konfiguracji do wersji 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] Migrowanie klas błędów
• [SPARK-43898] [ SC-132926][core] Automatycznie zarejestruj immutable.ArraySeq$ofRef dla KryoSerializer Scala 2.13
• [SPARK-43775] [ SC-132891][sql] DataSource V2: Zezwalaj na reprezentowanie aktualizacji jako operacji usuwania i wstawiania
• [SPARK-43817] [ SC-132662][spark-43702][PYTHON] Obsługa UserDefinedType w createDataFrame z pandas DataFrame i toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] Dodanie funkcji SparkSession.Builder.getOrCreate, umożliwiającej utworzenie lub pobranie istniejącej sesji Spark.
• [SPARK-43549] [SC-132383][sql] Konwertuj _LEGACY_ERROR_TEMP_0036 na INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [ SC-124644][core] Naprawa niedoliczania akumulatora w przypadku ponownego uruchamiania zadania z cache RDD
• [SPARK-43892] [ SC-133006][python] Dodaj obsługę autouzupełniania dla df[|] w pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Dodaj opcjonalny wzorzec dla Catalog.listDatabases
• [SPARK-43205] [SC-132623] klauzula IDENTIFIER
• [SPARK-43545] [SC-132378][sql][PYTHON] Obsługa typu zagnieżdżonego znacznika czasu
• [SPARK-43949] [SC-133048][python] Uaktualnianie pakietu cloudpickle do wersji 2.2.1
• [SPARK-43760] [ SC-132809][sql] Nullowalność wyników podzapytań skalarowych
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Poprawka TimedeltaOps dla Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Przygotować ścieżkę pakietu Go
• [SPARK-43894] [SC-132892][python] Poprawka usterki w df.cache()
• [SPARK-43509] [SC-131625][connect] Obsługa tworzenia wielu sesji programu Spark Connect
• [SPARK-43882] [SC-132888][sql] Przypisz nazwę do _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Naprawa NumOps dla Spark Connect
• [SPARK-43604] [ SC-132165][sql] Refaktoryzacja INVALID_SQL_SYNTAX w celu uniknięcia osadzania tekstu błędu w kodzie źródłowym
• [SPARK-43859] [SC-132883][sql] Przesłoń toString w LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Dodaj opcjonalny wzorzec dla Catalog.listCatalogs
• [SPARK-43353] Cofnij “[SC-132734][python] Migracja pozostałych błędów sesji do klasy błędów”
• [SPARK-43375] [SC-130309][connect] Ulepszyć komunikaty o błędach dla INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Usuń zbędny toSeq z SparkConnectPlanner dla Scala 2.13
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Naprawa DatetimeOps dla Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Napraw BinaryOps dla Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Naprawa NullOps dla Spark Connect
• [SPARK-43782] [SC-132885][core] Obsługa konfiguracji poziomu logów ze statyczną konfiguracją Spark
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][sql] Dodaje obsługę AES IV i AAD do narzędzi ExpressionImplUtils
• [SPARK-43795] [ SC-132532][connect] Usuń parametry nieużytowane dla sparkConnectPlanner
• [SPARK-42317] [ SC-129194][sql] Nadaj nazwę do _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [ SC-131960][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] Użyj klas błędów w błędach kompilacji ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [ SC-132533][core] Usuń nieużywane deklaracje z modułu Core
• [SPARK-43314] [ SC-129970][connect][PYTHON] Migrowanie błędów klienta programu Spark Connect do klasy błędów
• [SPARK-43799] [SC-132715][python] Dodanie opcji binarnej deskryptora do API PySpark Protobuf
• [SPARK-43837] [SC-132678][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_103[1–2]
• [SPARK-43862] [ SC-132750][sql] Przypisz nazwę do klasy błędów LEGACY_ERROR_TEMP(1254 i 1315)
• [SPARK-43886] [SC-132808][python] Akceptuj krotki generyczne jako wskazówki typowania w funkcji UDF w bibliotece Pandas
• [SPARK-43530] [SC-132653][protobuf] Odczyt pliku deskryptora tylko raz
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Przypisz nazwy do klasy błędów _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Napraw CategoricalOps dla Spark Connect
• [SPARK-39979] [SC-132685][sql] Dodaj opcję używania dużych wektorów szerokości zmiennych dla operacji UDF strzałki
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Poprawka StringOps dla Spark Connect
• [SPARK-43353] [SC-132734][python] Migrowanie pozostałych błędów sesji do klasy błędów
• [SPARK-43815] [SC-132781][sql] Dodaj to_varchar alias dla to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Poprawka zachowania typu zagnieżdżonego MapType w funkcji Pandas UDF
• [SPARK-43361] [SC-131789][protobuf] aktualizacja dokumentacji dotyczącej błędów związanych z serializacją enumów
• [SPARK-43740] [SC-132035][python][CONNECT] Ukryj nieobsługiwane session metody przed automatycznym uzupełnianiem
• [SPARK-43022] [SC-131681][connect] Wsparcie dla funkcji protobuf dla klienta Scala
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migracja NotImplementedError do PySparkNotImplementedError
• [SPARK-43860] [ SC-132713][sql] Włącz rekursję ogonową wszędzie tam, gdzie to możliwe
• [SPARK-42421] [ SC-132695][core] Użyj narzędzi, aby uzyskać przełącznik dynamicznej alokacji używanej w lokalnym punkcie kontrolnym
• [SPARK-43590] [SC-132012][connect] Zrobić, aby wspierać kontrolę mima z modułem connect-jvm-client-mima-check
• [SPARK-43315] [13.x][connect][PYTHON][ss] Przenieś pozostałe błędy z DataFrame(Reader|Writer) do klasy błędów
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: umożliwia serde z enumami jako inty
• [SPARK-43789] [ SC-132397][r] Domyślnie używa parametru "spark.sql.execution.arrow.maxRecordsPerBatch" w ramce danych tworzonych w R za pomocą biblioteki Arrow
• [SPARK-43596] [SC-126994][sql] Obsługa predykatu IsNull w rewriteDomainJoins
• [SPARK-42249] [SC-122565][sql] Poprawianie linku HTML do dokumentacji w komunikatach o błędach.
• [SPARK-43128] [SC-131628][connect][SS] Spraw, aby recentProgress i lastProgress zwracały StreamingQueryProgress zgodnie z natywnym interfejsem API Scala
• [SPARK-43387] [ SC-130448][sql] Podaj czytelny dla człowieka kod błędu dla _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [Interfejs użytkownika] Napraw błąd podczas serializacji ExecutorPeakMetricsDistributions w odpowiedzi interfejsu API
• [SPARK-42958] [SC-131475][connect] Refaktoryzacja connect-jvm-client-mima-check w celu obsługi sprawdzania zgodności mima w module avro
• [SPARK-43591] [ SC-131977][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [ SC-132211][core] Użyj klas błędów w org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Uwidacznia typ TimestampNTZType w pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Przypisz nazwy do klasy błędów _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] Obsługa pola missing row.excludedInStages
• [SPARK-42956] [SC-127257][connect] Wspieranie funkcji avro dla klienta Scala
• [SPARK-43487] [ SC-131975][sql] Poprawka zagnieżdżonego komunikatu o błędzie CTE
• [SPARK-43265] [SC-129653] Przenoszenie struktury błędów do wspólnego modułu narzędzi
• [SPARK-40912] [SC-131547][core]Obciążenie wyjątków w kryoDeserializationStream
• [SPARK-43583] [SC-131976][core] pobierz MergedBlockedMetaReqHandler od delegata zamiast wystąpienia programu SaslRpcHandler
• [SPARK-42996] [SC-131997][connect][PS][ml] Tworzenie i przypisywanie odpowiednich biletów JIRA dla wszystkich testów zakończonych niepowodzeniem.
• [SPARK-38469] [SC-131425][core] Użyj klasy błędów w org.apache.spark.network
• [SPARK-43718] [ SC-132014][sql] Poprawne ustawienie wartości null dla kluczy w łączeniach USING
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop powinna zaakceptować pustą kolumnę
• [SPARK-43743] [SC-132038][sql] Port HIVE-12188(DoAs nie działa prawidłowo w zabezpieczonym środowisku HS2 bez protokołu Kerberos)
• [SPARK-43598] [SC-131929][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Fix ClassNotFoundException podczas migracji
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [ SC-131025][core] Użyj klas błędów w org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Zmień nazwę klas błędów LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Wsparcie eliminacji podwyrażenia dla wyrażeń skróconych
• [SPARK-38462] [SC-130449][core] Dodaj klasę błędów INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] Poprawka cannotBroadcastTableOverMaxTableBytesError do użycia bytesToString
• [SPARK-43539] [SC-131830][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [ SC-131688][sql] Skopiuj pamięci podręcznej planu InMemoryRelation, aby zapobiec odwoływaniu się sklonowanego planu do tych samych obiektów
• [SPARK-43309] [SC-129746][spark-38461][CORE] Rozszerzyć INTERNAL_ERROR o kategorie i dodać klasę błędów INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Poprawka współbieżnego składnika zapisywania nie aktualizuje metryk plików
• [SPARK-43383] [SC-130660][sql] Dodawanie rowCount statystyk do relacji lokalnej
• [SPARK-43574] [SC-131739][python][SQL] Wsparcie dla ustawiania pliku wykonywalnego języka Python dla interfejsów API funkcji UDF i pandas w procesach roboczych podczas wykonywania
• [SPARK-43569] [SC-131694][sql] Usuń obejście dla HADOOP-14067
• [SPARK-43183] [ SC-128938][ss][13.x] Wprowadzenie nowego wywołania zwrotnego "onQueryIdle" do modułu StreamingQueryListener
• [SPARK-43528] [SC-131531][sql][PYTHON] Obsługa zduplikowanych nazw pól w createDataFrame z ramkami danych biblioteki pandas
• [SPARK-43548] [SC-131686][ss] Usuń obejście dla HADOOP-16255
• [SPARK-43494] [ SC-131272][core] Bezpośrednie wywołanie replicate() dla HdfsDataOutputStreamBuilder zamiast używania refleksji w SparkHadoopUtil#createFile
• [SPARK-43471] [ SC-131063][core] Obsługa brakujących właściwości hadoopProperties i metricsProperties
• [SPARK-42899] [ SC-126456][sql] Poprawka DataFrame.to(schemat) w celu obsługi przypadku, gdy w polu dopuszczanym do wartości null istnieje pole niezagnieżdżone
• pl-PL: [SPARK-43302] [SC-129747][sql] Zmień Python UDAF na Funkcję Agregującą
• [SPARK-43223] [ SC-131270][connect] Typizowana agregacja, funkcje redukcyjne, RelationalGroupedDataset#as
• [SPARK-43482] [ SC-131375][ss] Rozszerz QueryTerminatedEvent, aby zawierał klasę błędu, jeśli istnieje w wyjątku
• [SPARK-43359] [SC-131463][sql] Usunięcie z tabeli Hive powinno zgłaszać "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Przełącz się z powrotem do ciągów zakodowanych w adresie URL
• [SPARK-43492] [ SC-131227][sql] Dodaj trzyargumentowe aliasy funkcji DATE_ADD i DATE_DIFF
• [SPARK-43473] [SC-131372][python] Obsługa typu struct w createDataFrame z pandas DataFrame
• [SPARK-43386] [SC-131110][sql] Ulepszanie listy sugerowanych kolumn/atrybutów w UNRESOLVED_COLUMN.WITH_SUGGESTION klasie błędów
• [SPARK-43443] [ SC-131332][sql] Dodawanie testu porównawczego dla wnioskowania typu sygnatury czasowej w przypadku użycia nieprawidłowej wartości
• [SPARK-43518] [SC-131420][sql] Przekształć _LEGACY_ERROR_TEMP_2029 na WEWNĘTRZNY_BŁĄD
• [SPARK-42604] [SC-130648][connect] Implementacja funkcji typedlit
• [SPARK-42323] [ES-669513] Przywróć "[SC-123479][sql] Przypisz nazwę do _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][sql] Typ daty filtru cudzysłowu
• [SPARK-43410] [SC-130526][sql] Poprawa pętli wektoryzowanej dla spakowanych skipValues
• [SPARK-43441] [ SC-130995][core] makeDotNode nie powinien zawieść, gdy DeterministicLevel jest nieobecny
• [SPARK-43324] [SC-130455][sql] Obsługa poleceń UPDATE dla źródeł opartych na delta
• [SPARK-43272] [ SC-131168][core] Bezpośrednie wywołanie createFile zamiast refleksji
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migrowanie błędów sesji programu Spark Connect do klasy błędów
• [SPARK-43405] [SC-130987][sql] Usuń bezużyteczne getRowFormatSQL, , inputRowFormatSQLoutputRowFormatSQL metoda
• [SPARK-43447] [SC-131017][r] Obsługa języka R 4.3.0
• [SPARK-43425] [SC-130981][sql] Dodaj TimestampNTZType do ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Dodaj sprawdzenie dla operacji obejmujących wiele ramek danych
• [SPARK-43262] [SC-129270][connect][SS][python] Migrowanie błędów strumieniowego przesyłania danych w Spark Connect do klasy błędów
• [SPARK-42992] [13.x][sc-129465][PYTHON] Wprowadzenie błędu PySparkRuntimeError
• [SPARK-43422] [ SC-130982][sql] Zachowaj tagi w LogicalRelation z wyjściem metadanych
• [SPARK-43390] [SC-130646][sql] DSv2 umożliwia CTAS/RTAS rezerwowanie wartości null schematu
• [SPARK-43430] [ SC-130989][connect][PROTO] ExecutePlanRequest obsługuje dowolne opcje żądania.
• [SPARK-43313] [SC-130254][sql] Dodawanie brakujących wartości domyślnych kolumn dla akcji MERGE INSERT
• [SPARK-42842] [SC-130438][sql] Połącz klasę błędów _LEGACY_ERROR_TEMP_2006 z REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Włącz spark.sql.thriftServer.interruptOnCancel domyślnie
• [SPARK-43292] [SC-130525][core][CONNECT] Przenoszenie ExecutorClassLoader do modułu core i uproszczenie Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Poprawa obsługi typu TimestampNTZ w źródle danych JDBC
• [SPARK-43343] [ SC-130629][ss] FileStreamSource powinien wyłączyć dodatkowe sprawdzanie globu pliku podczas tworzenia źródła danych
• [SPARK-43312] [ SC-130294][protobuf] Opcja konwertowania dowolnych pól na format JSON
• [SPARK-43404] [SC-130586][ss] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów
• [SPARK-43397] [SC-130614][core] Zaloguj czas wycofywania wykonawcy w metodzie executorLost
• [SPARK-42388] [SC-128568][sql] Unikaj dwukrotnego odczytywania stopki parquet w wektoryzowanym czytniku
• [SPARK-43306] [13.x][sc-130320][PYTHON] Przenieść ValueError z typów Spark SQL do klasy typów błędów
• [SPARK-43337] [SC-130353][ui][3.4] Ikony strzałek Asc/desc dla kolumny sortowania nie są wyświetlane w kolumnie tabeli
• [SPARK-43279] [ SC-130351][core] Oczyszczenie nieużywanych członków z SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Zastąp klasę błędów błędem wewnętrznym
• [SPARK-43363] [ SC-130299][sql][PYTHON] Wykonaj wywołanie astype typu kategorii tylko wtedy, gdy nie podano typu strzałki
• [SPARK-43261] [ SC-130154][python] Migrowanie TypeError z typów Spark SQL do klasy błędów
• [SPARK-41971] [SC-130230][sql][PYTHON] Dodać konfigurację konwersji pandas, jak obsługiwać typy strukturalne
• [SPARK-43381] [SC-130464][connect] Utwórz "transformStatCov" leniwy
• [SPARK-43362] [SC-130481][sql] Specjalna obsługa typu JSON dla łącznika MySQL
• [SPARK-42843] [SC-130196][sql] Zaktualizuj klasę błędów _LEGACY_ERROR_TEMP_2007 na REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] Przesyłanie strumieniowe relacji lokalnych
• [SPARK-43181] [SC-130476][sql] Pokaż adres URL interfejsu użytkownika w powłoce spark-sql
• [SPARK-43051] [ SC-130194][connect] Dodaj opcję emitowania wartości domyślnych
• [SPARK-43204] [ SC-129296][sql] Wyrównaj przypisania MERGE z atrybutami tabeli
• [SPARK-43348] [SC-130082][python] Obsługa Python 3.8 w środowisku PyPy3
• [SPARK-42845] [ SC-130078][sql] Zaktualizuj klasę błędów _LEGACY_ERROR_TEMP_2010 na InternalError
• [SPARK-43211] [SC-128978][hive] Usuwanie obsługi usługi Hadoop2 w module IsolatedClientLoader

Środowisko systemu

• System operacyjny: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Zainstalowane biblioteki Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN z dnia 2023-02-10.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)