Databricks Runtime 18.0 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 18.0, unterstützt von Apache Spark 4.1.0.

Diese Version enthält alle Features, Verbesserungen und Fehlerbehebungen aller vorherigen Databricks-Runtime-Versionen. Databricks hat diese Version im Januar 2026 veröffentlicht.

Verhaltensänderungen

• JDK 21 ist jetzt das Standardmäßige Java Development Kit
• FSCK REPAIR TABLE enthält standardmäßig metadatenreparatur
• Nullfähigkeit für Array- und Map-Typen im Spark Connect Scala-Client beibehalten
• FSCK REPAIR TABLE DRY RUN Ausgabeschema aktualisiert
• SHOW TABLES DROPPEDrespektiert LIMITKlausel
• Prorationsfaktoren, die sowohl mit Lesevorgängen als auch mit automatisch optimierten Schreibvorgängen abgestimmt sind
• Vereinheitlichte Python UDF-Ausführung über PySpark und Unity Catalog
• Verbesserte Fehlermeldungen für Probleme mit dem Kafka Connector-Anmeldemodul
• Zeitreiseeinschränkungen und VACUUM Aufbewahrungsverhalten
• BinaryType wird standardmäßig in PySpark auf bytes abgebildet
• NULL-Strukturen, die in Delta MERGE- UPDATEund Streaming-Schreibvorgängen beibehalten werden
• Materialisierte Partitionsspalten in Parquet-Dateien
• Zeitstempel-Partitionswerte berücksichtigen jetzt die Spark-Sitzungszeitzone
• DESCRIBE TABLE Ausgabe enthält Metadatenspalte

JDK 21 ist jetzt das Standardmäßige Java Development Kit

Databricks Runtime 18.0 verwendet JDK 21 als Standard-Java Development Kit. JDK 21 ist allgemein verfügbar und ist eine langfristige Supportversion (LTS). Zuvor war der Standardwert JDK 17.

Wichtige Änderungen in JDK 21:

• Double.toString() und Float.toString() erzeugen jetzt die kürzesten eindeutigen Zeichenfolgendarstellungen, die sich in einigen Randfällen von den Ausgaben von JDK 17 unterscheiden können.
• Thread.stop(), Thread.suspend() und Thread.resume() werfen jetzt UnsupportedOperationException.
• Aktualisierte lokale Daten (CLDR v42) können sich möglicherweise auf die Formatierung von Datum, Uhrzeit und Zahlen auswirken.

Wenn Kompatibilitätsprobleme auftreten, sollten Sie auf JDK 17 zurückgreifen. Informationen zum Konfigurieren von JDK-Versionen finden Sie unter Erstellen eines Clusters mit einer bestimmten JDK-Version. Eine vollständige Liste der Änderungen zwischen JDK 17 und JDK 21 finden Sie in den Versionshinweisen des offiziellen JDK-Anbieters.

FSCK REPAIR TABLE enthält standardmäßig metadatenreparatur

Der FSCK REPAIR TABLE Befehl enthält nun einen ersten Metadatenreparaturschritt, bevor nach fehlenden Datendateien gesucht wird. Der Befehl kann an Tabellen mit beschädigten Prüfpunkten oder ungültigen Partitionswerten arbeiten.

Nullierbarkeit für Array- und Map-Typen im Spark Connect Scala-Client beibehalten

Die Nullierbarkeit von Array- und Map-Typen wird jetzt bei typisierten Literalen im Spark Connect Scala-Client beibehalten. Zuvor waren Elemente von Arrays und Werten von Karten immer nullfähig.

FSCK REPAIR TABLE DRY RUN Ausgabeschema aktualisiert

Die dataFilePath Spalte im FSCK REPAIR TABLE DRY RUN Ausgabeschema ist jetzt nullfähig, um die Meldung neuer Problemtypen zu unterstützen, bei denen der Datendateipfad nicht anwendbar ist.

SHOW TABLES DROPPED respektiert die Klausel LIMIT

Der SHOW TABLES DROPPED Befehl berücksichtigt nun die LIMIT Klausel richtig.

Verteilungsfaktoren, die zwischen Lesevorgängen und automatisch optimierten Schreibvorgängen abgestimmt sind

Anteilsmäßige Faktoren für die Partitionsgrößenanpassung verwenden jetzt Bruchzahlen konsistent für Lesevorgänge und automatisch optimierte Schreibvorgänge. Diese Änderung kann zu einer unterschiedlichen Anzahl von Aufgaben für Lesevorgänge führen.

Python UDF-Ausführung vereinheitlicht über PySpark und Unity Catalog

Unity Catalog Python UDFs verwenden jetzt Apache Arrow als Standard-Austauschformat, verbessern die Gesamtleistung und richten sich an das Verhalten von pfeiloptimierten Python-UDFs in Apache Spark. Im Rahmen dieser Änderung enthalten die an die Python-UDFs übergebenen Werte keine Zeitzoneninformationen mehr im TIMESTAMPdatetime-Attribut des Objekts. Die Zeitstempelwerte selbst verbleiben in UTC, aber die Metadaten der Zeitzone werden jetzt gelöscht.

Wenn Ihre UDF auf die Zeitzoneninformationen angewiesen ist, müssen Sie diese mit date = date.replace(tzinfo=timezone.utc) wiederherstellen. Weitere Informationen finden Sie unter Timestamp-Zeitzonenverhalten für Eingaben.

Verbesserte Fehlermeldungen für Probleme mit dem Kafka Connector-Anmeldemodul

Wenn Sie den Kafka-Connector mit einer nicht abgeschatteten Anmeldemodulklasse verwenden, stellt Azure Databricks jetzt Fehlermeldungen bereit, die die Verwendung des richtigen Präfixes der schattierten Klasse (kafkashaded.org.apache.kafka oder kafkashaded.software.amazon.msk.auth.iam) vorschlagen.

Zeitreiseeinschränkungen und VACUUM Aufbewahrungsverhalten

Azure Databricks blockiert jetzt Zeitreiseabfragen über den deletedFileRetentionDuration Schwellenwert für alle Tabellen hinaus. Der VACUUM Befehl ignoriert das Argument "Aufbewahrungsdauer", es sei denn, der Wert beträgt 0 Stunden. Sie können deletedFileRetentionDuration nicht größer als logRetentionDuration oder umgekehrt festlegen.

BinaryType wird bytes standardmäßig in PySpark zugeordnet

In PySpark wird BinaryType jetzt durchgängig Python bytes zugeordnet. Zuvor hat PySpark BinaryType abhängig vom Kontext entweder in bytes oder in bytearray abgebildet. Um das alte Verhalten wiederherzustellen, setzen Sie spark.sql.execution.pyspark.binaryAsBytes auf false fest.

NULL-Strukturen, die in Delta MERGE- UPDATEund Streaming-Schreibvorgängen beibehalten werden

NULL-Strukturen werden jetzt als NULL in Delta MERGE, UPDATE und Streamingschreibvorgängen beibehalten, die Strukturtypumwandlungen enthalten. Zuvor wurden NULL-Strukturen auf Strukturierungen mit NULL-Feldern erweitert. Eine NULL-Struktur bleibt jetzt NULL, anstatt auf eine Struktur mit allen NULL-Feldwerten erweitert zu werden.

Materialisierte Partitionsspalten in Parquet-Dateien

Partitionierte Delta-Tabellen materialisieren jetzt Partitionsspalten in neu geschriebenen Parquet-Dateien. Zuvor wurden Partitionswerte in den Delta-Transaktionsprotokollmetadaten gespeichert und in Verzeichnispfaden wiedergegeben, aber nicht als Spalten in den Parkettdateien selbst geschrieben. Diese Änderung stimmt mit dem Verhalten von Apache Iceberg und UniForm überein und könnte sich auf Workloads auswirken, die direkt von Delta Lake geschriebene Parquet-Dateien lesen, da neugeschriebene Dateien zusätzliche Partitionsspalten enthalten.

Zeitstempel-Partitionswerte berücksichtigen jetzt die Zeitzone der Spark-Sitzung.

Zuvor wurden Zeitstempelpartitionswerte mit der JVM-Zeitzone fälschlicherweise in UTC konvertiert, anstatt die spark.sql.session.timeZone Konfiguration zu respektieren. Zeitstempelpartitionswerte werden jetzt ordnungsgemäß mithilfe der Zeitzoneneinstellung der Spark-Sitzung angepasst.

DESCRIBE TABLE Ausgabe enthält Metadatenspalte

Die Ausgabe von DESCRIBE TABLE [EXTENDED] enthält jetzt eine neue metadata Spalte für alle Tabellentypen. Diese Spalte enthält semantische Metadaten (Anzeigename, Format und Synonyme), die in der Tabelle als JSON-Zeichenfolge definiert sind.

Neue Features und Verbesserungen

• SQL-Skripting ist jetzt allgemein verfügbar
• Redshift JDBC-Treiber aktualisiert auf Version 2.1.0.28
• Ausführungsumgebung für gemeinsame Isolation für Unity Catalog Python UDFs
• SQL-Fensterfunktionen in Metrikansichten
• Dynamische Anpassung der Shuffle-Partition in zustandslosen Streaming-Abfragen
• Ausführung von adaptiven Abfragen (AQE) und automatisch optimierte Shufflevorgänge (AOS) für zustandslose Streamingabfragen
• Umfassende Unterstützung der Zusammenführung von Literalzeichenfolgen
• Parametermarkierungen überall
• IDENTIFIER-Klausel generell
• Neue BITMAP_AND_AGG-Funktion
• Neue Theta-Skizzenfunktionen
• Neue KLL_Sketch Funktionsbibliothek
• Apache-Parkettbibliothek aktualisiert auf 1.16.0
• st_azimuth Funktion wird jetzt unterstützt
• st_boundary Funktion wird jetzt unterstützt
• st_closestpoint Funktion wird jetzt unterstützt
• st_geogfromewkt Funktion wird jetzt unterstützt
• st_geomfromewkt Funktion wird jetzt unterstützt
• Verbesserte Leistung der räumlichen Verknüpfung
• Verbesserte Leistung für Geospatialfunktionen
• EWKT-Eingabeunterstützung

SQL-Skripting ist jetzt allgemein verfügbar

Das SQL-Skriptingfeature ist jetzt allgemein verfügbar.

Redshift JDBC-Treiber aktualisiert auf 2.1.0.28

Der Redshift JDBC-Treiber wurde auf Version 2.1.0.28 aktualisiert.

Gemeinsam genutzte Isolations-Ausführungsumgebung für Unity Catalog Python UDFs

Unity Catalog Python UDFs mit demselben Besitzer können jetzt standardmäßig eine Isolationsumgebung teilen. Dies kann die Leistung verbessern und die Speicherauslastung verringern, indem die Anzahl separater Umgebungen reduziert wird, die gestartet werden müssen.

Um sicherzustellen, dass eine UDF immer in einer vollständig isolierten Umgebung ausgeführt wird, fügen Sie die STRICT ISOLATION Merkmalsklausel hinzu. Siehe Umgebungsisolation.

SQL-Fensterfunktionen in Metrikansichten

Sie können jetzt SQL-Fensterfunktionen in Metrikansichten verwenden, um laufende Summen, Rangfolgen und andere fensterbasierte Berechnungen zu berechnen.

Anpassung der dynamischen Shufflepartition in zustandslosen Streamingabfragen

Sie können jetzt die Anzahl der Shuffle-Partitionen in zustandslosen Streamingabfragen ändern, ohne die Abfrage neu zu starten.

Ausführung adaptiver Abfragen und automatisch optimierte Shuffles bei zustandslosen Streamingabfragen

Adaptive Abfrageausführung (Adaptive Query Execution, AQE) und automatisch optimiertes Shuffle (AOS) werden nun in zustandslosen Streamingabfragen unterstützt.

Umfassende Unterstützung der Zusammenführung von Literalzeichenfolgen

Die Möglichkeit, aufeinanderfolgender Zeichenfolgenliterale wie 'Hello' ' World' in 'Hallo Welt' zusammenzufügen, wurde von Ausdrücken auf alle Stellen erweitert, an denen Zeichenfolgenliterale erlaubt sind. Beispiel: COMMENT 'This' ' is a ' 'comment'. Details finden Sie STRING unter Typ .

Parametermarkierungen überall

Sie können nun benannte (:param) und unbenannte (?) Parametermarkierungen praktisch überall verwenden, an der ein Literalwert des entsprechenden Typs verwendet werden kann. Dies schließt Parametermarkierungen in DDL-Anweisungen wie zum Beispiel CREATE VIEW v AS SELECT ? AS c1, Spaltentypen DECIMAL(:p, :s) oder COMMENT ON t IS :comment ein. Mit dieser Möglichkeit können Sie eine vielzahl von SQL-Anweisungen parametrisieren, ohne Ihren Code für SQL-Einfügungsangriffe verfügbar zu machen. Details finden Sie unter Parametermarkierungen .

IDENTIFIER-Klausel generell

Die Reichweite der IDENTIFIER-Klausel, die Zeichenfolgen in SQL-Objektnamen konvertiert, wurde auf nahezu alle Stellen erweitert, an denen ein Bezeichner zulässig ist. Zusammen mit den Verbesserungen für literale Zeichenfolgen, die eine Parametermarkierung zusammenfassen, können Sie jetzt alles von Spaltenaliasen (AS IDENTIFIER(:name)) bis zu Spaltendefinitionen (IDENTIFIER(:pk) BIGINT NOT NULL) parametrisieren. Ausführliche Informationen finden Sie unter IDENTIFIER Klausel.

Neue BITMAP_AND_AGG-Funktion

Die vorhandene Bibliothek der BITMAP Funktionen wurde mit einer neuen BITMAP_AND_AGG-Funktion abgerundet.

Neue Theta-Skizzenfunktionen

Sie können jetzt eine neue Bibliothek von Funktionen für die ungefähre Berechnung von unterschiedlichen Anzahlen und Mengenoperationen mit Datasketches Theta Sketch verwenden.

• theta_sketch_agg Aggregatfunktion
• theta_union_agg Aggregatfunktion
• theta_intersection_agg Aggregatfunktion
• theta_sketch_estimate Funktion
• theta_union Funktion
• theta_difference Funktion
• theta_intersection Funktion

Neue KLL_Sketch Funktionsbibliothek

Sie können jetzt eine neue Bibliothek von Funktionen verwenden, die KLL-Skizzen für die ungefähre Quantileberechnung erstellen:

• kll_sketch_agg_bigint Aggregatfunktion
• kll_sketch_get_quantile_bigint Funktion
• kll_sketch_merge_bigint Funktion
• kll_sketch_agg_double Aggregatfunktion
• kll_sketch_get_quantile_double Funktion
• kll_sketch_merge_double Funktion
• kll_sketch_agg_float Aggregatfunktion
• kll_sketch_get_quantile_float Funktion
• kll_sketch_merge_float Funktion
• kll_sketch_get_n_bigint Funktion
• kll_sketch_get_rank_bigint Funktion
• kll_sketch_to_string_bigint Funktion
• kll_sketch_get_n_double Funktion
• kll_sketch_get_rank_double Funktion
• kll_sketch_to_string_double Funktion
• kll_sketch_get_n_float Funktion
• kll_sketch_get_rank_float Funktion
• kll_sketch_to_string_float Funktion

Sie können mehrere KLL-Skizzen in einem Aggregationskontext zusammenführen, indem Sie Folgendes verwenden:

• kll_merge_agg_bigint
• kll_merge_agg_double
• kll_merge_agg_float

Apache-Parkettbibliothek aktualisiert auf 1.16.0

Die Apache-Parkettbibliothek wurde auf Version 1.16.0 aktualisiert.

st_azimuth Funktion wird jetzt unterstützt

Sie können nun den st_azimuth Funktionsausdruck verwenden, der den nordbasierten Azimut vom ersten Punkt zum zweiten in Bogenmaß [0, 2π)zurückgibt.

st_boundary Funktion wird jetzt unterstützt

Sie können nun den st_boundary Funktionsausdruck verwenden, der die Grenze der Eingabegeometrie zurückgibt.

st_closestpoint Funktion wird jetzt unterstützt

Sie können nun den st_closestpoint Funktionsausdruck verwenden, der die 2D-Projektion eines Punkts auf der ersten Geometrie zurückgibt, die der zweiten Geometrie am nächsten kommt.

st_geogfromewkt Funktion wird jetzt unterstützt

Sie können nun den st_geogfromewkt Funktionsausdruck verwenden, der eine EWKT-Beschreibung (Extended Well-Known Text) einer Geografie analysiert.

st_geomfromewkt Funktion wird jetzt unterstützt

Sie können nun den Funktionsausdruck verwenden, der st_geomfromewkt eine EWKT-Beschreibung (Extended Well-Known Text) einer Geometrie analysiert.

Verbesserte Leistung der räumlichen Verknüpfung

Die Leistung räumlicher Joins wurde durch die Einführung der Unterstützung für gemischte räumliche Joins verbessert.

Verbesserte Leistung für Geospatialfunktionen

Die folgenden ST-Funktionen verfügen jetzt über Photon-Implementierungen:

• st_isvalid Funktion
• st_makeline Funktion
• st_makepolygon Funktion

EWKT-Eingabeunterstützung

Die folgenden Funktionen akzeptieren nun extended Well-Known Text (EWKT) als Eingabe:

• try_to_geography Funktion
• try_to_geometry Funktion
• to_geography Funktion
• to_geometry Funktion

Verbesserungen der Bibliothek

Aktualisierte Python-Bibliotheken:

• anyio von 4.6.2 bis 4.7.0
• asttokens von 2.0.5 auf 3.0.0
• azure-core von 1.34.0 bis 1.37.0
• Aktualisierung von azure-mgmt-core von Version 1.5.0 auf 1.6.0
• azure-storage-blob von 12.23.0 bis 12.28.0
• azure-storage-file-datalake von 12.17.0 bis 12.22.0
• boto3 von 1.36.2 bis 1.40.45
• Botocore von 1.36.3 bis 1.40.45
• Zertifi von 31.01.2025 bis 26.04.2025
• Klicken Sie von 8.1.7 auf 8.1.8
• Kryptografie von 43.0.3 bis 44.0.1
• Cython von 3.0.12 bis 3.1.5
• databricks-sdk von 0.49.0 bis 0.67.0
• Deprecated von 1.2.13 auf 1.2.18
• executing von 0.8.3 auf 1.2.0
• fastapi von 0.115.12 bis 0.128.0
• filelock von 3.18.0 auf 3.17.0
• google-api-core von 2.20.0 bis 2.28.1
• google-auth von 2.40.0 bis 2.47.0
• google-cloud-core von 2.4.3 bis 2.5.0
• google-cloud-storage von 3.1.0 bis 3.7.0
• google-crc32c von 1.7.1 bis 1.8.0
• google-resumable-media von 2.7.2 auf 2.8.0
• h11 von 0.14.0 bis 0.16.0
• httpcore von 1.0.2 bis 1.0.9
• httpx von 0.27.0 bis 0.28.1
• isodate von 0.6.1 bis 0.7.2
• Jinja2 von 3.1.5 bis 3.1.6
• jupyter-events von 0.10.0 bis 0.12.0
• jupyter-lsp von 2.2.0 bis 2.2.5
• jupyter_server von 2.14.1 bis 2.15.0
• jupyter_server_terminals von 0.4.4 bis 0.5.3
• mistune von 2.0.4 auf 3.1.2
• mlflow-skinny von 3.0.1 bis 3.8.1
• mmh3 von 5.1.0 bis 5.2.0
• msal von 1.32.3 bis 1.34.0
• nbclient von 0.8.0 bis 0.10.2
• nbconvert von 7.16.4 auf 7.16.6
• nodeenv von 1.9.1 bis 1.10.0
• notebook_shim von 0.2.3 bis 0.2.4
• opentelemetry-api von 1.32.1 bis 1.39.1
• opentelemetry-sdk von 1.32.1 bis 1.39.1
• opentelemetry-semantic-conventions von 0.53b1 auf 0.60b1
• platformdirs von 3.10.0 bis 4.3.7
• prometheus_client von 0.21.0 bis 0.21.1
• proto-plus von 1.26.1 bis 1.27.0
• psycopg2 von 2.9.3 auf 2.9.11
• Pyarrow von 19.0.1 bis 21.0.0
• Pygments von 2.15.1 bis 2.19.1
• pyiceberg von 0.9.0 auf 0.10.0
• python-lsp-server von 1.12.0 bis 1.12.2
• rope von 1.12.0 auf 1.13.0
• s3transfer von 0.11.3 auf 0.14.0
• scipy von 1.15.1 bis 1.15.3
• setuptools von 74.0.0 bis 78.1.1
• six von 1.16.0 auf 1.17.0
• sqlparse von Version 0.5.3 auf Version 0.5.5 aktualisiert
• Stack-Data von 0.2.0 bis 0.6.3
• starlette von 0.46.2 bis 0.50.0
• Tornado von 6.4.2 bis 6.5.1
• types-python-dateutil von 2.9.0.20241206 bis 2.9.0.20251115
• uvicorn von 0.34.2 bis 0.40.0
• Webcolors von 24.11.1 bis 25.10.0

Aktualisierte R-Bibliotheken:

• Pfeil von 19.0.1 bis 22.0.0
• base von 4.4.2 auf 4.5.1
• bigD von 0.3.0 bis 0.3.1
• broom von 1.0.7 auf 1.0.10
• clock von 0.7.2 auf 0.7.3
• commonmark von 1.9.5 auf 2.0.0
• Compiler von 4.4.2 bis 4.5.1
• Anmeldeinformationen von 2.0.2 bis 2.0.3
• curl von Version 6.4.0 auf Version 7.0.0
• data.table von 1.17.0 bis 1.17.8
• Datasets von 4.4.2 bis 4.5.1
• dbplyr von 2.5.0 bis 2.5.1
• devtools von 2.4.5 bis 2.4.6
• diffobj von 0.3.5 bis 0.3.6
• Digest von 0.6.37 bis 0.6.39
• downlit von 0.4.4 auf 0.4.5
• dtplyr von 1.3.1 bis 1.3.2
• evaluate von 1.0.3 auf 1.0.5
• fansi von 1.0.6 bis 1.0.7
• forcats von 1.0.0 bis 1.0.1
• fs von 1.6.5 bis 1.6.6
• future von 1.34.0 auf 1.68.0
• future.apply von 1.11.3 auf 1.20.0
• gargle von 1.5.2 auf 1.6.0
• gert von 2.1.4 auf 2.2.0
• ggplot2 von 3.5.1 bis 4.0.1
• gh von 1.4.1 bis 1.5.0
• git2r von 0.35.0 bis 0.36.2
• glmnet von 4.1-8 bis 4.1-10
• googledrive von 2.1.1 bis 2.1.2
• googlesheets4 von 1.1.1 bis 1.1.2
• Grafiken von 4.4.2 bis 4.5.1
• grDevices von 4.4.2 bis 4.5.1
• Raster von 4.4.2 bis 4.5.1
• Aktualisierung von gt von Version 0.11.1 auf 1.1.0
• hardhat von Version 1.4.1 auf Version 1.4.2
• haven von Version 2.5.4 bis 2.5.5
• hms von 1.1.3 auf 1.1.4
• httpuv von 1.6.15 bis 1.6.16
• httr2 Version 1.1.1 bis Version 1.2.1
• jsonlite von 1.9.1 bis 2.0.0
• später von 1.4.1 auf 1.4.4
• Lava von 1.8.1 bis 1.8.2
• listenv Update von Version 0.9.1 auf Version 0.10.0
• magrittr von 2.0.3 bis 2.0.4
• markdown von 1.13 auf 2.0
• Methoden von 4.4.2 bis 4.5.1
• miniUI von 0.1.1.1 bis 0.1.2
• mlflow Versionen von 2.20.4 bis 3.6.0
• openssl von Version 2.3.3 auf Version 2.3.4 aktualisieren
• parallel von 4.4.2 bis 4.5.1
• parallel von 1.42.0 bis 1.45.1
• pillar von 1.11.0 auf 1.11.1
• pkgbuild von 1.4.6 auf 1.4.8
• Aktualisieren von pkgdown von 2.1.1 auf 2.2.0
• pkgload von 1.4.0 auf 1.4.1
• pROC von 1.18.5 bis 1.19.0.1
• prodlim von 2024.06.25 bis 2025.04.28
• Aktualisierung progressr von Version 0.15.1 auf Version 0.18.0
• promises von 1.3.2 auf 1.5.0
• PostScript von 1.9.0 bis 1.9.1
• purrr von 1.0.4 auf 1.2.0 aktualisieren
• Ragg von 1.3.3 bis 1.5.0
• Rcpp von 1.0.14 bis 1.1.0
• Readr von Version 2.1.5 bis Version 2.1.6
• Rezepte von 1.2.0 bis 1.3.1
• reshape2 von 1.4.4 zu 1.4.5
• rmarkdown von 2.29 auf 2.30
• roxygen2 von 7.3.2 bis 7.3.3
• rprojroot von 2.0.4 bis 2.1.1
• RSQLite von 2.3.9 bis 2.4.4
• rversions von 2.1.2 bis 3.0.0
• rvest von 1.0.4 auf 1.0.5
• sass von Version 0.4.9 auf Version 0.4.10
• skaliert von 1,3,0 auf 1,4.0
• shiny von 1.10.0 auf 1.11.1
• sparklyr von 1.9.1 bis 1.9.3
• SparkR von 4.0.0 bis 4.1.0
• sparsevctrs von 0.3.1 bis 0.3.4
• Splines von 4.4.2 bis 4.5.1
• Statistiken von 4.4.2 bis 4.5.1
• stats4 von 4.4.2 bis 4.5.1
• stringr von Version 1.5.1 bis Version 1.6.0
• systemfonts von 1.2.1 bis 1.3.1
• tcltk von 4.4.2 auf 4.5.1
• Testthat von 3.2.3 bis 3.3.0
• Textgestaltung von 1.0.0 bis 1.0.4
• timeDate von 4041.110 bis 4051.111
• Tinytex von 0,56 bis 0,58
• Tools von 4.4.2 bis 4.5.1
• usethis von 3.1.0 auf 3.2.1
• utils von Version 4.4.2 auf Version 4.5.1
• V8 von 6.0.2 bis 8.0.1
• vroom von 1.6.5 bis 1.6.6
• waldo von 0.6.1 bis 0.6.2
• xfun von 0,51 bis 0,54
• xml2 von 1.3.8 bis 1.5.0
• zeallot von 0.1.0 bis 0.2.0
• zip von 2.3.2 auf 2.3.3

Aktualisierte Java-Bibliotheken:

• com.amazonaws.amazon-kinesis-client aktualisiert von 1.12.0 auf 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-config von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-core von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-datapipeline von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-directconnect von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-directory von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-ec2 von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-ecs von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-efs von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-elasticache von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-emr von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-glacier von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-glue von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-iam von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-importexport von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-kinesis von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-kms von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-lambda von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-logs von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-opsworks von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-rds von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-redshift von 1.12.638 auf 1.12.681
• com.amazonaws.aws-java-sdk-route53 von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-s3 von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-ses von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-simpledb von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-sns von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-sqs von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-ssm von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-sts von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-support von 1.12.638 bis 1.12.681
• com.amazonaws.aws-java-sdk-workspaces von Version 1.12.638 bis Version 1.12.681
• com.amazonaws.jmespath-java von 1.12.638 bis 1.12.681
• com.databricks.databricks-sdk-java von 0.27.0 bis 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.18.2 bis 2.18.3
• com.github.luben.zstd-jni von 1.5.6-10 bis 1.5.7-6
• com.google.flatbuffers.flatbuffers-java von 24.3.25 bis 25.2.10
• com.google.guava.failureaccess von 1.0.2 bis 1.0.3
• com.google.guava.guava von 33.4.0-jre auf 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc von 11.2.3.jre8 bis 12.8.0.jre8
• commons-cli.commons-cli von 1.9.0 bis 1.10.0
• commons-codec.commons-codec von 1.17.2 bis 1.19.0
• commons-fileupload.commons-fileupload von 1.5 auf 1.6.0
• commons-io.commons-io von 2.18.0 bis 2.21.0
• dev.ludovic.netlib.arpack von 3.0.3 bis 3.0.4
• dev.ludovic.netlib.blas von 3.0.3 bis 3.0.4
• dev.ludovic.netlib.lapack von 3.0.3 bis 3.0.4
• io.dropwizard.metrics.metrics-annotation von 4.2.30 bis 4.2.37
• io.dropwizard.metrics.metrics-core von 4.2.30 bis 4.2.37
• io.dropwizard.metrics.metrics-graphite von 4.2.30 bis 4.2.37
• io.dropwizard.metrics.metrics-healthchecks von 4.2.30 bis 4.2.37
• io.dropwizard.metrics-jmx von 4.2.30 bis 4.2.37
• io.dropwizard.metrics.metrics-json von 4.2.30 bis 4.2.37
• io.dropwizard.metrics.metrics-jvm von 4.2.30 bis 4.2.37
• io.dropwizard.metrics.metrics-servlets von 4.2.30 bis 4.2.37
• io.netty.netty-all von 4.1.118.Final bis 4.2.7.Final
• io.netty.netty-buffer von 4.1.118.Final auf 4.2.7.Final
• Aktualisierung von io.netty.netty-codec von 4.1.118.Final auf 4.2.7.Final
• io.netty.netty-codec-http von 4.1.118.Final bis 4.2.7.Final
• io.netty.netty-codec-http2 von 4.1.118.Final bis 4.2.7.Final
• io.netty.netty-codec-socks von 4.1.118.Final auf 4.2.7.Final
• io.netty.netty-common von 4.1.118.Final bis 4.2.7.Final
• io.netty.netty-handler von 4.1.118.Final bis 4.2.7.Final
• io.netty.netty-handler-proxy von 4.1.118.Final auf 4.2.7.Final
• io.netty.netty-resolver von 4.1.118.Final auf 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static von 2.0.70.Final-db-r0-windows-x86_64 auf 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes von 2.0.70.Final auf 2.0.74.Final
• io.netty.netty-transport von 4.1.118.Final auf 4.2.7.Final
• io.netty.netty-transport-classes-epoll von 4.1.118.Final auf 4.2.7.Final
• io.netty.netty-transport-classes-kqueue von 4.1.118.Final bis 4.2.7.Final
• io.netty.netty-transport-native-epoll von 4.1.118.Final-linux-x86_64 auf 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue von 4.1.118.Final-osx-x86_64 auf 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common von 4.1.118.Final bis 4.2.7.Final
• joda-time.joda-time von 2.13.0 bis 2.14.0
• org.apache.arrow.arrow-format von 18.2.0 auf 18.3.0
• org.apache.arrow.arrow-memory-core von 18.2.0 bis 18.3.0
• org.apache.arrow.arrow-memory-netty von 18.2.0 bis 18.3.0
• org.apache.arrow.arrow-memory-netty-buffer-patch von 18.2.0 auf 18.3.0
• org.apache.arrow.arrow-vector von 18.2.0 bis 18.3.0
• org.apache.avro.avro von 1.12.0 zu 1.12.1
• org.apache.avro.avro-ipc von 1.12.0 auf 1.12.1
• org.apache.avro.avro-mapred von Version 1.12.0 zu Version 1.12.1
• org.apache.commons.commons-collections4 von 4.4 bis 4.5.0
• org.apache.commons.commons-compress von 1.27.1 auf 1.28.0
• org.apache.commons.commons-lang3 von 3.17.0 bis 3.19.0
• org.apache.commons.commons-text von 1.13.0 bis 1.14.0
• org.apache.curator.curator-client von 5.7.1 bis 5.9.0
• org.apache.curator.curator-framework von 5.7.1 bis 5.9.0
• org.apache.curator.curator-recipes von 5.7.1 bis 5.9.0
• org.apache.datasketches.datasketches-java von 6.1.1 bis 6.2.0
• org.apache.hadoop.hadoop-client-runtime von 3.4.1 auf 3.4.2
• org.apache.orc.orc-core von 2.1.1-shaded-protobuf auf 2.2.0-shaded-protobuf
• org.apache.orc.orc-format von 1.1.0-shaded-protobuf auf 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce von 2.1.1-shaded-protobuf auf 2.2.0-shaded-protobuf
• org.apache.orc.orc-shims von Version 2.1.1 auf Version 2.2.0
• org.apache.xbean.xbean-asm9-shaded von 4.26 bis 4.28
• org.apache.zookeeper.zookeeper aktualisiert von 3.9.3 auf 3.9.4
• org.apache.zookeeper.zookeeper-jute von 3.9.3 bis 3.9.4
• org.eclipse.jetty.jetty-client von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-http von 9.4.53.v20231009 bis 10.0.26
• Aktualisierung von org.eclipse.jetty.jetty-io von 9.4.53.v20231009 auf 10.0.26
• org.eclipse.jetty.jetty-jndi von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-plus von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-proxy von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-security von 9.4.53.v20231009 auf 10.0.26
• org.eclipse.jetty.jetty-server von 9.4.53.v20231009 auf 10.0.26
• org.eclipse.jetty.jetty-servlet von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-servlets von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-util von 9.4.53.v20231009 bis 10.0.26
• org.eclipse.jetty.jetty-webapp von Version 9.4.53.v20231009 auf Version 10.0.26
• org.eclipse.jetty.jetty-xml von 9.4.53.v20231009 bis 10.0.26
• org.mlflow.mlflow-spark_2.13 von 2.9.1 bis 2.22.1
• org.objenesis.objenesis von 3.3 auf 3.4
• org.scala-lang.modules.scala-xml_2.13 von 2.3.0 bis 2.4.0

Apache Spark

Databricks Runtime 18.0 umfasst Apache Spark 4.1.0. Diese Version enthält alle Spark Fixes und Verbesserungen, die in der vorherigen Version enthalten sind, sowie die folgenden:

• SPARK-54182 „[SQL][python] Nicht-Arrow-Konvertierung von df.toPandas optimieren“ zurücksetzen
• SPARK-54134 Optimieren der Speichernutzung von Apache Arrow
• SPARK-54536 Fehlende Erfassung der Client-/Wartezeitenkosten bei Shuffle FetchWaitTime
• SPARK-54534 Migration von Hive-bezogenen Legacyfehlercodes zu korrekten Fehlerbedingungen
• SPARK-54565 SparkBuildInfo sollte spark-version-info.properties aus seinem eigenen Klassenladeprogramm geladen werden.
• SPARK-54533 Festlegen der Metrik ExecutorSource.METRIC_RESULT_SIZE mit dem richtigen Wert
• SPARK-54478 Streaming-Tests für die Connect-Kompatibilitäts-Test-CI wieder aktivieren
• SPARK-54552 Fix SparkConnectResultSet.getString um den BINÄR-Datentyp zu verarbeiten mit UTF_8
• SPARK-54501 Verbesserte Fehlerbehandlung bei Hive-Metastore-Partitionsfilterfehlern
• SPARK-54550ConnectException ordnungsgemäß in SparkConnectStatement.close() behandeln
• SPARK-54020 Unterstützen der spark.sql(...) Python-API in Abfragefunktionen für Spark Declarative Pipeline
• SPARK-53127LIMIT ALLE für unbeschränkte Rekursion mit CTE-Normalisierung korrigieren
• SPARK-50072 Behandeln von ArithmeticException beim Intervall-Parsing mit großen Werten
• SPARK-54299 Beheben der falschen Beispielabfrage in WindowGroupLimit
• SPARK-54505 Korrigieren der Argumentreihenfolge des createMetrics-Aufrufs in makeNegative
• SPARK-54462 Füge SupportsV1OverwriteWithSaveAsTable Mixin für TableProvider hinzu
• SPARK-54540 Ein paar kleinere Korrekturen für den Connect-JDBC-Treiber
• SPARK-54508 Korrektur spark-pipelines zum robusteren Auflösen spec des Dateipfads
• SPARK-54087 Fehlgeschlagene Spark Executor-Startaufgabe sollte die Nachricht „Task beendet“ zurückgeben
• SPARK-53797 Korrektur von FileStreamSource.takeFilesUntilMax, um zipWithIndex zur Vermeidung der Nutzung von indices zu verwenden
• SPARK-54418 Beheben von Fehlermeldungen und Codeformatierung
• SPARK-54114 Unterstützung von getColumns für SparkConnectDatabaseMetaData
• SPARK-54209 Unterstützung des TIMESTAMP-Typs in SparkConnectResultSet
• SPARK-54208 Unterstützen des TIME-Typs in SparkConnectResultSet
• SPARK-54528 URLClassLoader vorzeitig zur Vermeidung von OOM schließen
• SPARK-54464 Entfernen doppelter output.reserve Aufrufe in assembleVariantBatch
• SPARK-53635 Unterstützung von Scala-UDFs mit Eingabeargumenten des Typs Seq[Row]
• SPARK-54493 Korrigieren von assertSchemaEqual für MapType
• SPARK-52515 approx_top_k mit aktivierter und deaktivierter Kennzeichnung testen
• SPARK-54413 Aktualisieren von Bootstrap v4.4.1 auf v4.6.2
• SPARK-54497 Caching im Konverter anwenden
• SPARK-54306 Variant-Spalten mit logischer Anmerkung des Variant-Datentyps kommentieren
• SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION sollte 1-basiert sein
• SPARK-54130 Hinzufügen detaillierter Fehlermeldungen für Katalog assertionsfehler
• SPARK-54220 NullType/VOID/UNKNOWN-Typ-Support in Parquet
• SPARK-54163 Kanonisierung für Partitionierungs- und Sortierungsinformationen scannen
• SPARK-54377 Korrigieren von COMMENT ONTABLE IS NULL zum ordnungsgemäßen Entfernen eines Tabellenkommentars
• SPARK-52767 maxRows und maxRowsPerPartition für Join und Union optimieren
• SPARK-54063 Snapshot für den nächsten Batch auslösen, wenn der Upload-Verzug besteht.
• SPARK-54384 Modernisieren der _batched-Methode für BatchedSerializer
• SPARK-54378CreateXmlParser.scala aus catalyst Modul entfernen
• SPARK-53103 Revert "[SC-204946][ss] Einen Fehler auslösen, wenn das Statusverzeichnis beim Start der Abfrage nicht leer ist"
• SPARK-53103 Auslösen eines Fehlers, wenn das Statusverzeichnis beim Starten der Abfrage nicht leer ist
• SPARK-54397 Machen Sie UserDefinedType hashbar
• SPARK-54440 Geben Sie der Standardpipelinespezifikationsdatei einen idiomatischen Namen, spark-pipeline.yml
• SPARK-54324 Hinzufügen von Test für Clientbenutzerkontexterweiterungen
• SPARK-54456 Worker-Modul nach Fork importieren, um eine Blockade zu vermeiden
• SPARK-54427 Erlaube, dass ColumnarRow copy mit verschiedenen Typen aufrufen kann
• SPARK-54136 Planzusammenführungslogik aus MergeScalarSubqueries in PlanMerger extrahieren
• SPARK-54389 Behebung des Fehlercodes "Ungültiger Stempel" im RocksDB-Statusspeicher, wenn die Aufgabe während der Initialisierung als fehlgeschlagen markiert wird.
• SPARK-54346 Status-Repartitions-API und Repartitionsrunner einführen
• SPARK-53809 Hinzufügen von Kanonisierung für DataSourceV2ScanRelation
• SPARK-54280 Verzeichnis für Pipeline-Prüfpunktspeicherung muss absoluter Pfad sein
• SPARK-54206 Unterstützung von BINARY-Typdaten in SparkConnectResultSet
• SPARK-54319 BHJ LeftAnti aktualisiert numOutputRows falsch, wenn Codegen deaktiviert ist
• SPARK-54355spark.connect.session.planCompression.defaultAlgorithm so ändern, dass NONE unterstützt wird
• SPARK-54341 Denken Sie an TimeTravelSpec für Tabellen, die über TableProvider geladen wurden.
• SPARK-54280 „[SC-212148][sdp] Verzeichnis für Pipeline-Prüfpunktspeicherung muss absoluter Pfad sein“ rückgängig machen
• SPARK-54354 Hängendes Spark beheben, wenn nicht genügend JVM-Heap-Speicher für eine Broadcast-Hash-Relation ist
• SPARK-54439 KeyGroupedPartitioning und nicht übereinstimmende Join-Schlüsselgröße
• SPARK-54280 Verzeichnis für Pipeline-Prüfpunktspeicherung muss absoluter Pfad sein
• SPARK-54395 RemoteBlockPushResolver-Klasse initialisiert ObjectMapper wiederholt
• SPARK-54207 Unterstützt Datumstypdaten in SparkConnectResultSet
• SPARK-54182 Nicht-Arrow-Konvertierung von df.toPandas optimieren
• SPARK-54312 Vermeiden Sie die wiederholte Planung von Aufgaben für SendHeartbeat/WorkDirClean in einem eigenständigen Worker.
• SPARK-54394 Verschieben isJavaVersionAtMost17 und isJavaVersionAtLeast21 von core nach common/utils
• SPARK-53927 Aktualisiere Kinesis-Client
• SPARK-54358 Prüfpunktverzeichnisse stehen in Konflikt, wenn Streamingtabellen in verschiedenen Schemas denselben Namen haben
• SPARK-54310 „[SC-212003][sql] numSourceRows-Metrik für MergeIntoExec hinzufügen“ rückgängig machen
• SPARK-54310 Metrik numSourceRows hinzufügen für MergeIntoExec
• SPARK-53322 KeyGroupedShuffleSpec nur auswählen, wenn Join-Schlüssel-Positionen vollständig gedrückt werden können
• SPARK-54270 SparkConnectResultSet get*-Methoden sollten checkOpen aufrufen und die Indexgrenze überprüfen
• SPARK-53849 Netty und Netty TC Native aktualisieren
• SPARK-54205 Unterstützt Dezimaltypdaten in SparkConnectResultSet
• SPARK-54417 Beheben der Fehlermeldung für skalare Unterabfrage in IDENTIFIER Klausel
• SPARK-54113 Unterstützung von getTables für SparkConnectDatabaseMetaData
• SPARK-54303 Kanonisierung der Fehlerbedingung MISSING_CATALOG_ABILITY
• SPARK-54153 Unterstützung von iteratorbasierten Profilierung in Python-UDFs
• SPARK-54349 Umgestalten von Code ein bisschen zur Vereinfachung der Fehlerhandlerintegrationserweiterung
• SPARK-54317 Arrow-Konvertierungslogik für Classic vereinheitlichen und toPandas verbinden
• SPARK-54339 AttributMap-Nicht-Determinismus korrigieren
• SPARK-54112 Unterstützung von getSchemas für SparkConnectDatabaseMetaData
• SPARK-54180 Überschreiben der toString-Methode von BinaryFileFormat
• SPARK-54213 Entfernen von Python 3.9 aus Spark Connect
• SPARK-54215 Hinzufügen der Eigenschaft "SessionStateHelper" zu "FilePartition"
• SPARK-54115 Priorität der Anzeigereihenfolge der Verbindungsserver-Operationsthreads auf der Thread-Dump-Seite
• SPARK-54193 spark.shuffle.server.finalizeShuffleMergeThreadsPercent veraltet
• SPARK-54149 Tail-Rekursion nach Möglichkeit aktivieren
• SPARK-54185 spark.shuffle.server.chunkFetchHandlerThreadsPercent veraltet
• SPARK-54056 Ersetzung für SQLConf-Einstellungen in Katalogen auflösen
• SPARK-54147 OMP_NUM_THREADS standardmäßig auf spark.task.cpus in BaseScriptTransformationExec setzen
• SPARK-54229 Der PySparkLogger in UDFs speichert einen Protokolleintrag pro Aufruf der Protokollfunktion
• SPARK-53337 XSS: Sicherstellen, dass der Anwendungsname auf der Verlaufsseite maskiert wird
• SPARK-54229 „[SC-211321][python] Sicherstellen, dass PySparkLogger in UDFs pro Aufruf einer Protokollierungsfunktion einen Protokolleintrag speichert“
• SPARK-54373 Vergrößern des SVG-ViewBox-Attributs der Job-DAG-Initialisierung
• SPARK-54323 Den Zugriff auf die Protokolle von der Systemansicht auf TVF umstellen
• SPARK-54229 Der PySparkLogger in UDFs speichert einen Protokolleintrag pro Aufruf der Protokollfunktion
• SPARK-53978 Protokollierung in treiberseitigen Workern unterstützen
• SPARK-54146 Bereinigung der Verwendung der veralteten Jackson-API
• SPARK-54383 Hinzufügen einer vorkompilierten Schemavariante für InternalRowComparableWrapper util
• SPARK-54030 Hinzufügen einer benutzerfreundlichen Assertionsmeldung zum Anzeigen von Metadatenbeschädigung
• SPARK-54144 Typrückschlüsse der Kurzschlussauswertung
• SPARK-54030 „[SC-210301][sql] Benutzerfreundliche Assertionsmeldung für die Ansicht von Metadatenbeschädigungen“ rückgängig machen
• SPARK-54028 Ein leeres Schema verwenden, wenn eine Ansicht geändert wird, die nicht Hive-kompatibel ist
• SPARK-54030 Hinzufügen einer benutzerfreundlichen Assertionsmeldung zum Anzeigen von Metadatenbeschädigung
• SPARK-54085initialize beheben, um die Option CREATE zusätzlich in DriverRunner hinzuzufügen
• SPARK-53482MERGE INTO Unterstützung, wenn die Quelle weniger geschachtelte Felder als das Ziel enthält
• SPARK-53905 Umgestalten von RelationResolution zum Aktivieren der Codewiederverwendung
• SPARK-53732 TimeTravelSpec in DataSourceV2Relation speichern
• SPARK-54014 Maximale Zeilenunterstützung für SparkConnectStatement
• SPARK-50906 Prüfung der Zulässigkeit von Null für neu geordnete Strukturfelder korrigieren
• SPARK-54396 Optimieren von Py4J-Aufrufen in Dataframe.toArrow
• SPARK-54344 Den Mitarbeiter töten, wenn die Löschung in daemon.py fehlschlägt
• SPARK-53977 Unterstützung des Loggings in UDTFs
• SPARK-52515 Erneut anwenden "[SC-199815][sql] Funktion approx_top_k hinzufügen"
• SPARK-54340 Hinzufügen der Funktion zur Verwendung von Viztracer für pyspark daemon/workers
• SPARK-54379 Verschieben der Lambda-Bindung in ein separates LambdaBinder Objekt
• SPARK-54029 Detaillierte Fehlermeldung für Tabellenmetadatenbeschädigung hinzufügen, um das Debuggen zu vereinfachen
• SPARK-54002 Unterstützung bei der Integration von BeeLine mit dem Connect JDBC-Treiber
• SPARK-54336 Korrigieren der BloomFilterMightContain Eingabetypüberprüfung mit ScalarSubqueryReference
• SPARK-53406 Unnötiges Shuffle-Join in direkter Passthrough-Shuffle-ID vermeiden
• SPARK-54347 Optimieren von Py4J-Aufrufen im klassischen Dataframe
• SPARK-54062 MergeScalarSubqueries-Codebereinigung
• SPARK-54054 Unterstützungszeilenposition für SparkConnectResultSet
• SPARK-54330 Optimieren von Py4J-Anrufen in spark.createDataFrame
• SPARK-54332 Keine Notwendigkeit, PlanId beim Gruppieren von Spaltennamen in rollup/cube/groupingSets anzufügen
• SPARK-53976 Unterstützung der Protokollierung in Pandas-/Arrow-UDFs
• SPARK-54123 Fügen Sie Zeitzone hinzu, um den Zeitstempel zu einem absoluten Zeitstempel zu machen.
• SPARK-54356 Beheben von EndToEndAPISuite verursacht durch fehlendes Speicherstammschema
• SPARK-54292 Aggregatfunktionen und GROUP BY in |>SELECT-Pipe-Operatoren (#180106) (#180368) unterstützen
• SPARK-54376 Markieren der meisten Pipelinekonfigurationsoptionen als intern
• SPARK-53975 Fügt grundlegende Unterstützung für die Python-Workerprotokollierung hinzu.
• SPARK-54361 Anpassen der Spark-Version auf den beabsichtigten Wert 4.2.0 für spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 | als Alternative zu |> für das SQL-Pipe-Operator-Token unterstützen
• SPARK-53535 Beheben fehlender Strukturen, die immer als NULL-Werte angenommen werden
• SPARK-54294 Normalisieren der gedruckten IP-Adresse des Connect-Servers
• SPARK-52439 Support-Check-Einschränkung mit NULL-Wert
• SPARK-54352 führt SQLConf.canonicalize ein, um die Normalisierung von Strings zu zentralisieren.
• SPARK-54183 „[SC-211824][python][CONNECT] Einen temporären Zwischendatenrahmen während Spark-Connect mit Pandas() vermeiden“ rückgängig machen
• SPARK-53573IDENTIFIER überall
• SPARK-53573 Zusammenführen von Zeichenfolgenliteralen überall zulassen
• SPARK-54240 Catalyst-Ausdruck zum Abrufen eines Array-Elements in einen Connector-Ausdruck übersetzen
• SPARK-54334 Überprüfung von Unterabfrageausdrücken unter Lambda- und höherwertigen Funktionen verschieben in SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 „[SC-211824][python][CONNECT] Einen temporären Zwischendatenrahmen während Spark-Connect mit Pandas() vermeiden“ rückgängig machen
• SPARK-54183 Vermeidung eines temporären zwischendatenframes während der Spark-Verbindung mit Pandas()
• SPARK-54264 Der DeDup-Operator kann rocksDB's keyExists() verwenden.
• SPARK-54269 Upgrade cloudpickle auf 3.1.2 für Python 3.14
• SPARK-54300 Optimieren von Py4J-Anrufen in df.toPandas
• SPARK-54307 Fehler auslösen, wenn die Streamingabfrage mit einem zustandsbehafteten Vorgang neu gestartet wird, das Statusverzeichnis jedoch leer ist
• SPARK-54117 Einen besseren Fehler auslösen, um anzugeben, dass TWS nur vom RocksDB-Statusspeicheranbieter unterstützt wird
• SPARK-53917 Unterstützung großer lokaler Relationen - Nachverfolgungen
• SPARK-54275 Bereinigen nicht verwendeter Code aus pipeline Modul
• SPARK-54287 Hinzufügen der Python 3.14-Unterstützung in pyspark-client und pyspark-connect
• SPARK-53614 Hinzufügen von Iterator[pandas.DataFrame] Support zu applyInPandas
• SPARK-54191 Einmaliges Hinzufügen zum Defineflow Proto
• SPARK-54234 Bei den Spaltennamen für die Gruppierung in df.groupBy muss PlanId nicht angegeben werden
• SPARK-54231 Füllen von Lücken in SDP-Dokumenten
• SPARK-54199 Hinzufügen der DataFrame-API-Unterstützung für neue KLL-Quantiles-Skizzenfunktionen (#178526)
• SPARK-52463 Erneut anwenden "[SC-211221][sdp] Unterstützung hinzufügen für cluster_by in den Python Pipelines APIs"
• SPARK-52463 Zurücksetzen "[SC-211221][sdp] Hinzufügen von Unterstützung für cluster_by in Python Pipelines-APIs"
• SPARK-53786 Der Standardwert mit dem speziellen Spaltennamen sollte nicht mit einer echten Spalte in Konflikt geraten.
• SPARK-54200 Aktualisierung der KafkaConsumerPoolRealTimeModeSuite zur Verwendung des groupIdPrefix für die Sicherheit bei gleichzeitigen Ausführungen.
• SPARK-52463 Hinzufügen von Unterstützung für cluster_by in Python Pipelines-APIs
• SPARK-52509 Einzelne Shuffles aus dem Fallbackspeicher beim RemoveShuffle-Ereignis bereinigen
• SPARK-54187 „[SC-211150][python][CONNECT] Alle Konfigurationen stapelweise in toPandas abrufen“ erneut anwenden
• SPARK-53942 Ändern von zustandslosen Shuffle-Partitionen beim Neustart der Streamingabfrage unterstützen
• SPARK-52515 „[SC-199815][sql] approx_top_k-Funktion hinzufügen“ zurücksetzen
• SPARK-52515 Funktion approx_top_k hinzufügen
• SPARK-54078 Neuer Test für StateStoreSuite SPARK-40492: maintenance before unload und Entfernen von Infra aus dem alten Test
• SPARK-54178 Verbessern des Fehlers für ResolveSQLOnFile
• SPARK-53455 RPC hinzufügen CloneSession
• SPARK-54178 „[SC-211111][sql] Fehler für ResolveSQLOnFile verbessern“ zurücksetzen
• SPARK-53489 Mit v2ColumnsToStructType in ApplyDefaultCollationToStringType entfernen
• SPARK-54178 Verbessern des Fehlers für ResolveSQLOnFile
• SPARK-54187 „[SC-211150][python][CONNECT] Alle Konfigurationen stapelweise in toPandas abrufen“ zurücksetzen
• SPARK-53942 „[SC-209873][ss] Das Ändern von zustandslosen Shuffle-Partitionen während des Neustarts einer Streaming-Abfrage unterstützen“ zurücksetzen
• SPARK-54187 Alle Konfigurationen stapelweise in toPandas abrufen
• SPARK-54145 Überprüfung von Spalten mit geschachtelten Typen in numerischen Aggregationen korrigieren
• SPARK-53942 Ändern von zustandslosen Shuffle-Partitionen beim Neustart der Streamingabfrage unterstützen
• SPARK-53991 Hinzufügen der SQL-Unterstützung für KLL-Quantiles-Funktionen basierend auf DataSketches (#178089) (#178234)
• SPARK-53128 Nicht verwaltete Speicherbytes in das Verwendungsprotokoll vor der Ausführung des OOM des Ausführungsspeichers einschließen
• SPARK-53731 Aktualisieren der Typenhinweise von Iterator-APIs
• SPARK-53967 Erstellung temporärer Pandas-Datenrahmen in df.toPandas vermeiden
• SPARK-53455 „[SC-208758][connect] CloneSession-RPC hinzufügen“ zurücksetzen
• SPARK-54108 Execute*-Methoden von SparkConnectStatement überarbeiten
• SPARK-54052 Hinzufügen eines Brückenobjekts zur Problemumgehung der Py4J-Einschränkung
• SPARK-54128 Konvertieren von IllegalArgumentException in SparkException mit ordnungsgemäßen Fehlerklassen auf Spark Connect-Server
• SPARK-53880 Behebung von DSv2 in PushVariantIntoScan durch das Hinzufügen von SupportsPushDownVariants
• SPARK-54111 Unterstützung getCatalogs für SparkConnectDatabaseMetaData
• SPARK-53455 RPC hinzufügen CloneSession
• SPARK-54118 Verbessern des Put/Merge-Vorgangs in ListState, wenn mehrere Werte vorhanden sind
• SPARK-54038 Unterstützung von getSQLKeywords für SparkConnectDatabaseMetaData
• SPARK-54013 Implementieren einfacher Methoden für SparkConnectDatabaseMetaData
• SPARK-53934 Erste Implementierung Connect-JDBC-Treiber
• SPARK-53959 Auslösen eines clientseitigen Fehlers beim Erstellen eines Datenframes aus einem Pandas-Datenframe mit einem Index, jedoch ohne Daten
• SPARK-53573 „[SC-210255][sql] Zusammenführung von Zeichenfolgenliteralen überall zulassen“ zurücksetzen
• SPARK-54094 Extrahieren allgemeiner Methoden in KafkaOffsetReaderBase
• SPARK-53573 Zusammenführen von Zeichenfolgenliteralen überall zulassen
• SPARK-54039 Hinzufügen von TaskContext-Informationen zu KafkaDataConsumer release()-Protokollen zum besseren Debuggen
• SPARK-54031 Neue goldene Dateitests für Analyse-Edgefälle hinzufügen
• SPARK-54067 VerbesserungSparkSubmit, um exitFn mit der eigentlichen Ursache anstelle von SparkUserAppException zu verwenden.
• [SPARK-54047] Einen Differenzfehler beim Kill-on-Idle-Timeout verwenden
• SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 IllegalArgumentException mit einem geeigneten Fehlercode für ungültige Datumszeit-Muster umhüllen
• SPARK-54031 „[SC-210084][sql] Neue goldene Dateitests für Analyse-Edgefälle hinzufügen“ zurücksetzen
• SPARK-54075 Auswertbar machen ResolvedCollation
• SPARK-54001 Die Speicherauslastung beim Klonen von Sitzungen mit zwischengespeicherten lokalen Verbindungen mit Verweiszähler optimieren
• SPARK-54031 Neue goldene Dateitests für Analyse-Edgefälle hinzufügen
• SPARK-53923 Umbenennen spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Verwenden von Java Set.of anstelle von Collections.emptySet
• SPARK-53755 Hinzufügen der Protokollunterstützung in BlockManager
• SPARK-54041 Validierung der ParameterizedQuery-Argumente refaktorisieren
• SPARK-53696 Standardmäßig auf Bytes für BinaryType in PySpark setzen
• SPARK-53921 Einführung von GeometryType und GeographyType zur PySpark-API
• SPARK-53788 VersionUtils in common Modul verschieben
• SPARK-53999 Native KQueue Transport-Unterstützung auf BSD/MacOS
• SPARK-54021 Geography- und Geometry-Accessoren in Catalyst implementieren
• SPARK-53921 Wiederherstellen von "[SC-209482][geo][PYTHON] Einführung von GeometryType und GeographyType zur PySpark-API"
• SPARK-53920 Einführung von GeometryType und GeographyType zur Java-API
• SPARK-53610 Begrenzung der Arrow-Batchgrößen in CoGrouped applyInPandas und applyInArrow
• SPARK-53659 Variantenzerkleinerungsschema beim Schreiben in Parkett herleiten
• SPARK-53922 Einführen physischer Geometrie- und Geografietypen
• SPARK-54059 Verringern der Standardseitengröße um LONG_ARRAY_OFFSET, wenn ZGC oder ShenandoahGC und ON_HEAP verwendet werden
• SPARK-53921 Einführung von GeometryType und GeographyType zur PySpark-API
• SPARK-54048 Update dev/requirements.txt zur Installation torch(vision) in Python 3.14
• SPARK-53917 Unterstützung großer lokaler Beziehungen
• SPARK-53760 Einführung in GeometryType und GeographyType
• SPARK-53530 Bereinigen des nutzlosen Codes im Zusammenhang mit TransformWithStateInPySparkStateServer
• SPARK-53636 Beheben von Threadsicherheitsproblem in SortShuffleManager.unregisterShuffle
• SPARK-52762 Hinzufügen einer PipelineAnalysisContext-Nachricht zur Unterstützung der Pipelineanalyse während der Spark Connect-Abfrageausführung
• SPARK-53631 Optimieren von Arbeitsspeicher und Perf im SHS-Bootstrap
• SPARK-53857 Aktivieren der MessageTemplate-Verteilung auf SparkThrowable
• SPARK-53891 DSV2-API zur Zusammenfassung von Commit-Schreibvorgängen modellieren
• SPARK-53966 Hinzufügen von Hilfsfunktionen zum Erkennen von JVM-GCs
• SPARK-53149 Korrektur der Tests zur Überprüfung, ob der BeeLine-Prozess im Hintergrund läuft
• SPARK-53738 Korrigieren des geplanten Schreibvorgangs, wenn die Abfrageausgabe faltbare Sortierungen enthält
• SPARK-53949 Anstelle Utils.getRootCause von Throwables.getRootCause
• SPARK-53696 „[SC-209330][python][CONNECT][sql] Byte für BinaryType in PySpark als Standard festlegen“ zurücksetzen
• SPARK-53804 Unterstützung der TIME-Radix-Sortierung
• SPARK-54004 Aufheben der Zwischenspeicherung von Tabellen nach Name ohne Kaskadierung beheben
• SPARK-53261 Verwenden von Java String.join|StringJoiner anstelle von Guava Joiner
• SPARK-53319 Unterstützt den Zeittyp durch try_make_timestamp_ltz()
• SPARK-53280 Verwenden von Java instanceof anstelle von Throwables.throwIf* Methoden
• SPARK-53696 Standardmäßig auf Bytes für BinaryType in PySpark setzen
• SPARK-53258check(Argument|State) von JavaUtils verwenden
• SPARK-53773 Wiederherstellen alphabetischer Reihenfolge von Regeln in RuleIdCollection
• SPARK-53256 Fördern check(Argument|State) zu JavaUtils
• SPARK-54008 QO überspringen für DESCRIBE QUERY
• SPARK-53573 Verwenden des Vorprozessors für die behandlung von generalisierten Parametermarkierungen
• SPARK-53980 API hinzufügen SparkConf.getAllWithPrefix(String, String => K)
• SPARK-54009 Unterstützen spark.io.mode.default
• SPARK-51903 Überprüfen von Daten zum Hinzufügen einer CHECK-Einschränkung
• SPARK-53573 Rückgängig machen von "[SC-209126][sql] Verwendung eines Pre-Processors für die generalisierte Behandlung von Parametermarkierungen"
• SPARK-53573 Verwenden des Vorprozessors für die behandlung von generalisierten Parametermarkierungen
• SPARK-53573 Rückgängig machen von "[SC-209126][sql] Verwendung eines Pre-Processors für die generalisierte Behandlung von Parametermarkierungen"
• SPARK-53956 TIME in der Funktion „try_make_timestamp„ in PySpark unterstützen
• SPARK-53930 TIME in der Funktion make_timestamp in PySpark unterstützen
• SPARK-53573 Verwenden des Vorprozessors für die behandlung von generalisierten Parametermarkierungen
• [SPARK-53564] DAGScheduler-Exits aufgrund einer BlockManager RPC-Zeitüberschreitung in DAGSchedulerEventProcessLoop vermeiden
• SPARK-53879 Upgrade Ammonite auf 3.0.3
• SPARK-53938 Korrektur der Dezimalneukalierung in LocalDataToArrowConversion
• SPARK-53845 SDP-Senken
• SPARK-53908 Probleme mit den Beobachtungen für Spark Connect mit Plan-Cache beheben
• SPARK-53841 Implementieren transform() in der Spalten-API
• SPARK-53929 Unterstützung von TIME in den Funktionen make_timestamp und try_make_timestamp in Scala
• SPARK-53902 Hinzufügen der Baumknoten-Musterbits für unterstützte Ausdrücke in der ParameterizedQuery Argumentliste
• SPARK-53064 MDC LogKey in Java neu schreiben
• SPARK-53762 Hinzufügen einer Datums- und Uhrzeitkonvertierung als Vereinfachungsregel zur Optimierung
• SPARK-53916 Deduplizieren der Variablen in PythonArrowInput
• SPARK-53690 Exponentielle Formatierung von avgOffsetsBehindLatest und estimatedTotalBytesBehindLatest im Kafka-Sources-Objekt in fortlaufendem JSON korrigieren
• SPARK-53789 Kanonisierung des Fehlerzustands CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Vereinfachen des Extrahierens von Tabelle aus DataSourceV2Relation (#52460)
• SPARK-45530java.lang.ref.Cleaner anstelle von finalize für NioBufferedFileInputStream verwenden
• SPARK-53789 „[SC-208902][sql][CONNECT] Fehlerbedingung CANNOT_MODIFY_STATIC_CONFIG kanonisieren“ zurücksetzen
• SPARK-53789 Kanonisierung des Fehlerzustands CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53111 Implementieren der time_diff-Funktion in PySpark
• SPARK-53896 Standardmäßig aktivieren spark.io.compression.lzf.parallel.enabled
• SPARK-53856 Entfernen alternativer Konfigurationsnamen
• SPARK-53611 Arrow-Batchgrößen in Window-Aggregations-UDFs begrenzen
• SPARK-53575 Ganze Consumerphasen wiederholen, wenn Prüfsummenkonflikte für einen wiederholten Shuffle-Zuordnungsvorgang erkannt wurden
• SPARK-53867 Begrenzen der Arrow-Batchgrößen in SQL_GROUPED_AGG_ARROW_UDF
• SPARK-53877 Einführung der BITMAP_AND_AGG Funktion.
• SPARK-51426 Behebung des Problems "Festlegen von Metadaten auf leeres Dictionary funktioniert nicht"
• SPARK-53868 Arraylängenüberprüfung anstelle der direkten Verweisüberprüfung in V2ExpressionBuilder verwenden
• SPARK-53609 Begrenzung der Arrow-Batchgrößen in SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Anstelle der veralteten DescribeTopicsResult.allTopicNames API verwenden all
• SPARK-53878 Problem mit der Racebedingung im Zusammenhang mit ObservedMetrics beheben
• SPARK-53796 Hinzufügen eines extension Felds zu einigen Pipeline-Prototypen zur Unterstützung der Vorwärtskompatibilität
• SPARK-53850 Proto für Senken definieren und DefineDataset in DefineOutput umbenennen
• SPARK-53812 Refaktorieren Sie die DefineDataset- und DefineFlow-Prototypen, um verwandte Eigenschaften zu gruppieren und zukünftige Entwicklungen abzusichern.
• SPARK-53870 Beheben eines teilweisen Lesefehlers für große Proto-Nachrichten in TransformWithStateInPySparkStateServer
• SPARK-53751 Expliziter Speicherort eines versionierten Checkpoints
• SPARK-52407 Hinzufügen von Unterstützung für Theta Sketch (#171135)
• SPARK-53779 Implementieren transform() in der Spalten-API
• SPARK-49547 Iterator der RecordBatch API hinzufügen zu applyInArrow
• SPARK-53802 Unterstützen von Zeichenfolgenwerten für das vom Benutzer angegebene Schema in SDP-Tabellen
• SPARK-53865 Extrahieren allgemeiner Logik aus der ResolveGenerate-Regel
• SPARK-53113 Unterstützung des Zeittyps durch try_make_timestamp()
• SPARK-53868 Nur die Signatur mit dem Ausdruck[] visitAggregateFunction in V2ExpressionSQBuilder verwenden
• SPARK-53792 rocksdbPinnedBlocksMemoryUsage bei begrenztem Speicher beheben...
• SPARK-53248 Unterstützung checkedCast in JavaUtils
• SPARK-52640 Standort des Python-Quellcodes weitergeben
• SPARK-52924 Die Unterstützung von ZSTD_strategy für die Komprimierung
• SPARK-53562 Erneutes Anwenden von "[SC-207233][python] Begrenzung der Arrow-Batch-Größen in applyInArrow und applyInPandas"
• SPARK-51272 Teilweise abgeschlossene unbestimmte Ergebnisstufe bei ResubmitFailedStages abbrechen und nicht fortsetzen
• SPARK-53795 Entfernen nicht verwendeter Parameter in LiteralValueProtoConverter
• SPARK-53808 Ermöglicht das Übergeben von optionalen JVM-Argumenten an spark-connect-scala-client
• SPARK-52614 Unterstützung von RowEncoder innerhalb von Product Encoder
• SPARK-53833 Aktualisieren dev/requirements.txt um torch/torchvision in Python 3.14 zu überspringen
• SPARK-53715 Umgestalten von getWritePrivileges für MergeIntoTable
• SPARK-53516 Argumentationsprozess spark.api.mode in SparkPipelines korrigieren
• SPARK-53507 Verwenden Sie keine Fallklasse für BreakingChangeInfo
• SPARK-53645 Implementieren Sie skipna den Parameter für ps.DataFrame any()
• SPARK-53717MapType.valueContainsNull Parameterkommentar korrekter überarbeiten
• SPARK-53700 Entfernen von Redundanz in DataSourceV2RelationBase.simpleString
• SPARK-53667EXPLAIN für AUFRUF mit IDENTIFIER beheben
• SPARK-53562 Revert "[SC-207233][python] Begrenze die "Arrow" Batch-Größen in applyInArrow und applyInPandas"
• SPARK-51169 Hinzufügen der Python 3.14-Unterstützung in Spark Classic
• SPARK-53562 Begrenzung der Arrow-Batchgrößen in applyInArrow und applyInPandas
• SPARK-53806 Leere Eingaben bei der AES-Entschlüsselung zulassen, damit eine Fehlerklasse vorhanden ist.
• SPARK-51756 Berechnet RowBasedChecksum in ShuffleWriters
• SPARK-52807 Protokolländerungen zur Unterstützung der Analyse innerhalb von Abfragefunktionen deklarativer Pipelines
• SPARK-53728 Drucke PipelineEvent-Nachricht mit Fehler im Test
• SPARK-53207 Pipeline-Ereignis asynchron an den Client senden
• SPARK-53829 Unterstützung datetime.time in Spaltenoperatoren
• SPARK-53638 Begrenzung der Byte-Größe von Arrow-Batches für TWS, um OOM zu vermeiden
• SPARK-53593 Fehlerbehebung: Für Antwortfelder keine Anführungszeichen verwenden
• SPARK-53734 Bevorzugung der Tabellenspalte gegenüber LCA beim Auflösen des Array-Index
• SPARK-53593 Hinzufügen eines Antwortfelds für DefineDataset und DefineFlow RPC
• SPARK-53734 „[SC-207697][sql] Bei der Auflösung von Array-Indizes die Tabellenspalte dem LCA vorziehen“ zurücksetzen
• SPARK-53621 Unterstützung für die Ausführung von CONTINUE HANDLER hinzufügen
• SPARK-53734 Bevorzugung der Tabellenspalte gegenüber LCA beim Auflösen des Array-Index
• SPARK-53507 Fehlern Breaking Change-Informationen hinzufügen
• SPARK-53707 Verbessern sie die Behandlung von Attributmetadaten.
• SPARK-53629 Typerweiterung für MERGE INTO MIT SCHEMA-ENTWICKLUNG implementieren
• SPARK-53719 Verbesserung der Typprüfung in der Funktion _to_col
• SPARK-53735 Ausblenden serverseitiger JVM-Stapelablaufverfolgungen standardmäßig in Spark-Pipelines-Ausgabe
• SPARK-53651 Hinzufügen von Unterstützung für persistente Ansichten in Pipelines
• SPARK-53678 Beheben von NPE, wenn eine Unterklasse von ColumnVector mit dem Datentyp null erstellt wird
• SPARK-46679 Fix für SparkUnsupportedOperationException Es wurde kein Encoder vom Typ T gefunden, wenn die parametrisierte Klasse verwendet wird.
• SPARK-53444 Execute immediate erneut ausführen Execute immediate erneut ausführen
• SPARK-53578 Vereinfachen der Datentypbehandlung in LiteralValueProtoConverter
• SPARK-53438 Verwenden von CatalystConverter in LiteralExpressionProtoConverter
• SPARK-53444 „[SC-206535][sql][CORE] Execute immediate erneut ausführen Execute immediate erneut ausführen“ zurücksetzen
• SPARK-53444 Execute immediate erneut ausführen Execute immediate erneut ausführen
• SPARK-53112 Unterstützung von TIME in den Funktionen make_timestamp_ntz und try_make_timestamp_ntz in PySpark
• SPARK-53492 Einen zweiten ExecutePlan mit einer Vorgangs-ID ablehnen, die bereits abgeschlossen wurde
• SPARK-52772 Korrektur von Golddateien weiterleiten
• SPARK-53591 Globalen Abgleich von Pipelinespezifikationsmustern vereinfachen
• SPARK-53553 Beheben der Behandlung von Nullwerten in LiteralValueProtoConverter
• SPARK-52772 Inkonsistente Tabellenattributebehandlung während aktualisierungen
• SPARK-53544 Unterstützung komplexer Typen von Beobachtungen
• SPARK-53357 Aktualisieren pandas auf 2.3.2
• SPARK-53402 API für direkte Passthrough-Partitionierungs-Datasets in Spark Connect in Scala unterstützen
• SPARK-53372 SDP End to End Testing Suite
• SPARK-53402 „[SC-206163][connect] API für direkte Passthrough-Partitionierungs-Datasets in Spark Connect in Scala unterstützen“ zurücksetzen
• SPARK-53402 API für direkte Passthrough-Partitionierungs-Datasets in Spark Connect in Scala unterstützen
• SPARK-53233 Sicherstellen, dass der Code zum streaming den richtigen Paketnamen verwendet
• SPARK-53233 „[SC-203716][sql][SS][mllib][CONNECT] Sicherstellen, dass der Code zum streaming den richtigen Paketnamen verwendet“ zurücksetzen
• SPARK-53233 Sicherstellen, dass der Code zum streaming den richtigen Paketnamen verwendet
• SPARK-53561 Unterbrechungsausnahme in TransformWithStateInPySparkStateServer während des outputStream.flush abfangen, um einen Worker-Absturz zu vermeiden
• SPARK-53486 Vermeiden Sie die Einstellung weights_only=False beim Laden des Torch-Modells
• SPARK-53391 Nicht verwendete PrimitiveKeyOpenHashMap entfernen
• SPARK-52431 Dem Runner für deklarative Pipelines den letzten Schliff geben
• SPARK-52980 Unterstützung von Arrow Python UDTFs
• SPARK-53453 Freigeben von 'torch<2.6.0'
• SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Verbessern der Speicherauslastung des XML-Parsers"
• SPARK-52582 „[SC-199314][sc-204581][SQL] Die Speicherauslastung des XML-Parsers verbessern“ zurücksetzen
• SPARK-52582 Verbessern der Speicherauslastung des XML-Parsers
• SPARK-51906 Dsv2-Ausdrücke in ALTER TABLE zum Hinzufügen von Spalten
• SPARK-53150list(File|Path)s verbessern, um nicht vorhandene Einträge, Einträge, die keine Verzeichnisse sind, und Symlink-Einträge zu verarbeiten
• SPARK-53091 Verbot org.apache.commons.lang3.Strings
• SPARK-52844 Numpy auf 1.22 aktualisieren
• SPARK-52912SparkStringUtils verbessern, um is(Not)?(Blank|Empty) zu unterstützen
• SPARK-52877 Verbessern der Leistung von Python-UDF-Pfeil serialisierer
• SPARK-52877 Rückgängig machen "[SC-201914][python] Verbesserung der Leistung des Python UDF Arrow Serializers"
• SPARK-52238 Python-Client für deklarative Pipelines
• SPARK-52877 Verbessern der Leistung von Python-UDF-Pfeil serialisierer
• SPARK-53287 Hinzufügen eines ANSI-Migrationshandbuchs
• SPARK-52110 Implementieren der SQL-Syntaxunterstützung für Pipelines
• SPARK-52897 Aktualisieren pandas auf 2.3.1
• SPARK-52451 Rückgängigmachen von "[SC-202894][connect][SQL] Make WriteOperation in SparkConnectPlanner ohne Seiteneffekte"
• SPARK-52976 Beheben von Python-UDF, das keine sortierte Zeichenfolge als Eingabeparameter/Rückgabetyp akzeptiert
• SPARK-52904 ConvertToArrowArraySafely standardmäßig aktivieren
• SPARK-52821 Hinzufügen von->DecimalType pyspark udf-Rückgabetyp-Koersion
• SPARK-52971 Beschränken der Größe der Python-Worker-Warteschlange im Ruhezustand
• SPARK-53013 Korrektur der Arrow-optimierten Python UDTF, die bei lateraler Verknüpfung keine Zeilen zurückliefert
• SPARK-51834 Synchronisierung von OSS: Unterstützung von End-to-End-Tabellenbeschränkungen beim Ändern/Hinzufügen/Entfernen
• SPARK-52675 Unterbrechen hängender ML-Handler in Tests
• SPARK-52959 Unterstützung von UDT in Arrow-optimierten Python UDTF
• [SPARK-52961] Arrow-optimierte Python UDTF mit 0-Argument-Auswertung bei lateraler Verknüpfung beheben
• SPARK-52949 Roundtrip zwischen RecordBatch und Tabelle in optimiertem Arrow-Python-UDTF vermeiden
• SPARK-52946 Arrow-optimiertes Python UDTF zur Unterstützung großer Variablentypen beheben
• SPARK-52934 Ermöglichen des Bereitstellens von Skalarwerten mit Arrow-optimierten Python-UDTF
• SPARK-52861 Überspringen der Erstellung eines Row-Objekts bei Arrow-optimierter UDTF-Ausführung
• SPARK-51834 Synchronisation des OSS-Supports für End-to-End-Erstellung/Ersetzung von Tabellen mit Einschränkungen
• SPARK-44856 Verbesserung der Leistung des Python UDTF Arrow Serializer
• SPARK-51834 Rückgängig machen von "[SQL] Behebung von TableSpec durch Hinzufügen eines Konstruktors"
• SPARK-51834 Korrektur von TableSpec durch Hinzufügen eines Konstruktors
• SPARK-51834 Rückgängig machen von "[SQL] Sync OSS (teilweise): Unterstützung der End-to-End-Tabelleneinschränkung beim Erstellen/Ersetzen von Tabellen"
• SPARK-51834 Open-Source-Software synchronisieren (teilweise): Unterstützung von End-to-End-Tabellenbeschränkungen beim Erstellen oder Ersetzen von Tabellen
• SPARK-52885 Implementieren der Funktionen "Stunde", "Minute" und "Sekunde" in Scala für den TIME-Typ
• SPARK-51834 Synchronisieren des OSS-Updates "ResolvedIdentifier" Aufrufe nicht anwenden
• SPARK-44856 Änderung rückgängig machen "[SC-195808][python] Verbesserung der Leistung des Python-UDTF-Arrow-Serialisierers"
• SPARK-51834 „[SQL] Aufrufe zum Aufheben der Synchronisierung von OSS-Update-ResolvedIdentifier“ zurücksetzen
• SPARK-44856 Verbesserung der Leistung des Python UDTF Arrow Serializer
• SPARK-51834 Synchronisieren des OSS-Updates "ResolvedIdentifier" Aufrufe nicht anwenden
• SPARK-52787 Neuorganisieren des Streamingausführungsverzeichnisses um Laufzeit- und Prüfpunktbereiche
• SPARK-51695 Synchronisiere OSS zum Erstellen/Ersetzen/Ändern von Tabellen für eindeutige Einschränkungen über DSv2
• SPARK-51695 Synchronisierung der OSS-Drop-Beschränkung via DSv2
• SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
• SPARK-51695 Rückgängig machen von "[SQL] Einbringen von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)"
• SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
• SPARK-49428 Scala-Client von Connector zu SQL verschieben
• SPARK-52422 Aktualisieren pandas auf 2.3.0
• SPARK-52228 Integrieren von Zustandsinteraktionsmikrobenchmark in Quicksilver (TCP)
• SPARK-52300 Stellen Sie sicher, dass die SQL UDTVF-Auflösung konsistente Konfigurationen mit der Ansicht-Auflösung verwendet
• SPARK-52228 Erstellen des vom Benchmark vorgesehenen TWS-Zustandsservers mit In-Memory-Zustandsimplementierungen und dem Python-Benchmark-Code
• SPARK-52174 Standardmäßig aktivieren spark.checkpoint.compress
• SPARK-52224 Einführen von pyyaml als Abhängigkeit für den Python-Client
• SPARK-52122 Beheben der Sicherheitsanfälligkeit in DefaultParamsReader RCE
• SPARK-51147 Umgestalten von Streaming-verwandten Klassen zu einem dedizierten Streamingverzeichnis
• SPARK-51789 Beachten Sie spark.api.mode und spark.remote beim Analysieren von Argumenten in der Spark-Übermittlung ordnungsgemäß.
• SPARK-51212 Hinzufügen eines getrennten PySpark-Pakets für Spark Connect standardmäßig
• SPARK-50762 Hinzufügen der Analyzer-Regel zum Auflösen von SQL-Skalar-UDFs
• SPARK-49748 Hinzufügen von getCondition und Veralten von getErrorClass in SparkThrowable
• SPARK-50605 Unterstützung des SQL-API-Modus für eine einfachere Migration zu Spark Connect
• SPARK-50458 Ordnungsgemäße Fehlerbehandlung für nicht unterstützte Dateisysteme beim Lesen von Dateien
• SPARK-49700 Vereinheitlichte Scala-Schnittstelle für Connect und Classic
• SPARK-51779 Verwenden von virtuellen Spaltenfamilien für Stream-Stream-Verknüpfungen
• SPARK-51820 Verschieben Sie die UnresolvedOrdinal-Konstruktion vor der Analyse, um ein Problem mit der Gruppierung nach Ordinalzahlen zu vermeiden
• SPARK-51814 Einführung einer neuen API transformWithState in PySpark
• SPARK-51635 Zusammenführen von PushProjectionThroughLimit und PushProjectionThroughOffset
• SPARK-51165 Standardmäßig aktivieren spark.master.rest.enabled
• SPARK-51688 Verwenden von Unix Domain Socket zwischen Python und JVM-Kommunikation
• SPARK-51503 Unterstützung des Variant-Typs im XML-Scan
• SPARK-50564 Upgrade protobuf des Python-Pakets auf 5.29.1
• SPARK-50359 Upgrade PyArrow auf 18.0
• SPARK-51340 Modellgrößenschätzung
• SPARK-50657 Aktualisieren der Mindestversion von pyarrow 11.0.0
• SPARK-49282 Erstellen Sie eine freigegebene SparkSessionBuilder-Schnittstelle.
• SPARK-51371 Ändern von "toString" in "toPrettySQL" beim Erstellen von Aliasen in ResolveAggregateFunctions
• SPARK-50694 Unterstützung von Umbenennungen in Unterabfragen
• SPARK-50601 „[SC-186342][sql] withColumns / withColumnsRenamed in Unterabfragen unterstützen“ zurücksetzen
• SPARK-50601 Support mit Spalten / mit umbenannten Spalten in Unterabfragen

Azure Databricks ODBC/JDBC-TREIBERunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber und Upgrades herunter (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Weitere Informationen finden Sie unter Azure Databricks Wartungsupdates für Runtime 18.0.

Systemumgebung

• Betriebssystem: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Skala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Paket-Manager CRAN-Momentaufnahme am 2025-03-20installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)