Onderhoudsupdates voor Databricks Runtime

Op deze pagina vindt u onderhoudsupdates voor ondersteunde Databricks Runtime-versies. Als u een onderhoudsupdate wilt toevoegen aan een bestaand cluster, start u het cluster opnieuw op. Zie Onderhoudsupdates voor Databricks Runtime (gearchiveerd) voor de onderhoudsupdates voor niet-ondersteunde Databricks Runtime-versies.

Releases worden gefaseerd uitgerold. Uw Azure Databricks-account wordt mogelijk enkele dagen na de eerste releasedatum niet bijgewerkt.

Note

Vanaf Databricks Runtime 19 worden onderhoudsupdates rechtstreeks gepubliceerd op de geïntegreerde releaseopmerkingenpagina van elke versie. Deze pagina heeft alleen betrekking op Databricks Runtime 18 en eerder. Zie de ondersteuningslevenscycli van Databricks Runtime.

Databricks Runtime-versies

Onderhoudsupdates gesorteerd op release

Databricks Runtime 18 LTS

Zie Databricks Runtime 18 LTS.

  • 8 oktober 2026

    • Voor door Unity Catalog beheerde views ondersteunt CREATE OR REPLACE VIEW nu de COPY *- en NOCOPY *-clausules. Deze clausules bepalen of de vervanging de metadata van de bestaande view behoudt, zoals machtigingen, opmerkingen en tags. Zie CREATE VIEW.

  • 29 september 2026

    • [SPARK-57540][SQL] Instantieer geshadede Woodstox WstxOutputFactory rechtstreeks in StaxXmlGenerator
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 15 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 1 september 2026

    • (Gedragsverandering) RESTORE en CLONE commando's die de partitionering van een tabel veranderen, kunnen worden geblokkeerd als de bron- en doeltabel een gemeenschappelijke bestand delen.
    • [SPARK-58751][SPARK-58977] Backport van de opschoning van de Python-worker en het afsluiten van de state server
    • [SPARK-58386][SS] Herstel de achterwaartse compatibiliteit van SupportsRealTimeRead.nextWithTimeout
    • [SPARK-51268][SQL] Maak TreeNode slotvrij
    • [SPARK-58531][SQL][CONNECT] Maak spark.sql.artifact.copyFromLocalToFs.allowDestLocal een statische conf
    • Beveiligingsupdates van het besturingssysteem.

  • 18 augustus 2026

    • [SPARK-58292][CORE] Maak de netty worker EventLoopGroup opnieuw wanneer een worker event loop thread sterft
    • Beveiligingsupdates van het besturingssysteem.

  • 4 augustus 2026

    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.4.0 tot 1.4.1
    • Draai "[SPARK-57778][ALLEEN VOOR TESTS] Voeg HiFi-ondersteuning toe voor niet-selecteerbare Oracle JDBC-objecten" terug
    • [SPARK-58107] Backport van lokaal checkpoint deduplicatie en verzegeling + MERGE-verificatie van de checksum van de gematerialiseerde bron
    • [SPARK-57547][SQL] Pas gelijktijdige materialisatieoplossing opnieuw toe InMemoryRelation
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2026

    • (Gedragswijziging) Gebruikers die gebruikmaken van aangepaste typen of typen van derden binnen DStream-closures, moeten nu spark.streaming.checkpoint.allowedClasses voor deze typen instellen vóór checkpoint-herstel.
    • Er is een correctheidsfout opgelost waarbij windowed min/max over een BinaryType-kolom met een schuivend frame (elk RANGE-frame, of een ROWS-frame met een grootte van 10 of groter) de lopende globale min/max retourneerde in plaats van de waarde per frame.
    • [SPARK-53454][SQL][backport] Handle AlwaysTrue/AlwaysFalse in JDBCSQLBuilder
    • [SPARK-57778][SQL] Oracle JDBC-objecten verwerken die niet kunnen worden geselecteerd als tabellen
    • Beveiligingsupdates van het besturingssysteem.

  • 10 juli 2026

    • [SPARK-57195][SQL] Toon MALFORMED_CSV_RECORD in plaats van ArrayIndexOutOfBoundsException bij CSV-schema-afleiding
    • [SPARK-57593][SQL][PYTHON] Begrens en instrumenteer de invoerbatch voor de pickle-Python-UDF op bytes
    • [SPARK-57243][18.3.2][SQL] Zet IsNull en IsNotNull tussen vierkante haken voor de V2 SQL-builder
    • Diverse bugfixes.
  • 29 juni 2026
    • (Gedragswijziging) Metrische weergaven weigeren nu venstermetingen die verwijzen naar andere venstermetingen. Voorheen werkte dit patroon tijdens CREATE, maar mislukte het tijdens het uitvoeren van de query zonder melding of leverde het onjuiste resultaten op. Nu retourneert Azure Databricks een duidelijke fout op CREATE of ALTER tijdstip (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Als u deze validatie wilt uitschakelen, stelt u in op spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57088][SQL] Niet-deterministische rangschikkingsexpressie toestaan voor EXACT NEAREST BY
    • [SPARK-56652][SQL] Altijd RELY/NORELY verzenden in DESCRIBE EXTENDED constraint output
    • [SPARK-57355][PYTHON] Controle van module in UDF-profiler corrigeren
    • [SPARK-56720][SS] Mislukt volgende asynchrone logboekschrijfbewerkingen na een eerdere fout bij het bijhouden van asynchrone voortgang
    • [SPARK-56977][SQL] RewriteNearestByJoin moet rekening houden met joinType in de synthetische join
    • [SPARK-57371][Connect] Gegevensrace herstellen in ArrowDeserializers
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 18.2

Zie Databricks Runtime 18.2.

  • 29 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 15 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 1 september 2026

    • (Gedragsverandering) RESTORE en CLONE commando's die de partitionering van een tabel veranderen, kunnen worden geblokkeerd als de bron- en doeltabel een gemeenschappelijke bestand delen.
    • [SPARK-58386][SS] Herstel de achterwaartse compatibiliteit van SupportsRealTimeRead.nextWithTimeout
    • [SPARK-58531][SQL][CONNECT] Maak spark.sql.artifact.copyFromLocalToFs.allowDestLocal een statische conf
    • [SPARK-58751][SPARK-58977] Backport van de opschoning van de Python-worker en het afsluiten van de state server
    • Beveiligingsupdates van het besturingssysteem.

  • 18 augustus 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 4 augustus 2026

    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.4.0 tot 1.4.1
    • Draai "[SPARK-57778][ALLEEN VOOR TESTS] Voeg HiFi-ondersteuning toe voor niet-selecteerbare Oracle JDBC-objecten" terug
    • [SPARK-58107] Backport van lokaal checkpoint deduplicatie en verzegeling + MERGE-verificatie van de checksum van de gematerialiseerde bron
    • [SPARK-57547][SQL] Backport van de oplossing voor gelijktijdige materialisatie naar 18.2 (met uitschakeloptie)
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2026

    • (Gedragswijziging) Gebruikers die gebruikmaken van aangepaste typen of typen van derden binnen DStream-closures, moeten nu spark.streaming.checkpoint.allowedClasses voor deze typen instellen vóór checkpoint-herstel.
    • Er is een correctheidsfout opgelost waarbij windowed min/max over een BinaryType-kolom met een schuivend frame (elk RANGE-frame, of een ROWS-frame met een grootte van 10 of groter) de lopende globale min/max retourneerde in plaats van de waarde per frame.
    • [SPARK-53454][SQL][backport] Handle AlwaysTrue/AlwaysFalse in JDBCSQLBuilder
    • [SPARK-57778][SQL] Oracle JDBC-objecten verwerken die niet kunnen worden geselecteerd als tabellen
    • [SPARK-57758][SQL] O(1) ingebouwde functie-resolutie herstellen
    • Beveiligingsupdates van het besturingssysteem.

  • 10 juli 2026

    • [SPARK-57593][SQL][PYTHON] Begrens en instrumenteer de invoerbatch voor de pickle-Python-UDF op bytes
    • [SPARK-57243][SQL] Plaats IsNull en IsNotNull tussen rechte haken voor de V2 SQL-builder
    • Diverse bugfixes.
  • 29 juni 2026
    • (Gedragswijziging) Metrische weergaven weigeren nu venstermetingen die verwijzen naar andere venstermetingen. Voorheen werkte dit patroon tijdens CREATE, maar mislukte het tijdens het uitvoeren van de query zonder melding of leverde het onjuiste resultaten op. Nu retourneert Azure Databricks een duidelijke fout op CREATE of ALTER tijdstip (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Als u deze validatie wilt uitschakelen, stelt u in op spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57355][PYTHON] Controle van module in UDF-profiler corrigeren
    • [SPARK-57371][Connect] Gegevensrace herstellen in ArrowDeserializers
    • Beveiligingsupdates van het besturingssysteem.

  • 18 juni 2026

    • (Gedragswijziging) De sectie SQL/Dataframe Properties in de Spark-gebruikersinterface is verwijderd voor DBSQL Serverless.

  • 9 juni 2026

    • [SPARK-56410][SQL][CORE] Ondersteuning voor begrensde k-wegsamenvoeging toevoegen in UnsafeExternalSorter om het OOM-risico te verminderen
    • (Gedragswijziging) Voor het maken van een externe Microsoft Fabric (OneLake)-catalogus is nu de optie (item_typeof LAKEHOUSE) vereist bij het WAREHOUSE gebruik van SQL CREATE FOREIGN CATALOG of de REST API. In de Databricks-gebruikersinterface wordt deze optie automatisch ingesteld. Bestaande externe catalogi worden niet beïnvloed.
    • (Gedragswijziging) SET TAG is nu idempotent. Als u een SET TAG bewerking herhaalt op een resource die de tag al heeft, wordt er geen fout meer gegenereerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 26 mei 2026
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.11 tot 1.4.0
    • Beveiligingsupdates van het besturingssysteem.
  • 13 mei 2026
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.10 tot 1.3.11
    • [SPARK-56511][CORE] NPE oplossen in ShuffleInMemorySorter.getMemoryUsage na een mislukte reset
    • [SPARK-56554][SQL] Respecteer de optie inferSchema bij het opnemen van XML als variant
    • [SPARK-56302][CORE] Taakresultaatgeheugen direct vrijgeven tijdens serialisatie op executor
    • Draai "[SPARK-55356][SQL] alias voor PIVOT-clausule ondersteunen" terug
    • [SPARK-56502][CORE] Corrigeer een overloop van gehele getallen in DirectByteBufferOutputStream-capaciteitscontrole
    • [SPARK-56043][SQL] Verpak NullPointerException uit Avro 1.12.x ParseContext.resolve() in SchemaParseException
    • [SPARK-56652][SQL] Altijd RELY/NORELY verzenden in DESCRIBE EXTENDED constraint output
    • [SPARK-56328][SQL] Corrigeer de afhandeling van inline table collation voor INSERTVALUES en DEFAULT COLLATION
    • Diverse bugfixes.

Databricks Runtime 17.3 LTS

Zie Databricks Runtime 17.3 LTS.

  • 29 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 15 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 1 september 2026

    • (Gedragsverandering) RESTORE en CLONE commando's die de partitionering van een tabel veranderen, kunnen worden geblokkeerd als de bron- en doeltabel een gemeenschappelijke bestand delen.
    • Bijgewerkte Java bibliotheken:
      • io.netty.netty-all van 4-1-118.Finale tot 4-1-137.Finale
      • io.netty.netty-buffer van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-codec van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-codec-http van 4.1.118.Final tot 4.1.137.Final
      • io.netty.netty-codec-http2 van 4.1.118.Final tot 4.1.137.Final
      • io.netty.netty-codec-socks van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-common van 4-1-118.Finale tot 4-1-137.Finale
      • io.netty.netty-handler van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-handler-proxy van 4.1.118.Final tot 4.1.137.Final
      • io.netty.netty-resolver van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-transport van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-transport-classes-epoll van 4.1.118.Finale tot 4.1.137.Finale
      • io.netty.netty-transport-classes-kqueue van 4.1.118.Final tot 4.1.137.Final
      • io.netty.netty-transport-native-epoll van 4.1.118.Finale, 4.1.118.Finale, 4.1.118.Finale, 4.1.118.Finale tot 4.1.137.Finale, 4.1.137.Finale, 4.1.137.Finale, 4.1.137.Finale
      • io.netty.netty-transport-native-kqueue van 4.1.118.Finale, 4.1.118.Finale tot 4.1.137.Finale, 4.1.137.Finale
      • io.netty.netty-transport-native-unix-common van 4.1.118.Eind tot 4.1.137.Eind
      • org.eclipse.jetty.jetty-client van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-voortzetting van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy van 9.4.53.v20231009 naar 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server van 9.4.53.v20231009 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet van 9.4.53.v20231009 tot 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Maak spark.sql.artifact.copyFromLocalToFs.allowDestLocal een statische conf
    • [SPARK-58751][SPARK-58977] Backport van de opschoning van de Python-worker en het afsluiten van de state server
    • [SPARK-58292][CORE] Maak de netty worker EventLoopGroup opnieuw wanneer een worker event loop thread sterft
    • Beveiligingsupdates van het besturingssysteem.

  • 18 augustus 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 4 augustus 2026

    • [SPARK-57778][ALLEEN VOOR TESTS] Los de instabiele Oracle HiFi-test met niet-selecteerbaar dedicated schema op.
    • [SPARK-58107] Backport van lokaal checkpoint deduplicatie en verzegeling + MERGE-verificatie van de checksum van de gematerialiseerde bron
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2026

    • Er is een correctheidsfout opgelost waarbij windowed min/max over een BinaryType-kolom met een schuivend frame (elk RANGE-frame, of een ROWS-frame met een grootte van 10 of groter) de lopende globale min/max retourneerde in plaats van de waarde per frame.
    • [SPARK-57778][SQL] Oracle JDBC-objecten verwerken die niet kunnen worden geselecteerd als tabellen
    • [SPARK-57371][Connect] Gegevensrace herstellen in ArrowDeserializers
    • Beveiligingsupdates van het besturingssysteem.

  • 10 juli 2026

    • [SPARK-57547][SQL] Backport van InMemoryRelation oplossing voor gelijktijdige materialisatie naar 17.3 (met uitschakeloptie)
    • Diverse bugfixes.
  • 29 juni 2026
    • (Gedragswijziging) Metrische weergaven weigeren nu venstermetingen die verwijzen naar andere venstermetingen. Voorheen werkte dit patroon tijdens CREATE, maar mislukte het tijdens het uitvoeren van de query zonder melding of leverde het onjuiste resultaten op. Nu retourneert Azure Databricks een duidelijke fout op CREATE of ALTER tijdstip (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Als u deze validatie wilt uitschakelen, stelt u in op spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • Beveiligingsupdates van het besturingssysteem.
  • 9 juni 2026
    • (Gedragswijziging) SET TAG is nu idempotent. Als u een SET TAG bewerking herhaalt op een resource die de tag al heeft, wordt er geen fout meer gegenereerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 26 mei 2026
    • [SPARK-34591][ML] Beslissingsstructuur toevoegen als parameter
    • Beveiligingsupdates van het besturingssysteem.
  • 13 mei 2026
    • (Wijziging in gedrag) Tabellen weergeven met een schemapatroon vernieuwt Unity Catalog-metagegevens voor externe tabellen (bijvoorbeeld SQL Server, PostgreSQL of AWS Glue) niet langer. Deze wijziging heeft invloed op de aanroepen SHOW TABLES IN SCHEMA LIKE ... en getMetaData.getTables in het JDBC-stuurprogramma wanneer een schemapatroon wordt doorgegeven, en op de Thrift-SparkGetTablesOperation-API. Als uw workload afhankelijk is van het vernieuwen van metagegevens met een schemapatroon, neemt u contact op met databricks-ondersteuning.
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.10 tot 1.3.11
    • [SPARK-56361][SS] Betere fout bij het aanmelden bij NPE in stream-stream join
    • Diverse bugfixes.

  • 20 april 2026

    • De CRS-instantie voor het GEOMETRY(102100) type is opgelost. De instantie wordt nu gerapporteerd als ESRI:102100 in plaats van EPSG:102100.
    • Er is een probleem opgelost met de juistheid van gegevens in MERGEen UPDATEstreaming-schrijfquery's waarbij NULL-structs in de bron werden uitgebreid naar niet-NULL-structs met NULL-velden in het doel. NULL-structs in de bron worden nu als NULL behouden in het target. De oplossing is van toepassing op de volgende bewerkingen:
      • MERGE met UPDATE SET t.structCol = s.structCol acties die gebruikmaken van structtype casts.
      • MERGE waarbij UPDATE SET * schemaontwikkeling is ingeschakeld en de doelstruct geen extra velden heeft of oorspronkelijk NULL was.
      • MERGE met UPDATE SET * EXCEPT wanneer de struct geen velden in de EXCEPT lijst bevat.
      • MERGE met INSERT (structCol) VALUES (s.structCol) acties die gebruikmaken van structtype casts.
      • MERGE met INSERT * [EXCEPT] acties die gebruikmaken van structtype casts.
      • UPDATE queries met struct type casts.
      • Streaming-schrijfbewerkingen met structtype casts.

  • 2 april 2026

    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.9 tot 1.3.10
    • [SPARK-55811] [SQL] Catch NonFatal in plaats van UnresolvedException bij het aanroepen van nodeWithOutputColumnsString
    • [SPARK-55892][SS] Er kan geen statusopslag worden geladen omdat het opnieuw gebruikte SST-bestand is verwijderd door onderhoud
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Ondersteuning voor gestructureerde id's voor stromen in SDP eager analysis protos
    • Beveiligingsupdates van het besturingssysteem.

  • 10 maart 2026

    • [SPARK-55493] [SS] Geen mkdirs in de statusmap voor streamingcontrolepunten in StateDataSource
    • [SPARK-55111][SS] Niet-voltooide herpartitioneringsdetectie opnieuw inschakelen bij opnieuw opstarten van query's
    • [SPARK-55701]ES-1694761[SS] Racevoorwaarde opgelost in CompactibleFileStreamLog.allFiles
    • Beveiligingsupdates van het besturingssysteem.

  • 26 februari 2026

    • Bijgewerkte Java bibliotheken:
      • org.mlflow.mlflow-spark_2.13 van 2.9.1 tot 2.20.4
    • Beveiligingsupdates van het besturingssysteem.

  • 19 februari 2026

    • Bij het uitstellen van het schema van Excel bestanden worden tekenreekscellen nu afgeleid als Spark StringType. Dit geldt voor het celtype dat is ingesteld in Excel. Eerder werden tekenreeksen met numerieke waarden automatisch omgezet in smallere typen zoals Long of Decimal.
    • [SPARK-54887][CONNECT] Altijd een SQL-status instellen in spark connect-client
    • [SPARK-54887][CONNECT] Voeg optionele sqlstate toe aan sparkthrowables
    • [SPARK-55097][SQL] Reparatie van het opnieuw toevoegen van cacheartefacten laat blokken stilzwijgend vallen probleem
    • [SPARK-55282][PYTHON][CONNECT] Vermijd het gebruik van worker_util aan de stuurprogrammazijde
    • [SPARK-49110][SQL] Vereenvoudig SubqueryAlias.metadataOutput om metagegevenskolommen altijd door te geven
    • [SPARK-55243][CONNECT] Het instellen van binaire headers via het -bin achtervoegsel in de Scala Connect-client toestaan
    • Beveiligingsupdates van het besturingssysteem.

  • 27 januari 2026

    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.8 tot 1.3.9
    • Zie hierboven
    • [SPARK-54768][SS]Python Stream-gegevensbron moet een fout classificeren als de geretourneerde gegevens niet overeenkomen met het geconfigureerde schema
    • [SPARK-54803] Ondersteuning voor BY NAME met INSERT ... REPLACE WHERE
    • [SPARK-53564][CORE] Vermijd DAGScheduler-afsluitingen vanwege RPC time-out van de BlockManager in de DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Corrigeer decodeRemainingKey numFields-berekening in PrefixKeyScanStateEncoder
    • Beveiligingsupdates van het besturingssysteem.
  • 9 januari 2026
    • Bijgewerkte Python bibliotheken:
      • pmdarima van 2.0.4 naar 2.1.1
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.6 tot 1.3.8
    • U kunt nu SQL-vensterfuncties gebruiken als een scalaire functie in dimensies voor metrische weergaven en metingexpressies.
    • [SPARK-54562][SDP][17.3 backport] Vroegtijdige analyse/uitvoering binnen de flowfunctie aan serverzijde blokkeren
    • [SPARK-54679][SQL] Wijzig de naam van spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Een time-out toevoegen voor een door daemon aangemaakte werkverbinding
    • [SPARK-53127][SQL] Fix LIMIT ALL voor onbeperkte recursie met CTE-normalisatie
    • [SPARK-54708] Optimaliseren van ML-cache-opruiming met luie mapcreatie
    • [SPARK-54581][SQL] Optie ophaalgrootte niet-hoofdlettergevoelig maken voor Postgres-connector
    • [SPARK-41916] [ML] Torch-distributeur: ondersteunt meerdere torchrun-processen per taak indien task.gpu.amount > 1.
    • [SPARK-54564] [SQL] QueryPlanningTracker als HybridAnalyzer-veld maken
    • [SPARK-54620][SQL] Veiligheidscontrole toevoegen in ObservationManager om observatieblokkering te voorkomen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 december 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.3.5 tot 1.3.6
    • [SPARK-50906][SQL] Oplossen van Avro nullabiliteitscontrole voor herschikte gestructureerde velden
    • [SPARK-54180][SQL] De toString van BinaryFileFormat overschrijven
    • [SPARK-54427][SQL] Toestaan dat ColumnarRow copy aanroept met variabele typen
    • Beveiligingsupdates van het besturingssysteem.
  • 18 november 2025
    • [SPARK-54047][PYTHON] Gebruik een verschilfout bij kill-on-idle-time-out
    • [SPARK-52762][SDP] Het bericht PipelineAnalysisContext toevoegen om pijplijnanalyse te ondersteunen tijdens het uitvoeren van spark Connect-query's
    • [SPARK-54156][PROTOBUF] Fouten classificeren bij casten van ProtobufOptions.
    • [SPARK-54078][SS] Nieuwe test voor StateStoreSuite SPARK-40492: maintenance before unload en verwijder infra uit oude test
    • [SPARK-54015][PYTHON] Ontspan Py4J-vereiste voor py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML-variantparser moet terugvallen op tekenreeks bij decimale parseringsfouten
    • [SPARK-54191][17.3 Backport][SDP] Voeg eenmaal toe aan Defineflow Proto
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2025
    • [SPARK-53729][PYTHON][CONNECT] Serialisatie van pyspark.sql.connect.window.WindowSpec Oplossen
    • [SPARK-46679][SQL] Oplossing voor SparkUnsupportedOperationException. Er is geen encoder van het type T gevonden, bij het gebruik van een geparametriseerde klasse.
    • [SPARK-53973][Avro] Fouten classificeren voor Booleaanse cast-fouten
    • [SPARK-53794][SS] Optie toevoegen om verwijderingen per onderhoudsbewerking te beperken die is gekoppeld aan de provider van de rocksdb-status
    • [SPARK-53908][CONNECT] Waarnemingen in Spark Connect oplossen met de plan cache
    • [SPARK-53972][SS] Herstel recente voortgang van streamingquery's in klassiek pyspark
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 16.4 LTS

Zie Databricks Runtime 16.4 LTS.

  • 29 september 2026

    • [SPARK-53069][SS] Herstel onjuiste state store-metrics met virtuele kolomfamilies
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 15 september 2026

    • Bijgewerkte Java bibliotheken:
      • org.apache.zookeeper.zookeeper van 3.9.2 tot 3.9.5
      • org.apache.zookeeper.zookeeper-jute van 3.9.2 tot 3.9.5
    • Beveiligingsupdates van het besturingssysteem.

  • 1 september 2026

    • (Gedragsverandering) RESTORE en CLONE commando's die de partitionering van een tabel veranderen, kunnen worden geblokkeerd als de bron- en doeltabel een gemeenschappelijke bestand delen.
    • Bijgewerkte Java bibliotheken:
      • org.eclipse.jetty.jetty-client van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-vervolg van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml van 9.4.52.v20230823 naar 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet van 9.4.52.v20230823 tot 9.4.57.v20241219
    • [SPARK-58292][CORE] Maak de netty worker EventLoopGroup opnieuw wanneer een worker event loop thread sterft
    • [SPARK-58531][SQL][CONNECT] Maak spark.sql.artifact.copyFromLocalToFs.allowDestLocal een statische conf
    • Beveiligingsupdates van het besturingssysteem.

  • 18 augustus 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 4 augustus 2026

    • [SPARK-57547][SQL] Backport van oplossing voor gelijktijdige materialisatie naar 16.4 (met noodschakelaar)
    • [SPARK-58107] Backport van lokaal checkpoint deduplicatie en verzegeling + MERGE-verificatie van de checksum van de gematerialiseerde bron
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2026

    • Er is een correctheidsfout opgelost waarbij windowed min/max over een BinaryType-kolom met een schuivend frame (elk RANGE-frame, of een ROWS-frame met een grootte van 10 of groter) de lopende globale min/max retourneerde in plaats van de waarde per frame.
    • Beveiligingsupdates van het besturingssysteem.

  • 10 juli 2026

    • Diverse bugfixes.

  • 29 juni 2026

    • (Gedragswijziging) Metrische weergaven weigeren nu venstermetingen die verwijzen naar andere venstermetingen. Voorheen werkte dit patroon tijdens CREATE, maar mislukte het tijdens het uitvoeren van de query zonder melding of leverde het onjuiste resultaten op. Nu retourneert Azure Databricks een duidelijke fout op CREATE of ALTER tijdstip (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Als u deze validatie wilt uitschakelen, stelt u in op spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • Er is een probleem met de gegevenscorrectheid opgelost waarbij NULL-waarden van structs in de bron onjuist werden omgezet in niet-NULL-structs met NULL-velden in het doelsysteem in MERGE, UPDATE en streaming-schrijfquery’s. Na de wijziging blijven NULL-structuren in de bron correct als NULL behouden in de doelstructuur.

      Beïnvloede bewerkingen:

      • MERGE query's met UPDATE SET t.structCol = s.structCol acties met typeconversies naar structtypen
      • MERGE query's met UPDATE SET * wanneer schemaontwikkeling is ingeschakeld (wanneer de bronstruct NULL is, overschrijft u het doel met NULL wanneer de doelstruct geen extra velden heeft of oorspronkelijk NULL was)
      • MERGE query's met UPDATE SET * EXCEPT (Als de bronstruct NULL is, wordt het doel overschreven met NULL wanneer deze geen velden in de EXCEPT-lijst heeft)
      • MERGE query's met INSERT (structCol) VALUES (s.structCol) acties met typeconversies naar structtypen
      • MERGE query's met INSERT * [EXCEPT] acties met typeconversies naar structtypen
      • UPDATE query’s met casts naar structtypen
      • Streaming-schrijfbewerkingen met structtype casts

    • Beveiligingsupdates van het besturingssysteem.

  • 9 juni 2026

    • (Gedragswijziging) SET TAG is nu idempotent. Als u een SET TAG bewerking herhaalt op een resource die de tag al heeft, wordt er geen fout meer gegenereerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 26 mei 2026
    • [SPARK-34591][ML] Beslissingsstructuur toevoegen als parameter
    • Beveiligingsupdates van het besturingssysteem.
  • 13 mei 2026
    • (Wijziging in gedrag) Tabellen weergeven met een schemapatroon vernieuwt Unity Catalog-metagegevens voor externe tabellen (bijvoorbeeld SQL Server, PostgreSQL of AWS Glue) niet langer. Deze wijziging heeft invloed op de aanroepen SHOW TABLES IN SCHEMA LIKE ... en getMetaData.getTables in het JDBC-stuurprogramma wanneer een schemapatroon wordt doorgegeven, en op de Thrift-SparkGetTablesOperation-API. Als uw workload afhankelijk is van het vernieuwen van metagegevens met een schemapatroon, neemt u contact op met databricks-ondersteuning.
    • Bijgewerkte Java bibliotheken:
      • (Alleen Scala 2.12) io.delta.delta-sharing-client_2.12 van 1.2.11 tot 1.2.12
      • (Alleen Scala 2.13) io.delta.delta-sharing-client_2.13 van 1.2.11 tot 1.2.12
    • [SPARK-56361][SS] Betere fout bij het aanmelden bij NPE in stream-stream join
    • Diverse bugfixes.
  • 29 april 2026
    • Diverse bugfixes.
  • 20 april 2026
    • Diverse bugfixes.

  • 2 april 2026

    • Bijgewerkte Java bibliotheken:
      • (Alleen Scala 2.12) io.delta.delta-sharing-client_2.12 van 1.2.10 tot 1.2.11
      • (Alleen Scala 2.13) io.delta.delta-sharing-client_2.13 van 1.2.10 tot 1.2.11
    • [SPARK-55701]ES-1694761[SS] Racevoorwaarde opgelost in CompactibleFileStreamLog.allFiles
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Ondersteuning voor gestructureerde id's voor stromen in SDP eager analysis protos
    • Beveiligingsupdates van het besturingssysteem.

  • 10 maart 2026

    • [SPARK-55111][SS] Niet-voltooide herpartitioneringsdetectie opnieuw inschakelen bij opnieuw opstarten van query's
    • [SPARK-55493] [SS] Geen mkdirs in de statusmap voor streamingcontrolepunten in StateDataSource
    • Beveiligingsupdates van het besturingssysteem.

  • 26 februari 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 19 februari 2026

    • [SPARK-55282][PYTHON][CONNECT] Vermijd het gebruik van worker_util aan de stuurprogrammazijde
    • [SPARK-55243][CONNECT] Het instellen van binaire headers via het -bin achtervoegsel in de Scala Connect-client toestaan
    • Beveiligingsupdates van het besturingssysteem.
  • 27 januari 2026
    • Bijgewerkte Java bibliotheken:
      • (Alleen Scala 2.12) io.delta.delta-sharing-client_2.12 van 1.2.9 tot 1.2.10
      • (Alleen Scala 2.12) org.mlflow.mlflow-spark_2.12 van 2.9.1 tot 2.19.0
      • (Alleen Scala 2.13) io.delta.delta-sharing-client_2.13 van 1.2.9 tot 1.2.10
      • (Alleen Scala 2.13) org.mlflow.mlflow-spark_2.13 van 2.9.1 tot 2.19.0
    • [SPARK-55015][SS][SQL] Corrigeer decodeRemainingKey numFields-berekening in PrefixKeyScanStateEncoder
    • Beveiligingsupdates van het besturingssysteem.
  • 9 januari 2026
    • Bijgewerkte Java bibliotheken:
      • (Alleen Scala 2.12) io.delta.delta-sharing-client_2.12 van 1.2.8 tot 1.2.9
      • (Alleen Scala 2.13) io.delta.delta-sharing-client_2.13 van 1.2.8 tot 1.2.9
    • [SPARK-54620][SQL] Veiligheidscontrole toevoegen in ObservationManager om observatieblokkering te voorkomen
    • [SPARK-54711][PYTHON] Een time-out toevoegen voor een door daemon aangemaakte werkverbinding
    • [SPARK-41916] [ML] Torch-distributeur: ondersteunt meerdere torchrun-processen per taak indien task.gpu.amount > 1.
    • Beveiligingsupdates van het besturingssysteem.
  • 9 december 2025
    • Gepartitioneerde Delta-tabellen zullen voortaan partitiekolommen in parquet-bestanden bevatten. Dit maakt een betere synergie mogelijk met de manier waarop iceberg- en UniForm-tabellen worden verwerkt en verhoogt de compatibiliteit met externe niet-Delta-lezers.
    • Voor zowel de Snowflake-connector als de Snowflake Lakehouse Federation worden TIMESTAMP_NTZ (tijdstempel zonder tijdzone) letterlijke waarden niet meer naar Snowflake doorgestuurd. Deze wijziging voorkomt dat queryfouten worden veroorzaakt door incompatibele tijdstempelafhandeling en verbetert de betrouwbaarheid voor betrokken query's.
    • [SPARK-54427][SQL] Toestaan dat ColumnarRow copy aanroept met variabele typen
    • [SPARK-54180][SQL] De toString van BinaryFileFormat overschrijven
    • Beveiligingsupdates van het besturingssysteem.
  • 18 november 2025
    • [SPARK-54099][SQL] XML-variantparser moet terugvallen op tekenreeks bij decimale parseringsfouten
    • [SPARK-54015][PYTHON] Ontspan Py4J-vereiste voor py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nieuwe test voor StateStoreSuite SPARK-40492: maintenance before unload en verwijder infra uit oude test
    • [SPARK-54156][PROTOBUF] Fouten classificeren bij casten van ProtobufOptions.
    • [SPARK-54047][PYTHON] Gebruik een verschilfout bij kill-on-idle-time-out
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2025
    • Bijgewerkte R-bibliotheken:
      • pijl van 16.1.0 tot 21.0.0
    • [SPARK-53973][Avro] Fouten classificeren voor Booleaanse cast-fouten
    • Beveiligingsupdates van het besturingssysteem.
  • 21 oktober 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 7 oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Verschillende kleine fouten in Spark Connect Python clientfoutafhandelingslogica oplossen
    • [SPARK-53574] Oplossing voor het wissen van AnalysisContext tijdens geneste planomzetting
    • [SPARK-53623][SQL] verbeter het lezen van grote tabeleigenschappen...
    • [SPARK-53598][SQL] Controleer het bestaan van numParts voordat u een grote tabeleigenschap leest
    • [SPARK-53549][SS] Sluit altijd de pijl-allocator wanneer het proces van de lijststatusaanvraag is voltooid
    • Beveiligingsupdates van het besturingssysteem.
  • 16 september 2025
    • De Snowflake-connector gebruikt nu de INFORMATION_SCHEMA tabel in plaats van de SHOW SCHEMAS opdracht om schema's weer te geven. Deze wijziging verwijdert de limiet van 10.000 schema's van de vorige benadering en verbetert de ondersteuning voor databases met een groot aantal schema's.
    • Beveiligingsupdates van het besturingssysteem.
  • 9 september 2025
    • Er is een probleem opgelost dat ervoor kon zorgen dat Auto Loader voor onbepaalde tijd bleef hangen.
    • Lost een tijdelijke fout op in automatisch laadprogramma waardoor taken mogelijk mislukken
    • [SPARK-49872][CORE] De lengtebeperking van jackson JSON-tekenreeks verwijderen
    • [SPARK-51821][CORE] Call interrupt() zonder uninterruptibleLock vast te houden om mogelijke impasses te voorkomen
    • Beveiligingsupdates van het besturingssysteem.
  • 26 augustus 2025
    • Bijgewerkte Java bibliotheken:
      • (Alleen Scala 2.12) io.delta.delta-sharing-client_2.12 van 1.2.7 tot 1.2.8
      • (Alleen Scala 2.13) io.delta.delta-sharing-client_2.13 van 1.2.7 tot 1.2.8
    • [SPARK-52482][SQL][CORE] De verwerking van uitzonderingen verbeteren voor het lezen van bepaalde beschadigde zstd-bestanden
    • [SPARK-53192][CONNECT] Een gegevensbron altijd opslaan in de Spark Connect-plancache
    • Beveiligingsupdates van het besturingssysteem.
  • 14 augustus 2025
    • [SPARK-51011][CORE] Logboekregistratie toevoegen om te bepalen of een taak wordt onderbroken wanneer deze wordt gedood
    • [SPARK-52833][SQL] Herstellen VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Geef altijd lege metrische partitienummers weer in AQEShuffleReadExec
    • Beveiligingsupdates van het besturingssysteem.
  • 29 juli 2025
    • [SPARK-52753][SQL] parseDataType binair maken met eerdere versies
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juli 2025
    • Er is een probleem opgelost met niet-deterministisch gegevensverlies bij het gebruik van Spark Structured Streaming om gegevens van Pulsar te streamen.
    • [SPARK-52579][PYTHON] Stel periodieke traceback-dump in voor Python processen
    • [SPARK-52553][SS] Fix NumberFormatException bij het lezen van v1 changelog
    • [SPARK-52450] Prestaties van schema deepcopy verbeteren
    • [SPARK-52503][SQL][CONNECT] Oplossing drop wanneer de invoerkolom niet bestaat
    • [SPARK-52599][PYTHON] Ondersteuning voor periodieke traceringsdump in stuurprogramma-side workers
    • Beveiligingsupdates van het besturingssysteem.
  • 1 juli 2025
    • Ondersteuning voor ZStandard-decompressie voor lezers van bestandsgegevensbronnen (json, csv, xml en tekst.)
    • [SPARK-52521][SQL] Right#replacement mag niet dynamisch toegang krijgen tot SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard-ondersteuning voor bestandsgegevensbronlezer
    • [SPARK-52312][SQL] V2WriteCommand negeren bij het opslaan van DataFrame
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2025
    • De beperking opgelost dat de cloud_files_state functie met tabelwaarde (TVF) niet kan worden gebruikt om de status op bestandsniveau van streamingtabellen in pijplijnen te lezen.
    • Er zijn autorisatieproblemen met Unity Catalog opgelost voor query's in tijdelijke weergaven.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference moet de plan-id behouden
    • Beveiligingsupdates van het besturingssysteem.
  • 3 juni 2025
    • [SPARK-52195][PYTHON][SS] Los het neerhalen van de eerste statuskolom voor Python TWS op
    • [SPARK-52159][SQL] Controleer het bestaan van tabellen op de juiste manier voor jdbc-dialecten
    • Diverse bugfixes.
  • 7 mei 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.13 van 1.2.3 tot 1.2.7
      • org.apache.avro.avro van 1.11.3 tot 1.11.4
      • org.apache.avro.avro-ipc van 1.11.3 tot 1.11.4
      • org.apache.avro.avro-mapred van 1.11.3 tot 1.11.4
    • De gekloonde streamingsessie wordt gebruikt in de foreachBatch-gebruikersfunctie in gedeelde clusters/serverloos. Dit komt overeen met het gedrag in het klassieke model (toegewezen clusters).
    • De gekloonde streamingsessie wordt gebruikt in de foreachBatch-gebruikersfunctie in gedeelde clusters/serverloos. Dit komt overeen met het gedrag in het klassieke model (toegewezen clusters).
    • Vóór deze wijziging werden voorloopspaties en tabs in paden in de variant_get-expressie genegeerd wanneer Photon was uitgeschakeld. Zou bijvoorbeeld select variant_get(parse_json('{"key": "value"}'), '$['key']') niet effectief zijn bij het extraheren van de waarde van "key". Gebruikers kunnen dergelijke sleutels echter nu extraheren.
    • [SPARK-51935][SQL] Los luie werking van iterators op in geïnterpreteerde df.collect()
    • [SPARK-51921][SS][PYTHON] Lang type gebruiken voor TTL-duur in milliseconden in transformWithState
    • [SPARK-51940][SS] Interface toevoegen voor het beheren van metagegevens van streamingcontrolepunten
    • [SPARK-52049] Los het probleem op dat XML-attributen niet als variant kunnen worden geparsed.
    • [SPARK-51904][SS] Het verwijderen van asynchrone metagegevens voor StateSchemaV3 en het negeren van niet-batchbestanden bij het weergeven van OperatorMetadata-bestanden
    • [SPARK-51869][SS] Classificatie maken voor gebruikersfouten binnen UDF's voor Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Een bug opgelost voor MapState clear() in Python TWS
    • [SPARK-51922] [SS] UTFDataFormatException opgelost die is gegenereerd vanuit StateStoreChangelogReaderFactory voor v1
    • [SPARK-51848][SQL] Het parseren van XML-records herstellen met gedefinieerd schema van array/structs/map van variant.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 15.4 LTS

Zie Databricks Runtime 15.4 LTS.

  • 29 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 15 september 2026

    • Bijgewerkte Java bibliotheken:
      • com.microsoft.sqlserver.mssql-jdbc van 11.2.3.jre8, 11.2.3.jre8 tot 11.2.3.jre8, 11.2.4.jre8
    • [SPARK-41246][CORE] Geef direct een fout bij overflow van de RDD-id; parseer negatieve blok-ID's als veiligheidsnet (cherry-pick naar dbr-branch-15.4)
    • Beveiligingsupdates van het besturingssysteem.

  • 1 september 2026

    • (Gedragsverandering) RESTORE en CLONE commando's die de partitionering van een tabel veranderen, kunnen worden geblokkeerd als de bron- en doeltabel een gemeenschappelijke bestand delen.
    • Bijgewerkte Java bibliotheken:
      • org.eclipse.jetty.jetty-client van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-vervolg van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml van 9.4.52.v20230823 naar 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet van 9.4.52.v20230823 tot 9.4.57.v20241219
    • [SPARK-58292][CORE] Maak de netty worker EventLoopGroup opnieuw wanneer een worker event loop thread sterft
    • [SPARK-58531][SQL][CONNECT] Maak spark.sql.artifact.copyFromLocalToFs.allowDestLocal een statische conf
    • Beveiligingsupdates van het besturingssysteem.

  • 18 augustus 2026

    • Bijgewerkte Java bibliotheken:
      • com.microsoft.sqlserver.mssql-jdbc van 11.2.2.jre8, 11.2.3.jre8 tot 11.2.3.jre8, 11.2.3.jre8
    • Beveiligingsupdates van het besturingssysteem.

  • 4 augustus 2026

    • [SPARK-58107] Backport van lokaal checkpoint deduplicatie en verzegeling + MERGE-verificatie van de checksum van de gematerialiseerde bron
    • [SPARK-57547][SQL] Backport InMemoryRelation oplossing voor gelijktijdige materialisatie naar 15.4 (met uitschakelmogelijkheid)
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 10 juli 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 29 juni 2026

    • (Gedragswijziging) Metrische weergaven weigeren nu venstermetingen die verwijzen naar andere venstermetingen. Voorheen werkte dit patroon tijdens CREATE, maar mislukte het tijdens het uitvoeren van de query zonder melding of leverde het onjuiste resultaten op. Nu retourneert Azure Databricks een duidelijke fout op CREATE of ALTER tijdstip (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Als u deze validatie wilt uitschakelen, stelt u in op spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • Er is een probleem met de gegevenscorrectheid opgelost waarbij NULL-waarden van structs in de bron onjuist werden omgezet in niet-NULL-structs met NULL-velden in het doelsysteem in MERGE, UPDATE en streaming-schrijfquery’s. Na de wijziging blijven NULL-structuren in de bron correct als NULL behouden in de doelstructuur.

      Beïnvloede bewerkingen:

      • MERGE query's met UPDATE SET t.structCol = s.structCol acties met typeconversies naar structtypen
      • MERGE query's met UPDATE SET * wanneer schemaontwikkeling is ingeschakeld (wanneer de bronstruct NULL is, overschrijft u het doel met NULL wanneer de doelstruct geen extra velden heeft of oorspronkelijk NULL was)
      • MERGE query's met UPDATE SET * EXCEPT (Als de bronstruct NULL is, wordt het doel overschreven met NULL wanneer deze geen velden in de EXCEPT-lijst heeft)
      • MERGE query's met INSERT (structCol) VALUES (s.structCol) acties met typeconversies naar structtypen
      • MERGE query's met INSERT * [EXCEPT] acties met typeconversies naar structtypen
      • UPDATE query’s met casts naar structtypen
      • Streaming-schrijfbewerkingen met structtype casts

    • Beveiligingsupdates van het besturingssysteem.

  • 9 juni 2026

    • Beveiligingsupdates van het besturingssysteem.
  • 26 mei 2026
    • Beveiligingsupdates van het besturingssysteem.
  • 13 mei 2026
    • (Wijziging in gedrag) Tabellen weergeven met een schemapatroon vernieuwt Unity Catalog-metagegevens voor externe tabellen (bijvoorbeeld SQL Server, PostgreSQL of AWS Glue) niet langer. Deze wijziging heeft invloed op de aanroepen SHOW TABLES IN SCHEMA LIKE ... en getMetaData.getTables in het JDBC-stuurprogramma wanneer een schemapatroon wordt doorgegeven, en op de Thrift-SparkGetTablesOperation-API. Als uw workload afhankelijk is van het vernieuwen van metagegevens met een schemapatroon, neemt u contact op met databricks-ondersteuning.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 april 2026
    • Diverse bugfixes.
  • 20 april 2026
    • Diverse bugfixes.

  • 2 april 2026

    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.10 tot 1.1.11
    • Auto Loader bevat twee nieuwe functies met betrekking tot bronlocatiebeheer en zichtbaarheid in DBR 16.3: 1. Recordgebeurteniswijzigingen: met deze wijziging kunnen klanten de cloud_files_state TVF gebruiken om bestandsdetectie en verwerkingsdetails weer te geven, zoals het tijdstip waarop een bestand oorspronkelijk is gedetecteerd, het tijdstip waarop het is doorgevoerd, gearchiveerd, enzovoort. Zie hier de huidige openbare documentatie van dit TVF. 2. Schone bron: Met deze functie kunnen klanten autolaadprogramma's instrueren om automatisch bestanden te verwijderen die zijn verwerkt. Klanten kunnen voor deze functie kiezen met behulp van de cloudFiles.cleanSource optie Automatisch Laden. Meer informatie vindt u hier in de documentatie over opties voor automatisch laden.
    • Beveiligingsupdates van het besturingssysteem.

  • 10 maart 2026

    • [SPARK-55701]ES-1694761[SS] Racevoorwaarde opgelost in CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Niet-voltooide herpartitioneringsdetectie opnieuw inschakelen bij opnieuw opstarten van query's
    • Beveiligingsupdates van het besturingssysteem.

  • 26 februari 2026

    • Bijgewerkte Java bibliotheken:
      • org.mlflow.mlflow-spark_2.12 van 2.9.1 tot 2.11.3
    • Beveiligingsupdates van het besturingssysteem.

  • 19 februari 2026

    • [SPARK-55243][CONNECT] Het instellen van binaire headers via het -bin achtervoegsel in de Scala Connect-client toestaan
    • [SPARK-55282][PYTHON][CONNECT] Vermijd het gebruik van worker_util aan de stuurprogrammazijde
    • Beveiligingsupdates van het besturingssysteem.
  • 27 januari 2026
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.9 tot 1.1.10
    • Beveiligingsupdates van het besturingssysteem.
  • 9 januari 2026
    • Gepartitioneerde Delta-tabellen zullen voortaan partitiekolommen in parquet-bestanden bevatten. Dit maakt een betere synergie mogelijk met de manier waarop iceberg- en UniForm-tabellen worden verwerkt en verhoogt de compatibiliteit met externe niet-Delta-lezers.
    • [SPARK-54620][SQL] Veiligheidscontrole toevoegen in ObservationManager om observatieblokkering te voorkomen
    • [SPARK-54711][PYTHON] Een time-out toevoegen voor een door daemon aangemaakte werkverbinding
    • Beveiligingsupdates van het besturingssysteem.
  • 9 december 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.7 tot 1.1.9
    • [SPARK-54427][SQL] Toestaan dat ColumnarRow copy aanroept met variabele typen
    • [SPARK-52579][PYTHON] Stel periodieke traceback-dump in voor Python processen
    • [SPARK-54180][SQL] De toString van BinaryFileFormat overschrijven
    • Beveiligingsupdates van het besturingssysteem.
  • 18 november 2025
    • [SPARK-54078][SS] Nieuwe test voor StateStoreSuite SPARK-40492: maintenance before unload en verwijder infra uit oude test
    • [SPARK-54047][PYTHON] Gebruik een verschilfout bij kill-on-idle-time-out
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2025
    • Bijgewerkte R-bibliotheken:
      • pijl van 14.0.0.2 naar 21.0.0
    • Beveiligingsupdates van het besturingssysteem.
  • 21 oktober 2025
    • De scanfotonisatiecriteria worden bijgewerkt om scanfotonisatie toe te staan wanneer controlesomverificatie is vereist.
      Bepalen of controlesomverificatie vereist is, komt nu uit de hadoop-conf in plaats van de SQLConf.
    • Beveiligingsupdates van het besturingssysteem.
  • 7 oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Verschillende kleine fouten in Spark Connect Python clientfoutafhandelingslogica oplossen
    • [SPARK-53574] Oplossing voor het wissen van AnalysisContext tijdens geneste planomzetting
    • Diverse bugfixes.
  • 16 september 2025
    • De Snowflake-connector gebruikt nu de INFORMATION_SCHEMA tabel in plaats van de SHOW SCHEMAS opdracht om schema's weer te geven. Deze wijziging verwijdert de limiet van 10.000 schema's van de vorige benadering en verbetert de ondersteuning voor databases met een groot aantal schema's.
    • [SPARK-50870][SQL] Voeg de tijdzone toe bij het casten naar tijdstempel in V2ScanRelationPushDown
    • Beveiligingsupdates van het besturingssysteem.
  • 9 september 2025
    • Er is een probleem opgelost dat ervoor kon zorgen dat Auto Loader voor onbepaalde tijd bleef hangen.
    • Lost een tijdelijke fout op in automatisch laadprogramma waardoor taken mogelijk mislukken
    • [SPARK-51821][CORE] Call interrupt() zonder uninterruptibleLock vast te houden om mogelijke impasses te voorkomen
    • [SPARK-49872][CORE] De lengtebeperking van jackson JSON-tekenreeks verwijderen
    • Beveiligingsupdates van het besturingssysteem.
  • 26 augustus 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.6 tot 1.1.7
    • [SPARK-52482][SQL][CORE] De verwerking van uitzonderingen verbeteren voor het lezen van bepaalde beschadigde zstd-bestanden
    • [SPARK-53192][CONNECT] Een gegevensbron altijd opslaan in de Spark Connect-plancache
    • Beveiligingsupdates van het besturingssysteem.
  • 14 augustus 2025
    • [SPARK-51011][CORE] Logboekregistratie toevoegen om te bepalen of een taak wordt onderbroken wanneer deze wordt gedood
    • Beveiligingsupdates van het besturingssysteem.
  • 29 juli 2025
    • Beveiligingsupdates van het besturingssysteem.

  • 21 juli 2025

    • Voor berekeningen die zijn ingeschakeld voor Photon of gebruikmaken van op Arm64 gebaseerde CPU, mlflow-skinny wordt geüpgraded naar 2.19.0, ray geüpgraded naar 2.37.0 en databricks-feature-engineering wordt geüpgraded naar 0.8.0.

  • 15 juli 2025

    • Er is een probleem opgelost met niet-deterministisch gegevensverlies bij het gebruik van Spark Structured Streaming om gegevens van Pulsar te streamen.
    • [SPARK-52503][SQL][CONNECT] Oplossing drop wanneer de invoerkolom niet bestaat
  • 1 juli 2025
    • Bijgewerkte Java bibliotheken:
      • org.mlflow.mlflow-spark_2.12 van 2.9.1 tot 2.11.3
      • com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2 verwijderd
      • Verwijderde org.slf4j.slf4j-simple 1.7.25
    • Ondersteuning voor ZStandard-decompressie voor lezers van bestandsgegevensbronnen (json, csv, xml en tekst.)
    • Ondersteuning voor ZStandard-decompressie voor lezers van bestandsgegevensbronnen (json, csv, xml en tekst.)
    • [SPARK-52521][SQL] Right#replacement mag niet dynamisch toegang krijgen tot SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard-ondersteuning voor bestandsgegevensbronlezer
    • [SPARK-52312][SQL] V2WriteCommand negeren bij het opslaan van DataFrame
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2025
    • De beperking opgelost dat de cloud_files_state functie met tabelwaarde (TVF) niet kan worden gebruikt om de status op bestandsniveau van streamingtabellen in pijplijnen te lezen.
    • [SPARK-49646][SQL] corrigeer subquery-decorrelatie voor unie/set-operaties wanneer parentOuterReferences verwijzingen bevat die niet gedekt zijn door collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference moet de plan-id behouden
  • 3 juni 2025
    • Bijgewerkte Python bibliotheken:
      • cryptografie van 3.4.8, 41.0.3 tot 41.0.3
      • filelock uit 3.13.4 en 3.15.4 naar 3.13.4
      • importlib-metadata van 4.6.4, 6.0.0 tot 6.0.0
      • platformdirs van 3.10.0, 3.11.0 tot 3.10.0
      • pyparsing bijwerken van 2.4.7/3.0.9 naar 3.0.9
      • zipp van versie 1.0.0 en 3.11.0 naar 3.11.0
      • Pip 23.2.1 toegevoegd
      • Setuptools 68.0.0 toegevoegd
      • Wcwidth 0.2.5 toegevoegd
      • Wiel 0.38.4 toegevoegd
      • Verwijderde distributie 1.7.0
      • Distro-info 1.1+ubuntu0.2 verwijderd
      • Python-apt 2.4.0+ubuntu4 verwijderd
    • Bijgewerkte Java bibliotheken:
      • com.github.fommil.netlib.native_ref-java van 1.1, 1.1-natives naar 1.1, 1.1
      • com.github.fommil.netlib.native_system-java van 1.1, 1.1-natives naar 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 van 1.1-natives naar 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 van 1.1-natives naar 1.1
      • io.netty.netty-tcnative-boringssl-static van 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 naar 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll van 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 naar 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue van 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 tot 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core van 1.9.2-shaded-protobuf naar 1.9.2
      • org.apache.orc.orc-mapreduce van 1.9.2-shaded-protobuf naar 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider van 1.6.2-linux-x86_64 tot 1.6.2
    • [SPARK-52159][SQL] Controleer het bestaan van tabellen op de juiste manier voor jdbc-dialecten
    • Beveiligingsupdates van het besturingssysteem.
  • 20 mei 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.5 tot 1.1.6
    • De gekloonde streamingsessie wordt gebruikt in de foreachBatch-gebruikersfunctie in gedeelde clusters/serverloos. Dit komt overeen met het gedrag in het klassieke model (toegewezen clusters).
    • Vóór deze wijziging werden voorloopspaties en tabs in paden in de variant_get-expressie genegeerd wanneer Photon was uitgeschakeld. Zou bijvoorbeeld select variant_get(parse_json('{"key": "value"}'), '$['key']') niet effectief zijn bij het extraheren van de waarde van "key". Gebruikers kunnen dergelijke sleutels echter nu extraheren.
    • [SPARK-51935][SQL] Los luie werking van iterators op in geïnterpreteerde df.collect()
    • Beveiligingsupdates van het besturingssysteem.
  • 22 april 2025
    • Bijgewerkte Java bibliotheken:
      • org.apache.avro.avro van 1.11.3 tot 1.11.4
      • org.apache.avro.avro-ipc van 1.11.3 tot 1.11.4
      • org.apache.avro.avro-mapred van 1.11.3 tot 1.11.4
    • Maak "[SPARK-47895][SQL] groeperen op alias moet idempotent zijn" ongedaan in 15.4, 16.0, 16.1, 16.2 en 16.3
    • [SPARK-50682][SQL] Inner Alias moet gecanoniseerd worden
    • Beveiligingsupdates van het besturingssysteem.
  • 9 april 2025
    • (Behaviorale wijziging) Als u kritieke beveiligingspatches wilt toepassen, wordt de standaardversie van Python bijgewerkt naar Python 3.11.11 vanaf Python 3.11.0rc1. Deze update kan van invloed zijn op sommige workloads die worden uitgevoerd op Databricks Runtime 15.4 LTS, zoals workloads die gebruikmaken van Python serialisatie om de status op te slaan en te herstellen tussen uitvoeringen of workloads die zijn vastgemaakt aan de versie 3.11.0 Python.
    • Bijgewerkte Java bibliotheken:
      • Io.starburst.openjson.openjson 1.8-e.12 is verwijderd
      • Verwijderd io.starburst.openx.data.json-serde 1.3.9-e.12
      • Het pakket io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 is verwijderd.
    • [SPARK-47895][SQL] groeperen op alias moet idempotent zijn
    • [SPARK-51624][SQL] GetStructField-metagegevens doorgeven in CreateNamedStruct.dataType
    • Beveiligingsupdates van het besturingssysteem.
  • 31 maart 2025
    • Voor berekeningen die niet zijn ingeschakeld voor Photon, wordt databricks-feature-engineering geüpgraded naar 0.8.0. Voor Photon-ingeschakelde computatie blijft databricks-feature-engineering op 0.6.0.

  • 11 maart 2025

    • Databricks Runtime 14.3 LTS en hoger bevatten een oplossing voor een probleem dat binaire incompatibiliteit heeft veroorzaakt met code die een SparkListenerApplicationEnd klasse heeft geïnstantieerd en is gecompileerd met Apache Spark. Deze incompatibiliteit is voortgekomen uit het samenvoegen van SPARK-46399 in Apache Spark. Deze samenvoeging bevat een wijziging die een standaardargument aan de SparkListenerApplicationEnd constructor heeft toegevoegd. Als u binaire compatibiliteit wilt herstellen, voegt deze oplossing één argumentconstructor toe aan de SparkListenerApplicationEnd-klasse.
    • [SPARK-50985][SS] Classificeert Kafka Timestamp-verschuivingen komen niet overeen in plaats van assertie en genereert fout voor ontbrekende server in KafkaTokenProvider
    • [SPARK-50791][SQL] NPE in State Store-foutafhandeling oplossen
    • [SPARK-50310][PYTHON] Prestaties van kolommen verbeteren wanneer DQC is uitgeschakeld
    • [SPARK-51222][SQL] ReplaceCurrentLike optimaliseren
    • [SPARK-49525][SS][CONNECT] Kleine logverbetering voor server-side Streaming Query ListenerBus Listener
    • [SPARK-51084][SQL] De juiste foutklasse toewijzen voor negativeScaleNotAllowedError
    • Beveiligingsupdates van het besturingssysteem.

  • 11 februari 2025

    • Deze release bevat een oplossing voor een probleem dat van invloed is op de conversie van bepaalde gegevenstypen bij het serialiseren van geredde XML-gegevenskolommen. De betrokken gegevenstypen zijn datums, niet-NTZ-tijdstempels en decimalen wanneer prefersDecimal is ingeschakeld. Zie Wat is de kolom met geredde gegevens? Voor meer informatie over de kolom met geredde gegevens.
    • [SPARK-50492][SS] Fix java.util.NoSuchElementException wanneer de kolom gebeurtenistijd wordt verwijderd na dropDuplicatesWithinWatermark
    • Beveiligingsupdates van het besturingssysteem.
    • Voor computing die niet is ingeschakeld voor Photon, wordt mlflow-skinny bijgewerkt naar 2.19.0. Voor Photon-ingeschakelde rekencapaciteit blijft mlflow-skinny op 2.13.1.
  • 10 december 2024
    • De USE CATALOG-instructie ondersteunt nu de IDENTIFIER-clausule. Met deze ondersteuning kunt u de huidige catalogus parameteriseren op basis van een tekenreeksvariabele of parametermarkering.
    • Deze release bevat een oplossing voor een probleem waardoor de primaire sleutel in een Delta-tabel kan worden verwijderd onder bepaalde randgevallen die verband houden met automatische achtergrondcompactie.
    • Met deze release wordt de cachegrootte die wordt gebruikt door een SSD in een Databricks-rekenknooppunt dynamisch uitgebreid naar de oorspronkelijke grootte van de SSD en wordt deze zo nodig verkleind tot de spark.databricks.io.cache.maxDiskUsage limiet. Zie Optimaliseer prestaties met caching op Azure Databricks.
    • Het pyodbc-pakket wordt bijgewerkt van versie 4.0.38 naar versie 4.0.39. Deze wijziging is vereist omdat er een fout is gevonden in versie 4.0.38 en die versie is verwijderd uit PyPI.
    • [SPARK-50329][SQL] probleem met InSet$toString oplossen
    • [SPARK-47435][SQL] Overloopprobleem van MySQL UNSIGNED TINYINT oplossen
    • [SPARK-49757][SQL] Ondersteuning van IDENTIFIER expressie in SETCATALOG instructie
    • [SPARK-50426][PYTHON] Vermijd statische Python opzoeken van gegevensbronnen bij het gebruik van ingebouwde of Java gegevensbronnen
    • [SPARK-48863][SQL] ClassCastException herstellen bij het parseren van JSON met 'spark.sql.json.enablePartialResults' ingeschakeld
    • [SPARK-50310][PYTHON] Voeg een vlag toe om DataFrameQueryContext voor PySpark uit te schakelen
    • [15.3-15.4] [SPARK-50034][CORE] Herstellen van het verkeerd rapporteren van fatale fouten als ongecontroleerde uitzonderingen in SparkUncaughtExceptionHandler
    • Beveiligingsupdates van het besturingssysteem.
  • 26 november 2024
    • Met deze release kunt u nu een query uitvoeren op de functie vector_search met behulp van query_text voor tekstinvoer of query_vector voor het insluiten van invoer.
    • U kunt nu een time-out instellen voor Spark Connect-query's met behulp van de Spark-configuratie-eigenschap spark.databricks.execution.timeout. Voor notebooks op serverloze verwerking is de standaardwaarde 9000 (seconden). Taken die worden uitgevoerd op serverloze berekeningen en berekeningen met de standaardtoegangsmodus hebben geen time-out, tenzij deze configuratie-eigenschap is ingesteld. Een uitvoering die langer duurt dan de opgegeven time-out resulteert in een QUERY_EXECUTION_TIMEOUT_EXCEEDED fout.
    • [SPARK-50322][SQL] Geparameteriseerde id in een subquery herstellen
    • [SPARK-49615] [ML] Zorg ervoor dat alle validatie van het gegevenssetschema van de ML-functietransformaties voldoet aan de configuratie 'spark.sql.caseSensitive'.
    • [SPARK-50124][SQL] LIMIT/OFFSET moet de volgorde van gegevens behouden
    • Beveiligingsupdates van het besturingssysteem.
  • 5 november 2024
    • (Ingrijpende wijziging) In Databricks Runtime 15.4 LTS en hoger wordt de verwerking van reguliere expressies in Photon bijgewerkt zodat deze overeenkomt met het gedrag van de verwerking van reguliere expressies in Apache Spark. Voorheen hebben reguliere expressiefuncties die worden uitgevoerd door Photon, zoals split() en regexp_extract(), enkele reguliere expressies geaccepteerd die zijn geweigerd door de Spark-parser. Om consistentie met Apache Spark te behouden, mislukken Photon-query's nu voor reguliere expressies die door Spark als ongeldig worden beschouwd. Vanwege deze wijziging ziet u mogelijk fouten als uw Spark-code ongeldige reguliere expressies bevat. De uitdrukking split(str_col, '{'), die een niet-overeenkomende accolade bevat en eerder door Photon werd geaccepteerd, werkt nu niet meer. Als u deze uitdrukking wilt herstellen, kunt u het accoladeteken ontwijken: split(str_col, '\\{'). Foton- en Spark-gedrag verschillen ook voor een aantal reguliere expressies die overeenkomen met niet-ASCII-tekens. Dit wordt ook bijgewerkt, zodat Photon overeenkomt met het Apache Spark-gedrag.
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49867][SQL] Het foutbericht verbeteren wanneer de index buiten de grenzen valt bij het aanroepen van GetColumnByOrdinal
    • [SPARK-49863][SQL] Fix NormalizeFloatingNumbers om de null-baarheid van geneste structuren te behouden
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • [SPARK-49905] Gebruik een toegewezen ShuffleOrigin voor stateful operator om te voorkomen dat de shuffle wordt aangepast door AQE.
    • [SPARK-46632][SQL] Subexpressieverwijdering oplossen wanneer gelijkwaardige ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49443][SQL][PYTHON] Implementeer to_variant_object expressie en maak schema_of_variant expressies om OBJECT af te drukken voor variantobjecten
    • [SPARK-49615] Bugfix: Zorg ervoor dat de validatie van het ML-kolomschema voldoet aan de spark-configuratie spark.sql.caseSensitive.
  • 22 oktober 2024
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49867][SQL] Het foutbericht verbeteren wanneer de index buiten de grenzen valt bij het aanroepen van GetColumnByOrdinal
    • [SPARK-49863][SQL] Fix NormalizeFloatingNumbers om de null-baarheid van geneste structuren te behouden
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • [SPARK-49905] Gebruik een toegewezen ShuffleOrigin voor stateful operator om te voorkomen dat de shuffle wordt aangepast door AQE.
    • [SPARK-46632][SQL] Subexpressieverwijdering oplossen wanneer gelijkwaardige ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49443][SQL][PYTHON] Implementeer to_variant_object expressie en maak schema_of_variant expressies om OBJECT af te drukken voor variantobjecten
    • [SPARK-49615] Bugfix: Zorg ervoor dat de validatie van het ML-kolomschema voldoet aan de spark-configuratie spark.sql.caseSensitive.
  • 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [SPARK-49688][CONNECT] Het herstellen van een gegevensrace tussen het onderbreken en uitvoeren van een plan
    • [BACKPORT] [SPARK-49474][SS] Foutklasse classificeren voor een fout in de gebruikersfunctie van FlatMapGroupsWithState
    • [SPARK-49460][SQL] Vervolg: potentieel NPE-risico herstellen
  • 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding moet stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49000][SQL] Fix "select count(distinct 1) from t" waar t een lege tabel is door RewriteDistinctAggregates uit te breiden
    • [SPARK-49492][CONNECT] Opnieuw verbinding geprobeerd op inactieve Executiehouder
    • [SPARK-49458][CONNECT][PYTHON] Sessie-id aan serverzijde opgeven via ReattachExecute
    • [SPARK-49017][SQL] Instructie invoegen mislukt wanneer meerdere parameters worden gebruikt
    • [SPARK-49451] Dubbele sleutels in parse_json toestaan.
    • Diverse bugfixes.
  • 17 september 2024
    • [SPARK-48463][ML] Zorg dat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor geneste invoerkolommen ondersteunt.
    • [SPARK-49409][VERBINDING] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Ondersteuning voor Windows-stijlpaden in ArtifactManager
    • Herstellen “[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark moeten variabele lengtes van argumenten accepteren”
    • [SPARK-43242][CORE] Herstel van de foutmelding 'Unexpected type of BlockId' bij het diagnosticeren van shuffle-corruptie.
    • [SPARK-49366][CONNECT] Union-node behandelen als bladnode bij het oplossen van dataframe-kolommen.
    • [SPARK-49018][SQL] Opgelost dat approx_count_distinct niet correct functioneert met collatie
    • [SPARK-49460][SQL] Verwijderen cleanupResource() uit EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-49336][CONNECT] Beperk de niveaus van nestelen bij het inkorten van een protobuf-bericht
  • 29 augustus 2024
    • De uitvoer van een SHOW CREATE TABLE-instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • Op berekeningen die geconfigureerd zijn in de modus voor gedeelde toegang, gelden voor Kafka-batchlees- en schrijfbewerkingen nu dezelfde beperkingen als die voor Structured Streaming zijn vastgelegd. Zie Beperkingen voor streaming.
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-49074][SQL] Variant oplossen met df.cache()
    • [SPARK-49263][CONNECT] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-48955][SQL] MatrixCompact-wijzigingen opnemen in 15.4
    • [SPARK-48937][SQL] Voeg sorteringsondersteuning toe voor stringToMap-tekenreeksexpressies
    • [SPARK-48929] Interne weergavefout corrigeren en parseruitzonderingscontext opschonen
    • [SPARK-49125][SQL] Dubbele kolomnamen in CSV-schrijven toestaan
    • [SPARK-48934][SS] Python datum/tijd-typen onjuist geconverteerd voor het instellen van time-out in applyInPandasWithState
    • [SPARK-48843] Oneindige lus voorkomen met BindParameters
    • [SPARK-48981] SimpleString-methode van StringType in pyspark opgelost voor sorteringen
    • [SPARK-49065][SQL] Herbasing in verouderde formatters/parsers moet ondersteuning bieden voor niet-JVM-standaardtijdzones
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport spark ML writer-oplossingen
    • [SPARK-48725][SQL] Integreer CollationAwareUTF8String.lowerCaseCodePoints in expressies voor tekenreeksen
    • [SPARK-48978][SQL] Implementeren van snelle ASCII-route in sorteerondersteuning voor UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Kap het bericht af voor logboekregistratie
    • [SPARK-49146][SS] Zet assertionfouten met betrekking tot ontbrekend watermerk in streamingquery's in toevoegmodus naar foutkader.
    • [SPARK-48977][SQL] Tekenreeks zoeken optimaliseren onder UTF8_LCASE sortering
    • [SPARK-48889][SS] testStream om statusarchieven te verwijderen voordat u klaar is
    • [SPARK-48463] StringIndexer maken die geneste invoerkolommen ondersteunt
    • [SPARK-48954] try_mod() vervangt try_remainder()
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 14.3 LTS

Zie Databricks Runtime 14.3 LTS.

  • 29 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 15 september 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 1 september 2026

    • (Gedragsverandering) RESTORE en CLONE commando's die de partitionering van een tabel veranderen, kunnen worden geblokkeerd als de bron- en doeltabel een gemeenschappelijke bestand delen.
    • Bijgewerkte Java bibliotheken:
      • org.eclipse.jetty.jetty-client van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-vervolg van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml van 9.4.52.v20230823 naar 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server van 9.4.52.v20230823 tot 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet van 9.4.52.v20230823 tot 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Maak spark.sql.artifact.copyFromLocalToFs.allowDestLocal een statische conf
    • Beveiligingsupdates van het besturingssysteem.

  • 18 augustus 2026

    • Bijgewerkte Java bibliotheken:
      • com.microsoft.sqlserver.mssql-jdbc van 11.2.2.jre8, 11.2.3.jre8 tot 11.2.3.jre8, 11.2.3.jre8
    • Beveiligingsupdates van het besturingssysteem.

  • 4 augustus 2026

    • [SPARK-58107] Backport van lokaal checkpoint deduplicatie en verzegeling + MERGE-verificatie van de checksum van de gematerialiseerde bron
    • [SPARK-57547][SQL] Backport van oplossing voor gelijktijdige materialisatie naar 14.3 (met uitschakeloptie)
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 10 juli 2026

    • Beveiligingsupdates van het besturingssysteem.
  • 29 juni 2026
    • (Gedragswijziging) Metrische weergaven weigeren nu venstermetingen die verwijzen naar andere venstermetingen. Voorheen werkte dit patroon tijdens CREATE, maar mislukte het tijdens het uitvoeren van de query zonder melding of leverde het onjuiste resultaten op. Nu retourneert Azure Databricks een duidelijke fout op CREATE of ALTER tijdstip (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Als u deze validatie wilt uitschakelen, stelt u in op spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • Beveiligingsupdates van het besturingssysteem.
  • 9 juni 2026
    • Beveiligingsupdates van het besturingssysteem.
  • 26 mei 2026
    • Beveiligingsupdates van het besturingssysteem.
  • 13 mei 2026
    • (Wijziging in gedrag) Tabellen weergeven met een schemapatroon vernieuwt Unity Catalog-metagegevens voor externe tabellen (bijvoorbeeld SQL Server, PostgreSQL of AWS Glue) niet langer. Deze wijziging heeft invloed op de aanroepen SHOW TABLES IN SCHEMA LIKE ... en getMetaData.getTables in het JDBC-stuurprogramma wanneer een schemapatroon wordt doorgegeven, en op de Thrift-SparkGetTablesOperation-API. Als uw workload afhankelijk is van het vernieuwen van metagegevens met een schemapatroon, neemt u contact op met databricks-ondersteuning.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 april 2026
    • Diverse bugfixes.
  • 20 april 2026
    • Diverse bugfixes.

  • 2 april 2026

    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.7 tot 1.1.11
    • Auto Loader bevat twee nieuwe functies met betrekking tot bronlocatiebeheer en zichtbaarheid in DBR 16.3: 1. Recordgebeurteniswijzigingen: met deze wijziging kunnen klanten de cloud_files_state TVF gebruiken om bestandsdetectie en verwerkingsdetails weer te geven, zoals het tijdstip waarop een bestand oorspronkelijk is gedetecteerd, het tijdstip waarop het is doorgevoerd, gearchiveerd, enzovoort. Zie hier de huidige openbare documentatie van dit TVF. 2. Schone bron: Met deze functie kunnen klanten autolaadprogramma's instrueren om automatisch bestanden te verwijderen die zijn verwerkt. Klanten kunnen voor deze functie kiezen met behulp van de cloudFiles.cleanSource optie Automatisch Laden. Meer informatie vindt u hier in de documentatie over opties voor automatisch laden.
    • Beveiligingsupdates van het besturingssysteem.

  • 10 maart 2026

    • [SPARK-55111][SS] Niet-voltooide herpartitioneringsdetectie opnieuw inschakelen bij opnieuw opstarten van query's
    • [SPARK-55701]ES-1694761[SS] Racevoorwaarde opgelost in CompactibleFileStreamLog.allFiles
    • Beveiligingsupdates van het besturingssysteem.

  • 26 februari 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 19 februari 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 27 januari 2026

    • Beveiligingsupdates van het besturingssysteem.

  • 9 januari 2026

    • Gepartitioneerde Delta-tabellen zullen voortaan partitiekolommen in parquet-bestanden bevatten. Dit maakt een betere synergie mogelijk met de manier waarop iceberg- en UniForm-tabellen worden verwerkt en verhoogt de compatibiliteit met externe niet-Delta-lezers.
    • [SPARK-54711][PYTHON] Een time-out toevoegen voor een door daemon aangemaakte werkverbinding
    • Beveiligingsupdates van het besturingssysteem.

  • 9 december 2025

    • [SPARK-52579][PYTHON] Stel periodieke traceback-dump in voor Python processen
    • [SPARK-54180][SQL] De toString van BinaryFileFormat overschrijven
    • Beveiligingsupdates van het besturingssysteem.
  • 18 november 2025
    • [SPARK-54078][SS] Nieuwe test voor StateStoreSuite SPARK-40492: maintenance before unload en verwijder infra uit oude test
    • [SPARK-54047][PYTHON] Gebruik een verschilfout bij kill-on-idle-time-out
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2025
    • Bijgewerkte R-bibliotheken:
      • pijl van 12.0.1 naar 21.0.0
    • Beveiligingsupdates van het besturingssysteem.
  • 21 oktober 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 7 oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Verschillende kleine fouten in Spark Connect Python clientfoutafhandelingslogica oplossen
    • [SPARK-53574] Oplossing voor het wissen van AnalysisContext tijdens geneste planomzetting
    • Diverse bugfixes.
  • 16 september 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 9 september 2025
    • Er is een probleem opgelost dat ervoor kon zorgen dat Auto Loader voor onbepaalde tijd bleef hangen.
    • [SPARK-49872][CORE] De lengtebeperking van jackson JSON-tekenreeks verwijderen
    • Beveiligingsupdates van het besturingssysteem.
  • 26 augustus 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.6 tot 1.1.7
    • [SPARK-52482][SQL][CORE] De verwerking van uitzonderingen verbeteren voor het lezen van bepaalde beschadigde zstd-bestanden
    • Beveiligingsupdates van het besturingssysteem.
  • 14 augustus 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 29 juli 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juli 2025
    • [SPARK-52503][SQL][CONNECT] Oplossing drop wanneer de invoerkolom niet bestaat
    • Diverse bugfixes.
  • 1 juli 2025
    • Ondersteuning voor ZStandard-decompressie voor lezers van bestandsgegevensbronnen (json, csv, xml en tekst.)
    • Ondersteuning voor ZStandard-decompressie voor lezers van bestandsgegevensbronnen (json, csv, xml en tekst.)
    • [SPARK-52521][SQL] Right#replacement mag niet dynamisch toegang krijgen tot SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard-ondersteuning voor bestandsgegevensbronlezer
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2025
    • De beperking opgelost dat de cloud_files_state functie met tabelwaarde (TVF) niet kan worden gebruikt om de status op bestandsniveau van streamingtabellen in pijplijnen te lezen.
    • [SPARK-49646][SQL] corrigeer subquery-decorrelatie voor unie/set-operaties wanneer parentOuterReferences verwijzingen bevat die niet gedekt zijn door collectedChildOuterReferences
  • 3 juni 2025
    • Bijgewerkte Python bibliotheken:
      • cryptografie van 3.4.8, 39.0.1 tot 39.0.1
      • platformdirs van 2.5.2 naar 2.6.2, en terug naar 2.5.2
      • pyparsing bijwerken van 2.4.7/3.0.9 naar 3.0.9
      • Pip 22.3.1 toegevoegd
      • Setuptools 65.6.3 toegevoegd
      • Tomli 2.0.1 toegevoegd
      • Wcwidth 0.2.5 toegevoegd
      • Wiel 0.38.4 toegevoegd
      • Verwijderde distributie 1.7.0
      • Distro-info 1.1+ubuntu0.2 verwijderd
      • Python-apt 2.4.0+ubuntu4 verwijderd
    • Bijgewerkte Java bibliotheken:
      • com.github.fommil.netlib.native_ref-java van 1.1, 1.1-natives naar 1.1, 1.1
      • com.github.fommil.netlib.native_system-java van 1.1, 1.1-natives naar 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 van 1.1-natives naar 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 van 1.1-natives naar 1.1
      • io.netty.netty-tcnative-boringssl-static van 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 naar 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll van 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 naar 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue van 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 tot 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core van 1.9.2-shaded-protobuf naar 1.9.2
      • org.apache.orc.orc-mapreduce van 1.9.2-shaded-protobuf naar 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider van 1.6.1-linux-x86_64 tot 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference moet de plan-id behouden
    • [SPARK-52159][SQL] Controleer het bestaan van tabellen op de juiste manier voor jdbc-dialecten
    • Beveiligingsupdates van het besturingssysteem.
  • 20 mei 2025
    • Bijgewerkte Java bibliotheken:
      • io.delta.delta-sharing-client_2.12 van 1.1.5 tot 1.1.6
    • [SPARK-51935][SQL] Los luie werking van iterators op in geïnterpreteerde df.collect()
    • Beveiligingsupdates van het besturingssysteem.
  • 22 april 2025
    • Beveiligingsupdates van het besturingssysteem.

  • woensdag 9 april 2025

    • [Gedragswijziging] Vacuümbewerkingen voeren nu Writer-protocolcontroles uit die vergelijkbaar zijn met andere bewerkingen, waardoor onverwachte opschoning van tabellen met nieuwere functies wordt voorkomen wanneer deze worden uitgevoerd vanuit niet-compatibele oudere Databricks Runtime-versies.
    • [SPARK-51624][SQL] GetStructField-metagegevens doorgeven in CreateNamedStruct.dataType
    • Beveiligingsupdates van het besturingssysteem.

  • 11 maart 2025

    • Databricks Runtime 14.3 LTS en hoger bevatten een oplossing voor een probleem dat binaire incompatibiliteit heeft veroorzaakt met code die een SparkListenerApplicationEnd klasse heeft geïnstantieerd en is gecompileerd met Apache Spark. Deze incompatibiliteit is voortgekomen uit het samenvoegen van SPARK-46399 in Apache Spark. Deze samenvoeging bevat een wijziging die een standaardargument aan de SparkListenerApplicationEnd constructor heeft toegevoegd. Als u binaire compatibiliteit wilt herstellen, voegt deze oplossing één argumentconstructor toe aan de SparkListenerApplicationEnd-klasse.
    • [SPARK-50791][SQL] NPE in State Store-foutafhandeling oplossen
    • [SPARK-50705][SQL] Vergrendelingsvrij maken QueryPlan
    • [SPARK-49525][SS][CONNECT] Kleine logverbetering voor server-side Streaming Query ListenerBus Listener
    • Beveiligingsupdates van het besturingssysteem.

  • 11 februari 2025

    • Deze release bevat een oplossing voor een probleem dat van invloed is op de conversie van bepaalde gegevenstypen bij het serialiseren van geredde XML-gegevenskolommen. De betrokken gegevenstypen zijn datums, niet-NTZ-tijdstempels en decimalen wanneer prefersDecimal is ingeschakeld. Zie Wat is de kolom met geredde gegevens? Voor meer informatie over de kolom met geredde gegevens.
    • [SPARK-50492][SS] Fix java.util.NoSuchElementException wanneer de kolom gebeurtenistijd wordt verwijderd na dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] De juiste foutklasse toewijzen voor negativeScaleNotAllowedError
    • Beveiligingsupdates van het besturingssysteem.
  • 10 december 2024
    • Deze release bevat een oplossing voor een probleem waardoor de primaire sleutel in een Delta-tabel kan worden verwijderd onder bepaalde randgevallen die verband houden met automatische achtergrondcompactie.
    • [SPARK-50329][SQL] probleem met InSet$toString oplossen
    • Beveiligingsupdates van het besturingssysteem.
  • 26 november 2024
    • [SPARK-49615] [ML] Zorg ervoor dat alle validatie van het gegevenssetschema van de ML-functietransformaties voldoet aan de configuratie 'spark.sql.caseSensitive'.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 november 2024
    • [SPARK-48843] Oneindige lus voorkomen met BindParameters
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • [SPARK-49863][SQL] Fix NormalizeFloatingNumbers om de null-baarheid van geneste structuren te behouden
    • [BACKPORT] [SPARK-49326][SS] Foutklasse classificeren voor fout in foreach-sinkgebruikersfunctie
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-46632][SQL] Subexpressieverwijdering oplossen wanneer gelijkwaardige ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49905] Gebruik een toegewezen ShuffleOrigin voor stateful operator om te voorkomen dat de shuffle wordt aangepast door AQE.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 oktober 2024
    • [SPARK-48843] Oneindige lus voorkomen met BindParameters
    • [SPARK-49863][SQL] Fix NormalizeFloatingNumbers om de null-baarheid van geneste structuren te behouden
    • [SPARK-49905] Gebruik een toegewezen ShuffleOrigin voor stateful operator om te voorkomen dat de shuffle wordt aangepast door AQE.
    • [SPARK-46632][SQL] Subexpressieverwijdering oplossen wanneer gelijkwaardige ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [BACKPORT] [SPARK-49326][SS] Foutklasse classificeren voor fout in foreach-sinkgebruikersfunctie
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • [BACKPORT] [SPARK-49474][SS] Foutklasse classificeren voor een fout in de gebruikersfunctie van FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [SPARK-49688][CONNECT] Het herstellen van een gegevensrace tussen het onderbreken en uitvoeren van een plan
  • 25 september 2024
    • [SPARK-48810][CONNECT] Sessiestop() API moet idempotent zijn en niet mislukken als de sessie al door de server is gesloten
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout 'RegrS...
    • [SPARK-49000][SQL] Fix "select count(distinct 1) from t" waar t een lege tabel is door RewriteDistinctAggregates uit te breiden
    • [SPARK-49628][SQL] ConstantFolding moet stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49492][CONNECT] Opnieuw verbinding geprobeerd op inactieve Executiehouder
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49336][CONNECT] Beperk de niveaus van nestelen bij het inkorten van een protobuf-bericht
    • [SPARK-43242][CORE] Herstel van de foutmelding 'Unexpected type of BlockId' bij het diagnosticeren van shuffle-corruptie.
    • [SPARK-48463][ML] Zorg dat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor geneste invoerkolommen ondersteunt.
    • [SPARK-49526][CONNECT] Ondersteuning voor Windows-stijlpaden in ArtifactManager
    • [SPARK-49409][VERBINDING] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • [SPARK-49366][CONNECT] Union-node behandelen als bladnode bij het oplossen van dataframe-kolommen.
  • 29 augustus 2024
    • [SPARK-49146][SS] Zet assertionfouten met betrekking tot ontbrekend watermerk in streamingquery's in toevoegmodus naar foutkader.
    • [SPARK-48862][PYTHON][CONNECT] Vermijd aanroepen _proto_to_string wanneer INFO-niveau niet is ingeschakeld
    • [SPARK-49263][CONNECT] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-48706][PYTHON] Python UDF in hogere-orde functies mag geen interne fout veroorzaken
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-48597][SQL] Introduceer een markering voor de eigenschap isStreaming in de tekstuele weergave van een logisch plan.
    • [SPARK-49065][SQL] Herbasing in verouderde formatters/parsers moet ondersteuning bieden voor niet-JVM-standaardtijdzones
    • [SPARK-48934][SS] Python datum/tijd-typen onjuist geconverteerd voor het instellen van time-out in applyInPandasWithState
  • 1 augustus 2024
    • Deze release bevat een foutoplossing voor de klassen ColumnVector en ColumnarArray in de Spark Java-interface. Voor deze correctie werd een ArrayIndexOutOfBoundsException uitgeworpen of werden onjuiste gegevens geretourneerd als een instantie van een van deze klassen null waarden bevatte.
    • Op serverloze berekeningen voor notebooks en taken is de ANSI SQL-modus standaard ingeschakeld. Raadpleeg Ondersteunde Spark-configuratieparameters.
    • Op berekeningen die geconfigureerd zijn in de modus voor gedeelde toegang, gelden voor Kafka-batchlees- en schrijfbewerkingen nu dezelfde beperkingen als die voor Structured Streaming zijn vastgelegd. Zie Beperkingen voor streaming.
    • De uitvoer van een SHOW CREATE TABLE-instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • Op berekeningen die geconfigureerd zijn in de modus voor gedeelde toegang, gelden voor Kafka-batchlees- en schrijfbewerkingen nu dezelfde beperkingen als die voor Structured Streaming zijn vastgelegd. Zie Beperkingen voor streaming.
    • De uitvoer van een SHOW CREATE TABLE-instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport spark ML writer-oplossingen
    • [SPARK-48889][SS] testStream om statusarchieven te verwijderen voordat u klaar is
    • [SPARK-48705][PYTHON] Gebruik expliciet worker_main wanneer deze begint met pyspark
    • [SPARK-48047][SQL] Verminder de geheugenbelasting van lege TreeNode-tags
    • [SPARK-48544][SQL] Verminder de geheugenbelasting van lege TreeNode BitSets
    • [SPARK-46957][CORE] Gemigreerde shuffle-bestanden zouden gedecomissioneerd en opgeruimd moeten worden door de uitvoerder.
    • [SPARK-48463] StringIndexer maken die geneste invoerkolommen ondersteunt
    • [SPARK-47202][PYTHON] Typfouten met datum/tijd oplossen met tzinfo
    • [SPARK-47713][SQL][CONNECT] Een self-joinfout oplossen
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache van Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() om de status van een tabel gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • Op serverloze berekeningen voor notebooks en taken is de ANSI SQL-modus standaard ingeschakeld. Raadpleeg Ondersteunde Spark-configuratieparameters.
    • Als u ongeldige partities wilt negeren bij het lezen van gegevens, kunnen bestand-gebaseerde gegevensbronnen, zoals Parquet, ORC, CSV of JSON, de optie ignoreInvalidPartitionPaths instellen op true. Bijvoorbeeld: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). U kunt ook de SQL-configuratie spark.sql.files.ignoreInvalidPartitionPaths gebruiken. De optie voor de gegevensbron heeft echter voorrang op de SQL-configuratie. Deze instelling is standaard onwaar.
    • [SPARK-48648][PYTHON][CONNECT] Zorg ervoor dat SparkConnectClient.tags correct threadlocal zijn
    • [SPARK-48445][SQL] Geen inline UDF's met dure kinderen
    • [SPARK-48481][SQL][SS] Pas OptimizeOneRowPlan niet toe op streaminggegevensset
    • [SPARK-48383][SS] Genereert een betere fout voor niet-overeenkomende partities in de optie StartOffset in Kafka
    • [SPARK-48503][SQL] Oplossen van ongeldige scalaire subquery's met groeperen op niet-equivalente kolommen die onterecht waren toegestaan.
    • [SPARK-48100][SQL] Los problemen op met het overslaan van geneste structuurvelden die niet binnen het schema zijn geselecteerd
    • [SPARK-48273][SQL] Late herschrijfbewerking van PlanWithUnresolvedIdentifier opgelost
    • [SPARK-48252][SQL] Bijwerk de CommonExpressionRef indien nodig
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48292][CORE] Terugdraaien [SPARK-39195][SQL] Spark OutputCommitCoordinator moet stap afbreken wanneer vastgelegd bestand niet consistent is met de taakstatus
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • applyInPandasWithState() is beschikbaar op computers met de standaardtoegangsmodus.
    • Verhelpt een fout waarbij de optimalisatie van het rangschikken van vensters met behulp van Photon TopK partities met structs onjuist behandelde.
    • [SPARK-48310][PYTHON][CONNECT] Gecachte eigenschappen moeten kopieën retourneren
    • [SPARK-48276][PYTHON][CONNECT] Voeg de ontbrekende __repr__ methode toe voor SQLExpression
    • [SPARK-48294][SQL] Kleine letters verwerken in nestedTypeMissingElementTypeError
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
    • Er is een fout opgelost in de functie try_divide() waarbij invoer met decimalen onverwachte uitzonderingen heeft opgeleverd.
    • [SPARK-48056][VERBINDING][PYTHON] Plan opnieuw uitvoeren als er een SESSION_NOT_FOUND fout optreedt en er geen gedeeltelijk antwoord is ontvangen
    • [SPARK-48146][SQL] Aggregatiefunctie corrigeren in With-expressie kindassertie
    • [SPARK-47986][VERBINDING][PYTHON] Kan geen nieuwe sessie maken wanneer de standaardsessie wordt gesloten door de server
    • [SPARK-48180][SQL] Fout verbeteren wanneer UDTF-aanroep met TABLE arg haakjes rond meerdere PARTITION/ORDER BY exprs vergeet
    • [SPARK-48016][SQL] Los een fout op in try_divide functie bij decimalen
    • [SPARK-48197][SQL] Vermijd assertiefout voor ongeldige lambda-functie
    • [SPARK-47994][SQL] Probleem opgelost met CASE WHEN column filter push down in SQLServer
    • [SPARK-48173][SQL] CheckAnalysis moet het volledige queryplan zien
    • [SPARK-48105][SS] Corrigeer de racevoorwaarde tussen het lossen van de statusopslag en momentopname
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • (Gedragswijziging) applyInPandas en mapInPandas UDF-typen worden nu ondersteund voor de berekening van de gedeelde toegangsmodus waarop Databricks Runtime 14.3 LTS en hoger wordt uitgevoerd.
    • [SPARK-47739][SQL] Logisch avro-type registreren
    • [SPARK-47941] [SS] [Verbinding] ForeachBatch-werkrol initialisatiefouten doorgeven aan gebruikers voor PySpark
    • [SPARK-48010][SQL] Vermijd herhaalde aanroepen naar conf.resolver in resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Saniteitscontrole voor onopgeloste LCA-referentie
    • [SPARK-47543][CONNECT][PYTHON] Dict als MapType afleiden van Pandas DataFrame om het maken van een DataFrame mogelijk te maken
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Gebruik asynchrone callback voor het opschonen van de uitvoering
    • [SPARK-47764][CORE][SQL] Shuffle-afhankelijkheden opschonen op basis van ShuffleCleanupMode
    • [SPARK-48018][SS] Los op dat een null groupId de fout 'ontbrekende parameter' veroorzaakte bij het genereren van KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Statistische fout opgelost in RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Rijtags negeren die zijn gevonden in CDATA
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-47973][CORE] Log call site in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • [SPARK-47543][CONNECT][PYTHON] Afleiden van dict als MapType uit Pandas DataFrame om de creatie van DataFrame mogelijk te maken
    • [SPARK-47694][CONNECT] Maximale berichtgrootte configureerbaar maken aan de clientzijde
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Valideer de kolomnaam met een schema in de cache
    • [SPARK-47862][PYTHON][CONNECT]Fout bij het genereren van proto-bestanden oplossen
    • Herstel “[SPARK-47543][CONNECT][PYTHON] Inferentie van als dict vanuit een Pandas DataFrame om een DataFrame te kunnen maken”
    • [SPARK-47704][SQL] JSON-parsering mislukt met java.lang.ClassCastException wanneer spark.sql.json.enablePartialResults is ingeschakeld
    • [SPARK-47812][CONNECT] Ondersteuning voor de serialisatie van SparkSession voor ForEachBatch-worker
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduceer een plancache in de SparkConnectPlanner om de prestaties van analyserverzoeken te verbeteren.
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite mislukt met een ongeldig plan
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • (Gedragswijziging) PySpark UDF's voor berekeningen met standaardtoegangsmodus komen nu overeen met het gedrag van UDF's op niet-isolatie en toegewezen clusters om consistent gedrag voor rekentypen te garanderen. Deze update bevat de volgende wijzigingen die bestaande code kunnen breken:
      • UDF's met een string retourtype converteren niet langer impliciet niet-string waarden naar string waarden. Voorheen zouden UDF's met een retourtype str de retourwaarde verpakken met een str() functie, ongeacht het werkelijke gegevenstype van de geretourneerde waarde.
      • UDF's met timestamp retourtypen passen niet langer impliciet een conversie toe op timestamp met timezone.
      • De Spark-clusterconfiguraties spark.databricks.sql.externalUDF.* zijn niet meer van toepassing op PySpark UDF's in een rekenomgeving met standaardtoegangsmodus.
      • De Configuratie van het Spark-cluster spark.databricks.safespark.externalUDF.plan.limit heeft geen invloed meer op PySpark UDF's, zodat de openbare preview-beperking van 5 UDF's per query voor PySpark UDF's wordt verwijderd.
      • De configuratie van Spark-cluster spark.databricks.safespark.sandbox.size.default.mib is niet langer van toepassing op PySpark UDF's op computereenheden met de standaard toegangsmodus. In plaats daarvan wordt het beschikbare geheugen op het systeem gebruikt. Als u het geheugen van PySpark UDF's wilt beperken, gebruikt u spark.databricks.pyspark.udf.isolation.memoryLimit met een minimumwaarde van 100m.
    • Het TimestampNTZ gegevenstype wordt nu ondersteund als een clusterkolom met vloeistofclustering. Zie Liquid Clustering gebruiken voor tabellen.
    • [SPARK-47511][SQL] Canonicaliseren van With-expressies door IDs opnieuw toe te wijzen
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • [SPARK-46990][SQL] Los het laden van lege Avro-bestanden op die worden verzonden door event-hubs
    • [SPARK-47638][PS][CONNECT] Kolomnaamvalidatie overslaan in PS
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • [SPARK-47176][SQL] Een helperfunctie ResolveAllExpressionsUpWithPruning toevoegen
    • [SPARK-47145][SQL] Geef tabel-id door aan rijgegevensbronscan exec voor V2-strategie.
    • [SPARK-47044][SQL] Een uitgevoerde query toevoegen voor externe JDBC-gegevensbronnen om uitvoer uit te leggen
    • [SPARK-47167][SQL] Voeg concrete klasse toe voor anonieme JDBC-relatie
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • [SPARK-47121][CORE] Vermijd RejectedExecutionExceptions tijdens standaloneSchedulerBackend shutdown
    • Draai terug "[SPARK-46861][CORE] Vermijd deadlock in DAGScheduler"
    • [SPARK-47125][SQL] Retourneer null als Univocity nooit parseren activeert
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier moet andere expressies bevatten in de expressiestructuur
    • [SPARK-47129][CONNECT][SQL] Zorg ervoor dat ResolveRelations het plan voor cacheverbinding correct is
    • [SPARK-47241][SQL] Problemen met regelvolgorde voor ExtractGenerator oplossen
    • [SPARK-47035][SS][CONNECT] Protocol voor Client-Side luisteraar
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de operatiemetriek numSourceRows dubbel het juiste aantal rijen rapporteerde.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu over SELECT- en MODIFY-bevoegdheden beschikken voor ieder bestand.
    • [SPARK-47071][SQL] Verwerk de uitdrukking in de code als deze een speciale uitdrukking bevat
    • [SPARK-47059][SQL] Foutcontext koppelen voor alter COLUMN v1-opdracht
    • [SPARK-46993][SQL] Constante vouwbewerking voor sessievariabelen oplossen
    • Beveiligingsupdates van het besturingssysteem.
  • 3 januari 2024
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • [SPARK-46954] XML: Wrap de InputStreamReader met een BufferedReader.
    • [SPARK-46655] Sla het vangen van querycontext in DataFrame methoden over.
    • [SPARK-44815] Cache df.schema om extra RPC te voorkomen.
    • [SPARK-46952] XML: Beperk de grootte van beschadigde records.
    • [SPARK-46794] Subqueries verwijderen uit LogicalRDD-beperkingen.
    • [SPARK-46736] retenteer leeg berichtveld in protobuf-connector.
    • [SPARK-45182] Negeer taakvoltooiing uit de oude fase nadat de bovenliggende en onbepaalde fase opnieuw is geprobeerd, zoals wordt bepaald door de controlesom.
    • [SPARK-46414] Gebruik prependBaseUri om javascript-importbewerkingen weer te geven.
    • [SPARK-46383] Verminder het geheugengebruik van de stuurprogramma door de levensduur van TaskInfo.accumulables() te verkorten.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46954] XML: Zoekactie voor schemaindex optimaliseren.
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-46644] Wijzig toevoegen en samenvoegen in SQLMetric om isZero te gebruiken.
    • [SPARK-46731] Beheer de providerinstantie van de statuswinkel per statusgegevensbron - lezer.
    • [SPARK-46677] Resolutie corrigeren dataframe["*"].
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • [SPARK-45433] Herstel deductie van CSV-/JSON-schema's wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat.
    • [SPARK-46930] Voeg ondersteuning toe voor een aangepast voorvoegsel voor union-typevelden in Avro.
    • [SPARK-46227] Backport naar 14.3.
    • [SPARK-46822] Respecteer spark.sql.legacy.charVarcharAsString bij het omzetten van een JDBC-type naar een katalysatortype bij het gebruik van JDBC.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 9.1 LTS

  • 9 april 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 11 maart 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 11 februari 2025
    • Beveiligingsupdates van het besturingssysteem.
  • 10 december 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 26 november 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 5 november 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 22 oktober 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-49000][SQL] Fix "select count(distinct 1) from t" waar t een lege tabel is door RewriteDistinctAggregates uit te breiden
    • Beveiligingsupdates van het besturingssysteem.
  • 6 september 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • [SPARK-49065][SQL] Herbasing in verouderde formatters/parsers moet ondersteuning bieden voor niet-JVM-standaardtijdzones
  • 14 augustus 2024
  • 1 augustus 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • [SPARK-48105][SS] Corrigeer de racevoorwaarde tussen het lossen van de statusopslag en momentopname
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-47973][CORE] Log call site in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Stel 'nullable' correct in op de samengevoegde joinsleutel bij een full outer USING join
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • Diverse bugfixes.
  • 11 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • Draai terug "[SPARK-46861][CORE] Vermijd deadlock in DAGScheduler"
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de operatiemetriek numSourceRows dubbel het juiste aantal rijen rapporteerde.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 februari 2024
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 december 2023
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-39440] Voeg een configuratie toe om de tijdlijn voor gebeurtenissen uit te schakelen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
  • 14 december 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • [SPARK-45545]SparkTransportConf erft SSLOptions bij aanmaak.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse reparaties.
  • 30 augustus 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • [SPARK-43098] Corrigeer COUNT correctheid fout wanneer een scalaire subquery een group by-clausule heeft.
    • [SPARK-43156][SPARK-43098] Breid het aantal bugtests van scalaire subquery's uit met decorrelateInnerQuery uitgeschakeld.
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery.
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Er is een probleem opgelost bij het parseren van herstelde JSON-gegevens om UnknownFieldException te voorkomen.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-37520] De startswith() functies en endswith() tekenreeksen toevoegen
    • [SPARK-43413] De null-baarheid van subquery IN is opgelostListQuery.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 mei 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Een probleem opgelost waarbij Auto Loader schema-evolutie kan resulteren in een oneindige mislukkingslus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42967] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
  • 29 maart 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2023
    • [SPARK-42484] Verbeterd foutbericht voor UnsafeRowUtils.
    • Diverse reparaties.
  • 28 februari 2023
    • Gebruikers kunnen nu specifieke Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met databricks Runtime 9.1 LTS of hoger. Om te slagen moeten de tabelfuncties in het protocol van de tabellen ondersteund worden door de huidige versie van Databricks Runtime.
    • Beveiligingsupdates van het besturingssysteem.
  • 16 februari 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2023
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
  • 18 januari 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2022
    • Er is een probleem opgelost met het parseren van JSON in Auto Loader wanneer alle kolommen als tekenreeksen waren gelaten (cloudFiles.inferColumnTypes niet ingesteld was of ingesteld op false) en de JSON geneste objecten bevatte.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse reparaties.
  • 1 november 2022
    • Er is een probleem opgelost waarbij, als een Delta-tabel een door de gebruiker gedefinieerde kolom met de naam _change_type had, maar de instelling Change data feed op die tabel uitgeschakeld was, gegevens in die kolom onjuist gevuld zouden worden met NULL-waarden bij het uitvoeren van MERGE.
    • Er is een probleem opgelost met automatisch laden waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites is ingeschakeld
    • [SPARK-40596] ExecutorDecommission invullen met berichten vanuit ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • Diverse reparaties.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om de ingebouwde vermelding voor Automatisch laden opnieuw in te schakelen in ADLS. Ingebouwde lijsten waren eerder uitgeschakeld vanwege prestatieproblemen, maar dit heeft mogelijk geleid tot hogere opslagkosten voor klanten.
    • [SPARK-40315] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40089] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
  • 6 september 2022
    • [SPARK-40235] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-35542] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079] Imputer inputCols-validatie voor lege invoercase toevoegen
  • 24 augustus 2022
    • [SPARK-39666] Gebruik UnsafeProjection.create om spark.sql.codegen.factoryMode in ExpressionEncoder te respecteren
    • [SPARK-39962] Projectie toepassen wanneer groepskenmerken leeg zijn
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39689] Ondersteuning voor twee tekens lineSep in csv-gegevensbron
    • [SPARK-39575] Toegevoegd ByteBuffer#rewind na ByteBuffer#get in AvroDeserializer.
    • [SPARK-37392] De prestatiefout voor katalysatoroptimalisatie is opgelost.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 juli 2022
    • [SPARK-39419]ArraySort genereert een uitzondering wanneer de comparator null retourneert.
    • Gebruik van ingebouwde cloud-API's voor directoryvermelding op Azure door Auto Loader is uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse reparaties.
  • 15 juni 2022
    • [SPARK-39283] Deadlock tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen.
  • 2 juni 2022
    • [SPARK-34554] Implementeer de copy() methode in ColumnarMap.
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Er is een mogelijk ingebouwd geheugenlek opgelost in de Auto Loader.
    • Voer een upgrade uit van AWS SDK-versie van 1.11.655 naar 1.11.678.
    • [SPARK-38918] Geneste kolomsnoei moet attributen uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-39084] Oplossing df.rdd.isEmpty() door TaskContext iterator te stoppen bij het voltooien van de taak
    • Beveiligingsupdates van het besturingssysteem.
  • 19 april 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse reparaties.
  • 6 april 2022
    • [SPARK-38631] Maakt gebruik van een Java gebaseerde implementatie voor het uitpakken van tar-bestanden bij Utils.unpack.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • De huidige werkmap van notebooks op clusters met hoge gelijktijdigheid is gewijzigd naar de home directory van de gebruiker, waarbij ofwel tabeltoegangscontrole of referentiedoorgifte is ingeschakeld. Voorheen was /databricks/driver de Active Directory.
    • [SPARK-38437] Soepele serialisatie van datum en tijd van een gegevensbron
    • [SPARK-38180] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-27442] Een controleveld verwijderd bij het lezen of schrijven van gegevens in een parquet.
  • 14 maart 2022
    • [SPARK-38236] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-34069] De taakthread onderbreken als de lokale eigenschap SPARK_JOB_INTERRUPT_ON_CANCEL is ingesteld op true.
  • 23 februari 2022
    • [SPARK-37859] SQL-tabellen die zijn gemaakt met JDBC met Spark 3.1, kunnen niet worden gelezen met Spark 3.2.
  • 8 februari 2022
    • [SPARK-27442] Een controleveld verwijderd bij het lezen of schrijven van gegevens in een parquet.
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Een probleem is opgelost waarbij gelijktijdige transacties in Delta-tabellen onder enkele zeldzame omstandigheden in een niet-serieerbare volgorde konden worden doorgevoerd.
    • Er is een probleem opgelost waarbij de OPTIMIZE-opdracht kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Kleine oplossingen en beveiligingsverbeteringen.
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2021
    • Er is een probleem verholpen dat kon zorgen voor het falen van Structured Streaming-stromen met een ArrayIndexOutOfBoundsException.
    • Een racevoorwaarde is opgelost die een queryfout zou kunnen veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme, of dat zou kunnen maken dat de wijzigingen aan sparkContext.hadoopConfiguration mogelijk niet van invloed zijn in query's.
    • De Apache Spark Connector voor Delta Sharing is bijgewerkt naar 0.2.0.
  • 20 oktober 2021
    • BigQuery-connector bijgewerkt van 0.18.1 naar 0.22.2. Hiermee wordt ondersteuning toegevoegd voor het type BigNumeric.
  • Laatst bijgewerkt om