Databricks Runtime 13.2 (EoS)

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 13.2, con tecnología de Apache Spark 3.4.0.

Databricks publicó esta versión en julio de 2023.

Nuevas características y mejoras

• Control de registro de cambios para el almacén de estado de RocksDB
• Confiabilidad mejorada para VACUUM con clon superficial en el catálogo de Unity.
• Compatibilidad con UDF de Python en SQL
• Delta Lake UniForm para Apache Iceberg está en versión preliminar pública
• La agrupación dinámica en clústeres de Delta Lake está en versión preliminar pública
• Soporte de archivado en Azure Databricks
• IDENTIFIER cláusula admite
• Soporte de Unity Catalog para Funciones Definidas por el Usuario (UDFs) de Python y Pandas
• Uso compartido de esquemas mediante Delta Sharing
• Correcciones de errores

Control de registro de cambios para el almacén de estado de RocksDB

Puede habilitar los puntos de control del registro de cambios para reducir la duración del punto de control y la latencia de un extremo a otro para cargas de trabajo de streaming estructurado con estado. Databricks recomienda habilitar los puntos de control del registro de cambios para todas las consultas con estado de Structured Streaming. Consulte Habilitar puntos de control del registro de cambios.

Confiabilidad mejorada para VACUUM con clon superficial en el catálogo de Unity.

Cuando se usan tablas administradas de Unity Catalog para el origen y el destino de una operación de clonación superficial, Unity Catalog administra los archivos de datos subyacentes para mejorar la confiabilidad para el origen y el destino de la operación de clonación. La ejecución de VACUUM en el origen de un clon superficial no interrumpe la tabla clonada. Consulte Usar VACUUM con clones superficiales de Unity Catalog.

Compatibilidad con UDF de Python en SQL

Ahora puede declarar funciones definidas por el usuario usando Python dentro de instrucciones SQL CREATE FUNCTION en el catálogo Unity. Consulte las funciones definidas por el usuario (UDFs) de SQL y Python en Unity Catalog.

Delta Lake UniForm para Apache Iceberg se encuentra en vista previa pública.

El formato universal de Delta Lake (UniForm) permite leer tablas delta con clientes de Apache Iceberg. Consulte Lectura de tablas de Delta Lake con clientes de Iceberg.

La agrupación dinámica en clústeres de Delta Lake está en versión preliminar pública

La agrupación en clústeres líquidos de Delta Lake reemplaza a la creación de particiones de tablas y ZORDER para simplificar las decisiones de diseño de datos y optimizar el rendimiento de las consultas. Consulte Uso de clústeres líquidos para tablas.

Compatibilidad con archivos en Azure Databricks

La compatibilidad con archivos en Azure Databricks introduce una colección de capacidades que le permite usar directivas de ciclo de vida basadas en la nube en el almacenamiento de objetos en la nube que contiene tablas Delta. Estas capacidades le permiten, a su vez, mover archivos a los niveles de almacenamiento de archivos. Consulte compatibilidad con Archival en Azure Databricks.

IDENTIFIERsoporte con cláusulas

Use IDENTIFIER(:mytable) para parametrizar de forma segura los nombres de tabla, columna, función y esquema en varias instrucciones SQL.

Compatibilidad del catálogo de Unity con funciones de Python y Pandas User-Defined (UDF)

En Databricks Runtime 13.2 y versiones posteriores, las funciones definidas por el usuario (UDF) escritas en Python se admiten en clústeres que usan el modo de acceso estándar (anteriormente modo de acceso compartido) en un área de trabajo habilitada para catálogos de Unity. Esto incluye las UDF de Python y Pandas. Para obtener más información sobre Python UDF, consulte Python funciones escalares definidas por el usuario (UDF).

Uso compartido de esquemas mediante Delta Sharing

Databricks Runtime 13.2 agrega la capacidad de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name> para compartir un esquema completo mediante Delta Sharing, lo que proporciona al destinatario acceso a todas las tablas y vistas del esquema en el momento de compartirlo, junto con las tablas y vistas que se agregan al esquema en el futuro. Consulte Agregar esquemas a un recurso compartido y ALTER SHARE.

Correcciones de errores

• Se ha corregido un error con el lector JSON, que provocaba que los registros se analizaran en modo PERMISSIVE si failOnUnknownFieldsmode estaba habilitado. Los registros ahora se quitan en modo de DROPMALFORMEDparser o se escriben en el badRecordsPath, si se establece alguna de estas opciones. FAILFAST produce un error si un tipo de columna no coincide.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • nodeenv de 1.7.0 a 1.8.0
• Bibliotecas de R actualizadas:
• Bibliotecas de Java actualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.6.7 a 0.7.0

Apache Spark

Databricks Runtime 13.2 incluye Apache Spark 3.4.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 13.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-42750] [SC-133452][dbrrm-273] Soporte con la instrucción Insertar por nombre
• [SPARK-43133] [SC-133728] Soporte para Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][connect][PS] Habilitar SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Una corrección (NullOps|NumOps).(eq|ne) para Spark Connect.
• [SPARK-44021] [SC-134109][sql] Añadir spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][sql] Eliminar __auto_generated_subquery_name de los Id. en los errores
• [SPARK-43976] [ SC-133375][core] Controle el caso en el que modifiedConfigs no existe en los registros de eventos
• [SPARK-32559] [SC-133992][sql] La corrección de la lógica de recorte no manejó correctamente los caracteres de control ASCII.
• [SPARK-43421] [SC-132930][ss] Implementar puntos de control basados en el registro de cambios para el proveedor de RocksDB State Store
• [SPARK-43594] [SC-133851][sql] Agregar LocalDateTime a anyToMicros
• [SPARK-43884] [SC-133867] Marcadores de parámetros en DDL
• [SPARK-43398] [ SC-133894][core] El tiempo de espera del ejecutor debe ser el máximo entre el tiempo de espera de inactividad de la mezcla y el tiempo de espera de rdd
• [SPARK-43610] [ SC-133892][connect][PS] Habilitar InternalFrame.attach_distributed_column en Spark Connect.
• [SPARK-43971] [SC-133826][connect][PYTHON] Compatibilidad con createDataFrame de Python’de forma de streaming
• [SPARK-44006] [SC-133652][connect][PYTHON] Compatibilidad con artefactos de caché
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Se agregó la API copyFromLocalToFs
• [SPARK-43921] [SC-133461][protobuf] Generar archivos de descriptor protobuf en tiempo de compilación
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementar la compatibilidad con archivos en SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][python][SS][minor] Corrección de tipo de rowsPerSecond en StreamingQueryProgress de Python
• [SPARK-43768] [SC-132398][python][CONNECT] Soporte de gestión de dependencias en Python Spark Connect
• [SPARK-43979] [ 13.X] Se revierte "[SC-133456][sql] CollectedMetrics debe tratarse como el mismo conjunto para la autocombinación"
• [SPARK-42290] [ SC-133696][sql] No se puede notificar el error de OOM cuando AQE está activado
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Agregar funciones matemáticas de SQL a Scala y Python
• [SPARK-43747] [SC-132047][python][CONNECT] Implementación de la compatibilidad con pyfile en SparkSession.addArtifacts
• [SPARK-43700] [ SC-133726][spark-43701][CONNECT][ps] Habilitar TimedeltaOps.(sub|rsub) con Spark Connect
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Habilitar la prueba de paridad: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Mejorar los candidatos sugeridos para el atributo sin resolver
• [SPARK-43901] [SC-133454][sql] Avro para compatibilidad con un tipo decimal personalizado basado en Long
• [SPARK-43267] [SC-133024][jdbc] Controlar la columna desconocida definida por usuario como una cadena de texto en una matriz
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Agregar funciones xpath_* a Scala y Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Agregar percentil a Scala y Python API
• [SPARK-43717] [SC-133455][connect] La agregación y reducción del cliente de Scala no pueden controlar las particiones nulas para las entradas primitivas de scala
• [SPARK-43984] [ SC-133469][sql][PROTOBUF] Cambiar para utilizar foreach cuando map no genera resultados
• [SPARK-43612] [SC-132011][connect][PYTHON] Implemente SparkSession.addArtifact(s) en Python cliente
• [SPARK-44002] [SC-133606][connect] Corrección del controlador de estados de artefactos
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Agregar funciones de agregado de regresión lineal a Scala y Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Creación de un módulo sql/api
• [SPARK-43979] [SC-133456][sql] CollectedMetrics debe tratarse como el mismo conjunto para la autocombinación
• [SPARK-43977] [SC-133373][connect] Corregir el resultado inesperado de la comprobación de dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: se corrigió un error que provocaba que los valores enum se traten como int
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Agregar funciones unix_* a Scala y Python
• [SPARK-43807] [SC-132545][sql] Migrar _LEGACY_ERROR_TEMP_1269 to PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][sql] Se ha solucionado el error por el que no se muestra la expresión SQL de la columna para Percentile[Cont|Disc]
• [SPARK-42626] [SC-133248][connect] Agregar iterador destructivo para SparkResult
• [SPARK-43333] [SC-132898][sql] Permitir que Avro convierta el tipo de unión en SQL con el nombre de campo estable con el tipo
• [SPARK-43953] [SC-133134][connect] Quitar pass
• [SPARK-43970] [SC-133403][python][CONNECT] Ocultar métodos de trama de datos no admitidos de la finalización automática
• [SPARK-43973] [ SC-133272][ss][UI] Structured Streaming UI debe mostrar correctamente consultas fallidas
• [SPARK-42577] [ SC-125445][core] Agregar limitación de intentos máximos para las fases para evitar posibles reintentos infinitos
• [SPARK-43841] [ SC-132699][sql] Manejar atributos candidatos sin prefijo en StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Follow UP]Modificar la compatibilidad de la configuración spark.rdd.cache.visibilityTracking.enabled con 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] Migrar clases de error
• [SPARK-43898] [ SC-132926][core] Registrar automáticamente immutable.ArraySeq$ofRef en KryoSerializer para Scala 2.13
• [SPARK-43775] [SC-132891][sql] DataSource V2: Permitir la representación de actualizaciones como eliminaciones e inserciones
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] Compatibilidad con UserDefinedType en createDataFrame desde DataFrame de pandas y toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] Se agregó SparkSession.Builder.getOrCreate
• [SPARK-43549] [ SC-132383][sql] Convierta _LEGACY_ERROR_TEMP_0036 en INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][core] Corrección del recuento del acumulador en el caso de la tarea de reintento con caché rdd
• [SPARK-43892] [SC-133006][python] Agregar compatibilidad con autocompletar para df[|] en pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Agregar un patrón opcional para Catalog.listDatabases
• [SPARK-43205] [SC-132623] IDENTIFIER cláusula
• [SPARK-43545] [SC-132378][sql][PYTHON] Compatibilidad con el tipo de marca de tiempo anidada
• [SPARK-43949] [SC-133048][python] Actualización de cloudpickle a 2.2.1
• [SPARK-43760] [SC-132809][sql] Nulabilidad de los resultados de la subconsulta escalar
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Corrección TimedeltaOps para Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Preparar la ruta de acceso del paquete de go
• [SPARK-43894] [SC-132892][python] Corrección del error en df.cache()
• [SPARK-43509] [SC-131625][connect] Compatibilidad con la creación de varias sesiones de Spark Connect
• [SPARK-43882] [SC-132888][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Corrección NumOps para Spark Connect
• [SPARK-43604] [ SC-132165][sql] Refactorización INVALID_SQL_SYNTAX para evitar insertar el texto del error en el código fuente
• [SPARK-43859] [SC-132883][sql] Sobrescribir el método toString en LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listCatalogs
• [SPARK-43353] Revertir “[SC-132734][python] Migre los errores de sesión restantes a la clase de error.”
• [SPARK-43375] [SC-130309][connect] Mejorar los mensajes de error de INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Se quitó la redundancia de toSeq de SparkConnectPlanner para Scala 2.13
• [SPARK-43676] [ SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Solución DatetimeOps para Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Corrección BinaryOps para Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Corrección NullOps para Spark Connect
• [SPARK-43782] [SC-132885][core] Compatibilidad con la configuración de nivel de registro con Spark estática
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python CLIENT DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][sql] Agrega compatibilidad con AES IV y AAD a ExpressionImplUtils
• [SPARK-43795] [SC-132532][connect] Quitar parámetros no usados para SparkConnectPlanner
• [SPARK-42317] [SC-129194][sql] Asignar nombre específico a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] Utilizar clases de error para los errores de compilación de ResolveDefaultColumns
• [SPARK-43749] [ SC-132423][spark-43750][SQL] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [ SC-132533][core] Quitar declaraciones sin usar del módulo Core
• [SPARK-43314] [SC-129970][connect][PYTHON] Se migraron los errores del cliente de Spark Connect a la clase de error
• [SPARK-43799] [SC-132715][python] Agregar la opción binaria de descriptor en la API Protobuf de PySpark
• [SPARK-43837] [SC-132678][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] Asignar un nombre a la clase de error LEGACY_ERROR_TEMP(1254 y 1315)
• [SPARK-43886] [SC-132808][python] Aceptar tupla genéricas como sugerencias de escritura de UDF de Pandas
• [SPARK-43530] [ SC-132653][protobuf] Leer el archivo de descriptor solo una vez
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Corrección CategoricalOps para Spark Connect
• [SPARK-39979] [ SC-132685][sql] Agregar opción para usar vectores de ancho variable grande para las operaciones UDF de flecha
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Corrección StringOps para Spark Connect
• [SPARK-43353] [SC-132734][python] Migre los errores de sesión restantes a la clase de error.
• [SPARK-43815] [SC-132781][sql] Agregar to_varchar alias para to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Corregir el comportamiento de MapType anidado en UDF de Pandas
• [SPARK-43361] [SC-131789][protobuf] documentación de actualización de errores relacionados con la serialización de enumeración
• [SPARK-43740] [SC-132035][python][CONNECT] Se ocultaron los métodos session no compatibles con la finalización automática
• [SPARK-43022] [SC-131681][connect] Compatibilidad con funciones protobuf para el cliente de Scala
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrar NotImplementedError a PySparkNotImplementedError
• [SPARK-43860] [ SC-132713][sql] Habilite la recursividad de cola siempre que sea posible
• [SPARK-42421] [SC-132695][core] Usar las utilidades para obtener el interruptor de la asignación dinámica utilizada en el punto de control local
• [SPARK-43590] [SC-132012][connect] Realice connect-jvm-client-mima-check para admitir la comprobación de mima con módulo protobuf
• [SPARK-43315] [13.x][connect][PYTHON][ss] Se migraron los errores restantes de DataFrame(Reader|Writer) en la clase de error
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: se permite el proceso "serde" con los valores enum como int
• [SPARK-43789] [SC-132397][r] Usa ‘spark.sql.execution.arrow.maxRecordsPerBatch’ en R createDataFrame con flecha de manera predeterminada
• [SPARK-43596] [SC-126994][sql] Gestionar el predicado IsNull en rewriteDomainJoins
• [SPARK-42249] [ SC-122565][sql] Refinar el vínculo html para obtener documentación en los mensajes de error.
• [SPARK-43128] [ SC-131628][connect][SS] Hacer que recentProgress y lastProgress devuelvan StreamingQueryProgress de manera coherente con la API nativa de Scala
• [SPARK-43387] [ SC-130448][sql] Proporcione un código de error legible para _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [UI] Se corrigió el error al serializar ExecutorPeakMetricsDistributions en la respuesta de la API
• [SPARK-42958] [SC-131475][connect] Refactorización de connect-jvm-client-mima-check para admitir la comprobación mima con el módulo avro
• [SPARK-43591] [SC-131977][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][core] Uso de las clases de error en org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Exponer TimestampNTZType en pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] Manejar el campo missing row.excludedInStages
• [SPARK-42956] [SC-127257][connect] Compatibilidad con funciones avro para el cliente de Scala
• [SPARK-43487] [SC-131975][sql] Corregir el mensaje de error CTE anidado
• [SPARK-43265] [SC-129653] Traslado del marco de error a un módulo de utilidades comunes
• [SPARK-40912] [SC-131547][core]Sobrecarga de excepciones en KryoDeserializationStream
• [SPARK-43583] [SC-131976][core] obtener MergedBlockedMetaReqHandler del delegado en lugar de la instancia de SaslRpcHandler
• [SPARK-42996] [SC-131997][connect][PS][ml] Crear y asignar tickets adecuados de JIRA para todas las pruebas con errores.
• [SPARK-38469] [SC-131425][core] Use la clase de error en org.apache.spark.network
• [SPARK-43718] [SC-132014][sql] Establecer la anulabilidad correctamente para las claves en uniones USING
• [SPARK-43502] [ SC-131419][python][CONNECT] DataFrame.drop debe aceptar una columna vacía.
• [SPARK-43743] [SC-132038][sql] Puerto HIVE-12188(DoAs no funciona correctamente en HS2 protegido sin kerberos)
• [SPARK-43598] [SC-131929][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Corregir ClassNotFoundException durante la migración
• [SPARK-43360] [SC-131526][ss][CONNECT] Cliente de Scala StreamingQueryManager
• [SPARK-38467] [SC-131025][core] Uso de las clases de error en org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Cambiar el nombre de las clases de error LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Soporte de eliminación de subexpresión para expresión de acceso directo
• [SPARK-38462] [SC-130449][core] Agregar clase de error INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] Corregir cannotBroadcastTableOverMaxTableBytesError para usar bytesToString
• [SPARK-43539] [SC-131830][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] Clonar el plan en caché de InMemoryRelation para evitar que el plan clonado haga referencia a los mismos objetos.
• [SPARK-43309] [SC-129746][spark-38461][CORE] Se extendió INTERNAL_ERROR con categorías y agregar la clase de error INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Corregir que el escritor concurrente no actualiza las métricas de archivo.
• [SPARK-43383] [SC-130660][sql] Agregar rowCount estadísticas a LocalRelation
• [SPARK-43574] [SC-131739][python][SQL] Compatibilidad para establecer el ejecutable de Python para las API de función UDF y Pandas en trabajos durante el tiempo de ejecución
• [SPARK-43569] [SC-131694][sql] Quitar solución alternativa para HADOOP-14067
• [SPARK-43183] [SC-128938][ss][13.x] Introduce una nueva devolución “de llamada onQueryIdle” to StreamingQueryListener
• [SPARK-43528] [SC-131531][sql][PYTHON] Compatibilidad con nombres de campo duplicados en createDataFrame con DataFrame pandas
• [SPARK-43548] [ SC-131686][ss] Eliminar la solución alternativa para HADOOP-16255
• [SPARK-43494] [SC-131272][core] Llame a replicate() directamente para HdfsDataOutputStreamBuilder en lugar de usar reflexión en SparkHadoopUtil#createFile
• [SPARK-43471] [ SC-131063][core] Gestionar la falta de hadoopProperties y metricsProperties
• [SPARK-42899] [SC-126456][sql] Corregir DataFrame.to(schema) para controlar el caso en el que hay un campo anidado que no acepta valores nulos dentro de un campo que sí acepta valores nulos.
• [SPARK-43302] [SC-129747][sql] Convertir UDAF de Python en una Función de Agregación
• [SPARK-43223] [SC-131270][connect] Funciones con tipo, funciones de reducción, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] Expanda QueryTerminatedEvent para contener la clase de error si existe en la excepción
• [SPARK-43359] [SC-131463][sql] Eliminar de la tabla de Hive debería generar "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Volver a utilizar cadenas codificadas en URL
• [SPARK-43492] [SC-131227][sql] Agregar alias de función de 3 argumentos DATE_ADD y DATE_DIFF
• [SPARK-43473] [SC-131372][python] Compatibilidad con el tipo de estructura en createDataFrame desde DataFrame de Pandas
• [SPARK-43386] [SC-131110][sql] Mejora de la lista de columnas/atributos sugeridos en la clase de error UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-43443] [SC-131332][sql] Agregar pruebas comparativas para la inferencia de tipo Timestamp cuando se usa un valor no válido
• [SPARK-43518] [SC-131420][sql] Convertir _LEGACY_ERROR_TEMP_2029 en INTERNAL_ERROR
• [SPARK-42604] [SC-130648][connect] Implementar functions.typedlit
• [SPARK-42323] [ES-669513] Revertir "[SC-123479][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][sql] Fecha de cita de tipo de filtro
• [SPARK-43410] [SC-130526][sql] Mejorar el bucle vectorizado para los skipValues agrupados de manera compacta
• [SPARK-43441] [ SC-130995][core] makeDotNode no debe producir un error cuando DeterministicLevel está ausente
• [SPARK-43324] [SC-130455][sql] Gestionar UPDATE comandos para fuentes basadas en Delta
• [SPARK-43272] [SC-131168][core] Llamar directamente createFile en lugar de reflexión
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migración de errores de sesión de Spark Connect a la clase de error
• [SPARK-43405] [SC-130987][sql] Quitar inútil getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL método
• [SPARK-43447] [SC-131017][r] Compatibilidad con R 4.3.0
• [SPARK-43425] [SC-130981][sql] Agregar TimestampNTZType a ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Agregar comprobación de las operaciones que implican varios marcos de datos
• [SPARK-43262] [SC-129270][connect][SS][python] Migración de errores de Spark Connect Structured Streaming a la clase de error
• [SPARK-42992] [13.x][sc-129465][PYTHON] Introducción de PySparkRuntimeError
• [SPARK-43422] [SC-130982][sql] Mantener etiquetas en LogicalRelation con salida de metadatos
• [SPARK-43390] [ SC-130646][sql] DSv2 permite que CTAS/RTAS reserve la nulabilidad del esquema.
• [SPARK-43430] [ SC-130989][connect][PROTO] ExecutePlanRequest admite opciones de solicitud arbitrarias.
• [SPARK-43313] [SC-130254][sql] Agregar los valores predeterminados de columna que faltan a las acciones MERGE INSERT
• [SPARK-42842] [SC-130438][sql] Combine la clase de error _LEGACY_ERROR_TEMP_2006 en REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Habilitar spark.sql.thriftServer.interruptOnCancel de forma predeterminada
• [SPARK-43292] [SC-130525][core][CONNECT] Se movió ExecutorClassLoader al módulo core y se simplificó Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Mejorar la compatibilidad con el tipo TimestampNTZ en el origen de datos JDBC
• [SPARK-43343] [SC-130629][ss] FileStreamSource debe deshabilitar una comprobación global de archivo adicional al crear DataSource
• [SPARK-43312] [ SC-130294][protobuf] Opción para convertir cualquier campo en JSON
• [SPARK-43404] [ SC-130586][ss] Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB para evitar errores de coincidencia de identificador
• [SPARK-43397] [ SC-130614][core] Registrar la duración de la retirada del ejecutor en el método executorLost
• [SPARK-42388] [SC-128568][sql] Evitar que el lector vectorizado lea el pie de parquet dos veces
• [SPARK-43306] [13.x][sc-130320][PYTHON] Migrar ValueError de los tipos de Spark SQL a la clase de error
• [SPARK-43337] [ SC-130353][ui][3.4] Los iconos de flecha asc/desc para la columna de ordenación no se muestran en la columna de tabla
• [SPARK-43279] [SC-130351][core] Limpieza de miembros no utilizados de SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Reemplace la clase _LEGACY_ERROR_TEMP_2014 de error por un error interno.
• [SPARK-43363] [SC-130299][sql][PYTHON] Realizar una llamada a astype al tipo de categoría solo cuando no se proporciona el tipo de flecha
• [SPARK-43261] [SC-130154][python] Migrar TypeError de tipos SQL de Spark a una clase de error
• [SPARK-41971] [SC-130230][sql][PYTHON] Agregar una configuración para la conversión de pandas sobre cómo manejar los tipos de estructuras
• [SPARK-43381] [SC-130464][connect] Convertir ‘transformStatCov’ diferida
• [SPARK-43362] [SC-130481][sql] Control especial del tipo JSON para el conector MySQL
• [SPARK-42843] [SC-130196][sql] Actualización de la clase de error _LEGACY_ERROR_TEMP_2007 a REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] Streaming de relaciones locales
• [SPARK-43181] [SC-130476][sql] Mostrar URL de la interfaz de usuario en el shell spark-sql
• [SPARK-43051] [SC-130194][connect] Agregar opción para emitir valores predeterminados
• [SPARK-43204] [SC-129296][sql] Alinear asignaciones MERGE con atributos de tabla
• [SPARK-43348] [SC-130082][python] Compatibilidad con Python 3.8 en PyPy3
• [SPARK-42845] [SC-130078][sql] Actualizar la clase de error _LEGACY_ERROR_TEMP_2010 a InternalError
• [SPARK-43211] [SC-128978][hive] Eliminación de la compatibilidad con Hadoop2 en IsolatedClientLoader

Entorno del sistema

• Sistema operativo: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 10-02-2023.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)