Databricks Runtime 13.3 LTS (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 13.3 LTS, con tecnología de Apache Spark 3.4.1.

Esta versión incorpora todas las características, mejoras y correcciones de errores de todas las versiones anteriores de Databricks Runtime. Databricks publicó esta versión en agosto de 2023.

Nuevas características y mejoras

• Compatibilidad de Scala con clústeres compartidos
• La lista de permitidos para scripts de inicio, archivos JAR y coordenadas de Maven en clústeres estándar de Unity Catalog (anteriormente clústeres compartidos) se encuentra en versión preliminar pública
• La compatibilidad de los volúmenes con scripts de inicio y archivos JAR se encuentra en versión preliminar pública
• Las conversiones seguras están habilitadas de forma predeterminada para las operaciones de Delta Lake
• Presentación de etiquetas con Unity Catalog
• Databricks Runtime devuelve un error si se modifica un archivo entre el planeamiento y la invocación de consultas
• Prevenir la sobrescritura del esquema al usar sobrescrituras de partición dinámica
• Integración de copyFile API en dbutils.fs.cp
• Compatibilidad con el controlador ODBC/JDBC de Databricks
• Compatibilidad con marcadores de parámetro sin nombre (posicionales)
• Habilitación del etiquetado de columnas de serie temporal
• Nuevas funciones bitmap de SQL
• Funciones de cifrado mejoradas
• Compatibilidad de Unity Catalog con REFRESH FOREIGN
• INSERT POR NOMBRE
• Compartir vistas materializadas con Delta Sharing

compatibilidad de Scala con clústeres compartidos

Los clústeres compartidos habilitados para El catálogo de Unity son ahora compatibles con Scala si se usa Databricks Runtime 13.3 y versiones posteriores.

La lista de permisos para scripts de inicialización, JAR y coordenadas de Maven en clústeres estándar de Unity Catalog (anteriormente clústeres compartidos) está en versión de prueba pública.

Ahora puede usar el catálogo de Unity allowlist para controlar la instalación de scripts de inicialización, JARs y coordenadas de Maven en procesos de cálculo con el modo de acceso estándar, ejecutando Databricks Runtime 13.3 y versiones posteriores. Consulte Lista de permitidos de bibliotecas y scripts de inicialización en procesos con el modo de acceso estándar (anteriormente modo de acceso compartido).

La compatibilidad de volúmenes con scripts de inicialización y JAR está en versión preliminar pública

Ahora puedes utilizar los volúmenes de Unity Catalog para almacenar scripts de inicio y archivos JAR en recursos de proceso con modos de acceso dedicados o estándar que ejecuten Databricks Runtime 13.3 o superior. Consulte ¿Dónde se pueden instalar los scripts de inicialización? y Bibliotecas con ámbito de proceso.

Conversiones seguras habilitadas de forma predeterminada para las operaciones de Delta Lake

Las operaciones de Delta UPDATE y MERGE ahora producen un error cuando los valores no se pueden convertir de forma segura al tipo en el esquema de la tabla de destino. Todas las conversiones implícitas de Delta ahora siguen spark.sql.storeAssignmentPolicy en lugar de spark.sql.ansi.enabled. Consulte Cumplimiento de ANSI en Databricks Runtime.

Presentación de etiquetas con Unity Catalog

Con Databricks Runtime 13.3 LTS y versiones posteriores, puede aplicar etiquetas a los objetos protegibles. Las etiquetas le ayudan a organizar objetos protegibles y a simplificar la búsqueda y la detección de los recursos de datos. Consulte Aplicar etiquetas a objetos protegibles de Unity Catalog.

Databricks Runtime devuelve un error si se modifica un archivo entre el planeamiento y la invocación de consultas

Ahora, las consultas de Databricks Runtime devuelven un error si se actualiza un archivo entre el planeamiento y la invocación de consultas. Antes de este cambio, Databricks Runtime leía un archivo entre estas fases, lo que podía causar ocasionalmente resultados impredecibles.

Impedir la sobrescritura del esquema al usar sobrescrituras de partición dinámica

No se puede pasar de overwriteSchema a true en combinación con las sobrescrituras de particiones dinámicas en Delta Lake. Así se evitan posibles daños en la tabla debido a errores de coincidencia de esquema. Consulte Reescritura de particiones dinámicas con partitionOverwriteMode (heredado).

Integración de copyFile API en dbutils.fs.cp

El comando de copia dbutils, dbutils.fs.cp, está ahora optimizado para una copia más rápida. Con esta mejora, las operaciones de copia pueden ser hasta 100 veces más rápidas, en función del tamaño del archivo. Esta característica está disponible en todos los sistemas de archivos accesibles en Azure Databricks, incluidos los volúmenes de Unity Catalog y los montajes del sistema de archivos de Databricks.

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC y JDBC publicados en los últimos 2 años. Descargue el controlador más reciente en Descargar controlador ODBC y Descargar controlador JDBC.

Compatibilidad con marcadores de parámetro sin nombre (posicionales)

La API SparkSession.sql() admite ahora consultas parametrizadas mediante la sintaxis ?, además de las parametrizadas mediante la sintaxis :parm. Consulte los marcadores de parámetros.

Habilitación del etiquetado de columnas de serie temporal

Ahora puede etiquetar columnas de serie temporal al crear restricciones de clave principal.

Nuevas funciones de mapa de bits de SQL

Azure Databricks ahora proporcionó un conjunto de funciones que se pueden usar para asignar valores numéricos enteros a un mapa de bits y agregarlos. Esta función puede usarse para ejecutar un cálculo previo del número de valores distintos.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Funciones de cifrado mejoradas

Se han mejorado las funciones aes_encrypt, aes_decrypt y try_aes_decrypt con compatibilidad con vectores de inicialización (IV) y datos adicionales autenticados (AAD).

Compatibilidad del catálogo de Unity con REFRESH FOREIGN

Ahora puede actualizar catálogos, esquemas y tablas externos en el catálogo de Unity mediante REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA y REFRESH FOREIGN TABLE. Vea REFRESH FOREIGN (CATALOG, SCHEMAy TABLE).

INSERT POR NOMBRE

Al insertar filas en una tabla, ahora puede permitir que Azure Databricks asigne automáticamente las columnas y campos de la consulta de origen a las columnas de la tabla según su nombre. Véase INSERT INTO.

Compartir vistas materializadas con Delta Sharing

La instrucción ALTER SHARE es ahora compatible con las vistas materializadas.

Cambios disruptivos

Cambios en la conversión implícita al almacenar filas en una tabla con MERGE INTO y UPDATE

Azure Databricks ahora sigue la configuración spark.sql.storeAssignmentPolicy para la conversión implícita al almacenar filas en una tabla. El valor predeterminado ANSI produce un error al almacenar valores que desbordan. Anteriormente, los valores se almacenarían como NULL de forma predeterminada.

Como en el ejemplo siguiente, puede solucionar los desbordamientos reescribiendo la tabla para usar un tipo más amplio para la columna que provoca el error.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Cambios de inferencia de esquema Parquet

Al deducir esquemas de archivos Parquet no escritos por Spark, las columnas de marca de tiempo int64 anotadas con isAdjustedToUTC=false ahora serán de tipo TIMESTAMP_NTZ por defecto. Anteriormente, estos se inferían como tipo TIMESTAMP. Esta actualización mejora la precisión de la asignación de tipos Parquet a tipos de Spark SQL.

Como resultado, la lectura de datos de archivos de Parquet externos en una tabla Delta puede provocar un error si la característica timestampNtz no está habilitada. El error se mostrará de la siguiente manera:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para mantener el comportamiento anterior y evitar este error, puede establecer el parámetro de configuración de Spark spark.sql.parquet.inferTimestampNTZ.enabled en false.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • debugpy de 1.5.1 a 1.6.0
  • distlib de 0.3.6 a 0.3.7
  • fastjsonschema de 2.16.3 a 2.18.0
  • filelock de 3.12.0 a 3.12.2
• Bibliotecas de R actualizadas:
  • SparkR de 3.4.0 a 3.4.1
• Bibliotecas de Java actualizadas:
  • org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
  • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.xerial.snappy.snappy-java de 1.1.8.4 a 1.1.10.1

Apache Spark

Databricks Runtime 13.3 incluye Apache Spark 3.4.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en la versión anterior, así como las siguientes:

• Ahora se puede establecer la variable de entorno de clúster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar el conector Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] Reversión de «[SC-133100][sql] Corrección de la conversión de tipos de datos de Avro…
• [SPARK-44504] [Backport][13.2][13.x][13.3] Descargar el proveedor, forzando así el cierre de la instancia de la base de datos y liberando recursos en caso de error en la tarea de mantenimiento
• [SPARK-44059] [SC-137023] Se ha agregado compatibilidad con analizadores de argumentos con nombre para funciones integradas.
• [SPARK-44485] [SC-137653][sql] Optimiza TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][ss][PYTHON] Streaming foreachBatch en Python
• [SPARK-44446] [SC-136994][python] Agregar comprobaciones para casos especiales de tipo de lista esperados
• [SPARK-44439] [SC-136973][CONNECT][SS]listListeners fijos para enviar identificadores de vuelta al cliente
• [SPARK-44216] [SC-136941] [PYTHON] Hacer pública la API assertSchemaEqual
• [SPARK-44201] [SC-136778][connect][SS]Agregar compatibilidad con el agente de escucha de streaming en Scala para Spark Connect
• [SPARK-43915] [SC-134766][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Revertir “[SC-133990][sql][PYTHON] Compatibilidad con funciones de tabla definidas por usuario en Python”
• [SPARK-44398] [SC-136720][connect] API foreachBatch de Scala
• [SPARK-44476] [SC-137169][core][CONNECT] Corrección de la población de artefactos para un JobArtifactState sin ningún artefacto asociado
• [SPARK-44269] [SC-135817][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [ SC-136744][sql] Actualizar argumentos de TVF para requerir paréntesis alrededor del identificador después TABLE de la palabra clave
• [SPARK-43915] [SC-134766][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Agregar compatibilidad con UDFRegistration al cliente de Connect Scala
• [SPARK-44109] [SC-134755][core] Eliminar ubicaciones preferidas duplicadas de cada partición de RDD
• [SPARK-44169] [SC-135497][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][connect] API foreachBatch de Scala
• [SPARK-44153] [SC-134977][core][UI] Compatibilidad con la columna Heap Histogram en la pestaña Executors
• [SPARK-44044] [ SC-135695][ss] Mejorar el mensaje de error para las funciones de ventana con streaming
• [SPARK-43914] [SC-135414][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][python] Permitir una precisión personalizada para la igualdad aproximada en formato de punto flotante
• [SPARK-44370] [SC-136575][connect] Migrar la generación remota de Buf (versión alfa) a los complementos remotos
• [SPARK-44410] [SC-136930][python][CONNECT] Establecer sesión activa en create, no solo getOrCreate
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Volver a activar test_artifact con cambios pertinentes
• [SPARK-44145] [SC-136698][sql] Devolución de llamada cuando esté lista para su ejecución
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler Clase
• [SPARK-43986] [SC-135623][sql] Crear clases de error para errores de llamada de función HyperLogLog
• [SPARK-44139] [SC-134967][sql] Descartar los filtros completamente trasladados en operaciones MERGE basadas en grupos
• [SPARK-44338] [SC-136718][sql] Corrección del mensaje de error por desajuste de esquema de vista
• [SPARK-44208] [ SC-135505][core][SQL] Asignar nombres de clase de error claros para alguna lógica que use directamente excepciones
• [SPARK-44364] [SC-136773] [PYTHON] Añadir compatibilidad con el tipo de datos List[Row] para el valor esperado
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils debe aplicar ResolveTimeZone
• [SPARK-43389] [SC-136772][sql] Se ha agregado una comprobación nula para la opción lineSep.
• [SPARK-44388] [SC-136695][connect] Corregir el problema de conversión de Protobuf cuando se actualiza una instancia de UDF
• [SPARK-44352] [SC-136373][connect] Restablecer sameType y similares en DataType.
• [SPARK-43975] [ SC-134265][sql] DataSource V2: Gestionar UPDATE comandos para orígenes basados en grupos
• [SPARK-44360] [SC-136461][sql] Compatibilidad con la poda de esquemas en operaciones MERGE basadas en deltas
• [SPARK-44138] [SC-134907][sql] Prohibir expresiones no deterministas, subconsultas y agregados en condiciones MERGE
• [SPARK-43321] [SC-136678][connect][Followup] Mejores nombres para las API utilizadas en el cliente Scala joinWith
• [SPARK-44263] [SC-136447][connect] Compatibilidad con interceptores personalizados
• [SPARK-39851] [SC-123383][sql] Mejorar la estimación de las estadísticas de unión si uno de los lados puede mantener la unicidad
• [SPARK-44390] [ SC-136677][core][SQL] Cambiar el nombre SparkSerDerseUtils a SparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] Asignar nombre & mejorar el mensaje de error para los errores LEGACY frecuentes.
• [SPARK-44322] [SC-136204][connect] Hacer que el analizador use SqlApiConf en lugar de SQLConf.
• [SPARK-44271] [SC-136347][sql] Mover funciones de valores predeterminados de StructType a ResolveDefaultColumns
• [SPARK-44332] [SC-136413][core][WEBUI] Corrección del error de ordenación de la columna de identificador de ejecutor en la página de la interfaz de usuario de Ejecutores
• [SPARK-44282] [SC-135948][connect] Preparar el análisis de DataType para su uso en el cliente Scala de Spark Connect
• [SPARK-44349] [SC-136581][r] Agregar funciones matemáticas a SparkR
• [SPARK-44397] [SC-136647][python] Exponer assertDataFrameEqual en pyspark.testing.utils
• [SPARK-42981] [SC-136620][connect] Añadir serialización directa de flechas
• [SPARK-44373] [SC-136577][sql] Envolver con `withActive` la API de Dataset con lógica de análisis para que funcione la configuración relacionada con el analizador
• [SPARK-44340] [ SC-136574][sql] Definir la lógica informática a través de partitionEvaluator API y usarla en WindowGroupLimitExec
• [SPARK-43665] [SC-136573][connect][PS] Habilitar PandasSQLStringFormatter.vformat para trabajar con Spark Connect
• [SPARK-44325] [SC-136572][sql] Utilizar la API de PartitionEvaluator en SortMergeJoinExec
• [SPARK-44315] [SC-136171][sql][CONNECT] Trasladar DefinedByConstructorParams hacia sql/api
• [SPARK-44275] [SC-136184][connect] Adición del mecanismo de reintento configurable a Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] Mover las utilidades utilizadas desde el cliente de Scala a los módulos comunes
• [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][connect] Preparar ScalaReflection para la transición hacia SQL/API
• [SPARK-44313] [SC-136081][sql] Corregir la validación de expresiones de columna generadas cuando hay una columna char/varchar en el esquema
• [SPARK-43963] [SC-134145][sql] DataSource V2: Controlar comandos MERGE para orígenes basados en grupos
• [SPARK-44363] [SC-136433] [PYTHON] Mostrar porcentaje de filas desiguales en la comparación de DataFrame
• [SPARK-44251] [SC-136432][sql] Establecer correctamente la posibilidad de ser nulo en la clave de unión fusionada en una unión USING externa completa
• [SPARK-43948] [SC-133366][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Agregar hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt a Scala y Python
• [SPARK-44351] [SC-136353][sql] Simplificación sintáctica
• [SPARK-44281] [SC-135963][sql] Trasladar el error de QueryCompilation utilizado por DataType a sql/api como DataTypeErrors
• [SPARK-44283] [SC-136109][connect] Trasladar Origin a SQL/API
• [SPARK-43926] [SC-135590][connect][PYTHON] Agregar matrizagg, array_size, cardinalidad, count_min_sketch, mask, named_struct y json* a Scala y Python
• [SPARK-44327] [SC-136187][sql][CONNECT] Agregar funciones any y len a Scala
• [SPARK-44290] [SC-136300][CONNECT] Archivos y archivos basados en sesión en Spark Connect
• [SPARK-44061] [SC-136299][python] Agregar la función assertDataFrameEqual util
• [SPARK-44331] [SC-136324][connect][PYTHON] Agregar funciones de mapa de bits a Scala y Python
• [SPARK-44342] [SC-136334][sql] Reemplazar SQLContext por SparkSession para GenTPCDSData
• [SPARK-42583] [SC-124190][sql] Eliminar la unión externa si todas son funciones agregadas distintas
• [SPARK-44333] [SC-136206][connect][SQL] Mover EnhancedLogicalPlan fuera de ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Agregar funciones try_* a Scala y Python
• [SPARK-44193] [SC-135886][connect] Implementar la interceptación de excepciones GRPC para la conversión
• [SPARK-44284] [SC-136107][connect] Creación de un sistema de conf simple para sql/api
• [SPARK-43913] [SC-133368][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Revertir “[SC-135924][spark-43416][CONNECT] Corregir un esquema incorrecto en una consulta de rango”
• [SPARK-44312] [SC-136185][connect][PYTHON] Permitir establecer un agente de usuario con una variable de entorno
• [SPARK-44154] [SC-136060] Implementar funciones de mapa de bits
• [SPARK-43885] [ SC-133996][sql] DataSource V2: Controlar comandos MERGE para orígenes basados en delta
• [SPARK-43924] [SC-135161][connect][PYTHON] Agregar funciones misc a Scala y Python
• [SPARK-43969] [ SC-134556][sql] Refactorizar y asignar nombres a la clase de error _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] Corregir la calificación incoherente de rutas entre las operaciones de catálogo y de datos
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Agregar funciones de fecha y hora a Scala, Python y Conectar: parte 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Agregar funciones de cadena a Scala y Python: parte 1
• [SPARK-44266] [SC-135813][sql] Trasladar Util.truncatedString a sql/api
• [SPARK-44195] [SC-135722][r] Agregar las APIs de JobTag a SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] Admite la regla de análisis de argumentos TABLE para TableValuedFunction
• [SPARK-44254] [SC-135709][sql] Trasladar los errores de ejecución de consultas (QueryExecutionErrors) utilizados por DataType a sql/api como DataTypeErrors
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] Corregir un esquema incorrecto para la consulta de intervalos
• [SPARK-43922] [SC-135612][sql] Agregar compatibilidad con parámetros con nombre en el analizador para llamadas de función
• [SPARK-44300] [SC-135882][connect] Corregir la limpieza de artefactos limitando el ámbito de eliminación a los artefactos específicos de la sesión
• [SPARK-44293] [SC-135849][connect] Corrección de un URI no válido para jaR personalizados en Spark Connect
• [SPARK-44215] [SC-135850][shuffle] Si los fragmentos numéricos son 0, el servidor debe producir una excepción RuntimeException.
• [SPARK-44245] [SC-135851][python] doctests de pyspark.sql.dataframe sample() deben ser solo ilustrativos
• [SPARK-44274] [SC-135814][connect] Trasladar las funciones de utilidades utilizadas por ArtifactManager a common/utils
• [SPARK-44194] [SC-135815][python][CORE] Agregar APIs de JobTag a PySpark SparkContext
• [SPARK-42828] [SC-135733][python][SQL] Anotaciones de tipo Python explícitas para GroupedData
• [SPARK-44079] [SC-135486][sql] Corrección ArrayIndexOutOfBoundsException al analizar la matriz como estructura mediante el modo PERMISSIVE con registro dañado
• [SPARK-44255] [SC-135809][sql] Reubicación de StorageLevel en common/utils
• [SPARK-42169] [SC-135795][SQL] Incorporar la generación de código a la función to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refactorizar PythonUDTFRunner para enviar su tipo de retorno por separado
• [SPARK-43353] [SC-132734][python] Migre los errores de sesión restantes a la clase de error.
• [SPARK-44211] [SC-135718][python][CONNECT] Implementar SparkSession.is_stopped
• [SPARK-42784] [SC-135691] debería seguir creando subDir cuando el número de subDir en el directorio de fusión sea inferior al valor de configuración
• [SPARK-41599] [SC-135616] Pérdida de memoria en FileSystem.CACHE al enviar aplicaciones para proteger el clúster mediante InProcessLauncher
• [SPARK-44241] [SC-135613][core] Si se establecen por error los valores de `io.connectionTimeout` o `connectionCreationTimeout` en cero o en un valor negativo, se producirán creaciones y destrucciones incesantes de ejecutores
• [SPARK-44133] [SC-134795][13.x][PYTHON] Actualizar MyPy de 0,920 a 0,982
• [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde en formato JSON
• [SPARK-44188] [ SC-135173][core] Quitar método inútil resetAllPartitions en ActiveJob
• [SPARK-43757] [SC-135418][connect] Cambiar la compatibilidad de cliente de la lista de permitidos a la lista de denegación
• [SPARK-43474] [SC-135521] [SS] [CONNECT] Añadir un acceso de Spark Connect a los Dataframes en tiempo de ejecución por ID.
• [SPARK-44183] [SC-135209][python] Incrementar PyArrow la versión mínima a 4.0.0
• [SPARK-44248] [ SC-135554][ss][SQL][kafka] Agregar ubicación preferida en el origen de kafka v2
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Agregar funciones de fecha y hora a Scala, Python y Connect API: parte 1
• [SPARK-44161] [SC-135326][connect] Administrar la entrada de filas para las UDF
• [SPARK-44227] [SC-135520][sql] Extraer SchemaUtils de StructField
• [SPARK-44064] [SC-135116][core][SQL] Agregar una nueva apply función a NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2279-2282] y eliminar algunas clases de error sin usar
• [SPARK-44056] [SC-134758][sql] Incluir el nombre de la UDF en el mensaje de error de fallo de ejecución de la UDF cuando esté disponible
• [SPARK-44205] [SC-135422][sql] Extraer el código de Catalyst de DecimalType
• [SPARK-44220] [SC-135484][sql] Trasladar StringConcat a sql/api
• [SPARK-44146] [SC-135230][connect] Aislar los archivos JAR y de clases de la sesión de Spark Connect
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr ámbito Session.active
• [SPARK-40850] [SC-135417][sql] Corregir que las consultas interpretadas de los casos de prueba puedan ejecutar Codegen
• [SPARK-44204] [SC-135253][sql][HIVE] Añadir el `recordHiveCall` que faltaba para `getPartitionNames`
• [SPARK-44237] [SC-135485][core] Simplificación de la lógica de búsqueda del constructor DirectByteBuffer
• [SPARK-44189] [SC-135170][connect][PYTHON] Admite parámetros posicionales por sql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Admite parámetros posicionales en Python sql()
• [SPARK-44164] [SC-135158][sql] Extraer el método toAttribute de StructField a la clase Util
• [SPARK-44178] [SC-135113][connect] Admite parámetros posicionales en sql()
• [SPARK-43208] [ SC-128955][sql][HIVE] IsolatedClassLoader debe cerrar la clase de barrera InputStream después de leer
• [SPARK-43063] [SC-128382][sql] df.show El tratamiento de valores nulos debería mostrar «NULL» en lugar de «null»
• [SPARK-42539] [SC-124464][sql][HIVE] Eliminar el cargador de clases independiente al usar la versión de Hive "builtin" para el cliente de metadatos
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listFunctions
• [SPARK-44066] [SC-134878][sql] Admite parámetros posicionales en Scala/Java sql()
• [SPARK-44078] [SC-134869][connect][CORE] Agregar compatibilidad para el cargador de clases/aislamiento de recursos
• [SPARK-43470] [SC-135187][core] Agregar información de versión del sistema operativo, Java, Python al registro de aplicaciones
• [SPARK-43136] [SC-135238][connect][Seguimiento] Se añaden pruebas para KeyAs
• [SPARK-39740] [SC-135093][ui]: Actualizar vis timeline a 7.7.2 para corregir CVE-2020-28487
• [SPARK-42298] [SC-133952][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listTables
• [SPARK-44026] [SC-135181] Permitir proporcionar valor inicial para SQLMetrics
• [SPARK-44202] [SC-135244][core] Añadir las API de JobTag a JavaSparkContext
• [SPARK-44030] [SC-135237][sql] Implementar DataTypeExpression para ofrecer la función Unapply para expresiones
• [SPARK-43876] Revert "[SC-134603][sql] Enable fast hashmap for distinct queries" (Revertir "[SC-134603][sql] Habilitar mapa hash rápido para consultas distintas"
• [SPARK-40082] [SC-126437] Programar mergeFinalize cuando se reintenta el push merge shuffleMapStage pero no hay tareas en ejecución
• [SPARK-43888] [SC-132893][core] Reubicar el registro en common/utils
• [SPARK-43474] [SC-134400] [SS] [CONNECT] Agregar SessionHolder a SparkConnectPlanner
• [SPARK-43944] [SC-134490][connect][PYTHON] Agregar funciones de cadena a Scala y Python: parte 2
• [SPARK-44134] [SC-134954][core] Corregir la asignación de recursos (GPU/FPGA) a 0 cuando están establecidos en spark-defaults.conf
• [SPARK-44142] [SC-134947][python] Reemplace el tipo por tpe en la utilidad para convertir tipos de Python en tipos spark
• [SPARK-43952] [SC-134695][core][CONNECT][sql] Agregar API de SparkContext para la cancelación de consultas por etiqueta
• [SPARK-44000] [SC-133634][sql] Añadir una sugerencia para desactivar la difusión y la replicación de un lado de la unión
• [SPARK-43937] [SC-134362][connect][PYTHON] Agregar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala y Python
• [SPARK-43624] [13.x][sc-134557][PS][connect] Añadir EWM a SparkConnectPlanner.
• [SPARK-44040] [SC-134366][sql] Corregir el cálculo de estadísticas cuando el nodo AggregateExec está encima de QueryStageExec
• [SPARK-43485] [SC-131264][sql] Corrección del mensaje de error para el unit argumento de las funciones datetime add/diff
• [SPARK-43794] [SC-132561][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][connect][SS]Se han implementado las API MapGroupsWithState y FlatMapGroupsWithState para Spark Connect
• [SPARK-43529] [SQL] Compatibilidad con expresiones CREATE/REPLACE TABLE OPTIONS + limpieza del código
• [SPARK-44106] [SC-134750][python][CONNECT] Agregar __repr__ para GroupedData
• [SPARK-42299] [SC-133190] Asignar nombre a _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [ SC-134388][sql] Agrega compatibilidad con aes_encrypt IVs y AAD
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Agregue current como funciones a Scala y Python
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Agregar funciones regexp_* a Scala y Python
• [SPARK-44107] [SC-134746][connect][PYTHON] Ocultar los métodos de columna no compatibles del autocompletado
• [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde en formato JSON
• [SPARK-43773] [ SC-132659][connect][PYTHON] Implementación de funciones "levenshtein(str1, str2[, threshold])" en el cliente de Python
• [SPARK-44125] [SC-134745][r] Compatibilidad con Java 21 en SparkR
• [SPARK-43919] [SC-133374][sql] Extraer la funcionalidad JSON del objeto Row
• [SPARK-43769] [SC-132520][connect] Implementar las funciones «levenshtein(str1, str2[, threshold])»
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer para mostrar algunos estados de lectura
• [SPARK-43876] [SC-134603][sql] Habilitar la tabla hash rápida para consultas únicas
• [SPARK-44024] [SC-134497][sql] Cambio para usar map cuando unzip solo se usa para extraer un único elemento
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Agregar operaciones de bits a Scala, Python y Connect API
• [SPARK-44092] [SC-134506][core] Agregar Utils.isJavaVersionAtLeast21 y hacer que core el módulo pase con Java 21
• [SPARK-44018] [SC-134512][sql] Mejorar el código hash y toString para algunas expresiones de DS V2
• [SPARK-44105] [SC-134582][sql] LastNonNull debería resolverse de forma diferida
• [SPARK-44081] [SC-134434] Simplificación de la API PartitionedFileUtil un poco
• [SPARK-43791] [SC-132531][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Definir y usar rasgos de Nodo no resuelto [Hoja|Unario].
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] Refactorizar la resolución del valor predeterminado de columna
• [SPARK-43493] [SC-132063][sql] Agregar un argumento de distancia máxima a la función levenshtein()
• [SPARK-44075] [SC-134382][connect] Hacer que transformStatCorr sea diferido
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Añadir some, bool_or, bool_and y every a Scala, Python y Connect
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Agregar funciones make_* a Scala y Python
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] Mejorar los mensajes de error: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, . CANNOT_RECOGNIZE_HIVE_TYPE
• [SPARK-43938] [SC-133887][connect][PYTHON] Agregar funciones to_* a Scala y Python
• [SPARK-44055] [ SC-134321][core] Quitar funciones redundantes override de CheckpointRDD
• [SPARK-43802] [SC-132597][sql] Corrección de codegen para unhex y unbase64 con failOnError=true
• [SPARK-43798] [SC-133990][sql][PYTHON] Compatibilidad con Python funciones de tabla definidas por el usuario
• [SPARK-43941] [SC-134286][sql][PYTHON] [connect] Añadir any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value y reduce a las API de Scala, Python y Connect
• [SPARK-43380] [SC-133100][sql] Corregir problemas de conversión de tipos de datos avro para evitar generar resultados incorrectos
• [SPARK-43803] [SC-133729] [SS] [CONNECT] Mejorar awaitTermination() para controlar las desconexiones del cliente
• [SPARK-43179] [ SC-129070][shuffle] Permitir que las aplicaciones controlen si sus metadatos se guardan en la base de datos mediante el Servicio de Barajado Externo

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Consulta las actualizaciones de mantenimiento de Databricks Runtime 13.3 LTS.

Entorno del sistema

• Sistema operativo: Ubuntu 22.04.2 LTS
  • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de Databricks Runtime se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar una versión de Ubuntu o una distribución de Linux diferente.
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)