create_streaming_table

Utiliza la create_streaming_table() función en una canalización para crear una tabla de destino para los registros generados por operaciones de streaming realizadas, incluidas create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() y registros de salida de append_flow.

Nota:

Las funciones create_target_table() y create_streaming_live_table() están en desuso. Databricks recomienda actualizar el código existente para usar la función create_streaming_table().

Syntax

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = False,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause",
  private = False
)

Parámetros

Parámetro Tipo Description
name str Obligatorio. El nombre de la tabla.
comment str Una descripción de la tabla.
spark_conf dict Lista de configuraciones de Spark para la ejecución de esta consulta
table_properties dict Una dict de las propiedades de la tabla para la tabla.
path str Una ubicación de almacenamiento para los datos de tabla. Si no se establece, use la ubicación de almacenamiento administrada para el esquema que contiene la tabla.
partition_cols list Lista de una o varias columnas que se van a usar para crear particiones en la tabla.
cluster_by_auto bool Habilite la agrupación automática de líquidos en la tabla. Esto se puede combinar con cluster_by y definir las columnas que se van a usar como claves de agrupación en clústeres iniciales, seguidas de las actualizaciones de supervisión y selección automática de claves en función de la carga de trabajo. Consulte Agrupación automática de líquidos.
cluster_by list Habilite la agrupación en clústeres líquidos en la tabla y defina las columnas que se usarán como claves de agrupación en clústeres. Consulte Uso de clústeres líquidos para tablas.
schema str o StructType Definición de esquema para la tabla. Los esquemas se pueden definir como una cadena de DDL de SQL o con un StructType de Python.
expect_all, , expect_all_or_drop, expect_all_or_fail dict Restricciones de calidad de datos para la tabla. Proporciona el mismo comportamiento y usa la misma sintaxis que las funciones de decorador de expectativas, pero se implementa como un parámetro. Consulte Expectativas.
row_filter str (Versión preliminar pública) Una cláusula de filtro de fila para la tabla. Vea Publicación de tablas con filtros de fila y máscaras de columna.
private bool Cuando True, crea una tabla de streaming privada que no se publica en el catálogo y solo es accesible dentro de la pipeline. Las tablas privadas de streaming persisten durante toda la vida útil del pipeline. Las tablas de streaming privadas se crearon anteriormente con el temporary parámetro . Tiene como valor predeterminado False.
  • Last updated on