Crear reglas de patrón de conjunto de recursos

Los sistemas de procesamiento de datos a escala suelen almacenar una sola tabla en el almacenamiento como varios archivos. Este concepto se representa en Microsoft Purview mediante conjuntos de recursos. Un conjunto de recursos es un único objeto del Catálogo unificado de Microsoft Purview que representa un gran número de recursos de almacenamiento. Para obtener más información, consulte Descripción de los conjuntos de recursos.

Al analizar una cuenta de almacenamiento, Microsoft Purview usa un conjunto de patrones definidos para determinar si un grupo de activos es un conjunto de recursos. En algunos casos, es posible que la agrupación del conjunto de recursos no refleje con precisión su patrimonio de datos. Las reglas de patrón de conjunto de recursos le permiten personalizar o invalidar la forma en que Microsoft Purview detecta qué activos se agrupan como conjuntos de recursos y cómo se muestran en el catálogo.

Las reglas de patrón se admiten actualmente en los siguientes tipos de origen:

• Azure Data Lake Storage Gen2
• Azure Blob Storage
• Azure Files
• Amazon S3

El conjunto de características Conjunto avanzado de recursos debe estar habilitado para crear reglas de patrón de conjunto de recursos. Para obtener más información, consulte Descripción de los conjuntos de recursos avanzados.

Cómo crear una regla de patrón de conjunto de recursos

Siga los pasos siguientes para crear una nueva regla de patrón de conjunto de recursos:

1. Vaya a Mapa de datos y seleccione Administración de origen, seleccione Reglas de patrón y, a continuación, seleccione Nuevo para crear un nuevo conjunto de reglas.

2. Especifique el ámbito de la regla de patrón del conjunto de recursos. Seleccione el tipo de cuenta de almacenamiento y el nombre de la cuenta de almacenamiento en la que desea crear un conjunto de reglas. Cada conjunto de reglas se aplica en relación con un ámbito de ruta de acceso de carpeta especificado en el campo Ruta de acceso de carpeta .

   

3. Para especificar una regla para un ámbito de configuración, seleccione + Nueva regla.

4. Especifica los siguientes campos para crear una regla:

   1. Nombre de la regla: El nombre de la regla de configuración. Este campo no tiene ningún efecto sobre los recursos a los que se aplica la regla.

   2. Nombre completo: Una ruta de acceso calificada que utiliza una combinación de texto, sustitutos dinámicos y sustitutos estáticos para hacer coincidir los activos con la regla de configuración. Esta ruta de acceso es relativa al ámbito de la regla de configuración. Consulte la sección de sintaxis siguiente para obtener instrucciones detalladas sobre cómo especificar los nombres completos.

   3. Nombre para mostrar: El nombre para mostrar del recurso. Este campo es opcional. Utilice texto sin formato y sustitutos estáticos para personalizar cómo se muestra un activo en el catálogo. Para obtener instrucciones más detalladas, consulte la sección de sintaxis siguiente.

   4. No agrupar como conjunto de recursos: Si se habilita, los recursos emparejados no se agruparán en un conjunto de recursos.

      

5. Para guardar la regla, seleccione Agregar.

Sintaxis de las reglas de patrón

Al crear reglas de patrón de conjunto de recursos, use la sintaxis siguiente para especificar a qué activos se aplican las reglas.

Sustitutos dinámicos (brackets simples)

Los corchetes simples se utilizan como sustitutos dinámicos en una regla de patrón. Especifique un sustituto dinámico en el nombre completo mediante {<replacerName>:<replacerType>}formato . Si coinciden, los sustitutos dinámicos se usan como una condición de agrupación que indica que los activos deben representarse como un conjunto de recursos. Si los activos se agrupan en un conjunto de recursos, la ruta de acceso calificada del conjunto de recursos contendrá {replacerName} dónde se especificó el reemplazo.

Por ejemplo, si dos activos folder1/file-1.csv coinciden folder2/file-2.csv con la regla {folder:string}/file-{NUM:int}.csv, el conjunto de recursos sería una sola entidad {folder}/file-{NUM}.csv.

Caso especial: sustitutos dinámicos cuando no se agrupan en un conjunto de recursos

Si No agrupar como conjunto de recursos está habilitado para una regla de patrón, el nombre del sustituidor es un campo opcional. {:<replacerType>} es una sintaxis válida. Por ejemplo, file-{:int}.csv haría coincidir correctamente para file-1.csv y file-2.csv crearía dos activos diferentes en lugar de un conjunto de recursos.

Sustitutos estáticos (brackets dobles)

Los corchetes dobles se usan como sustitutos estáticos en el nombre completo de una regla de patrón. Especifique un sustituto estático en el nombre completo mediante {{<replacerName>:<replacerType>}}format . Si coinciden, cada conjunto de valores de reemplazo estático únicos crea agrupaciones de conjuntos de recursos diferentes.

Por ejemplo, si dos activos folder1/file-1.csv coinciden folder2/file-2.csv con la regla {{folder:string}}/file-{NUM:int}.csv, se crearían folder1/file-{NUM}.csv dos conjuntos de recursos y folder2/file-{NUM}.csv.

Los sustitutos estáticos se pueden usar para especificar el nombre para mostrar de un activo que coincida con una regla de patrón. Utilizar {{<replacerName>}} en el nombre para mostrar de una regla utiliza el valor coincidente en el nombre del activo.

Tipos de reemplazo disponibles

A continuación se muestran los tipos disponibles que se pueden utilizar en sustitutos estáticos y dinámicos:

Orden de las reglas de patrón de conjuntos de recursos que se aplican

A continuación se muestra el orden de las operaciones para aplicar reglas de patrón:

1. Los ámbitos más específicos tienen prioridad si un recurso coincide con dos reglas. Por ejemplo, las reglas de un ámbito container/folder se aplicarán antes que las reglas del ámbito container.

2. Orden de reglas dentro de un ámbito específico. Esto se puede editar en la UX.

3. Si un recurso no coincide con ninguna regla especificada, se aplica la heurística del conjunto de recursos predeterminado.

Ejemplos

Ejemplo 1

Extracción de datos SAP en cargas completas y delta

Entradas

Archivos:

• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
• https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

Regla de patrón

Ámbito:https://myazureblob.blob.core.windows.net/bar/

Nombre para mostrar: "Cliente externo"

Nombre completo:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

Conjunto de recursos: true

Salida

Un recurso de conjunto de recursos

Nombre para mostrar: Cliente externo

Nombre completo:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

Ejemplo 2

Datos de IoT en formato avro

Entradas

Archivos:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Reglas de patrón

Ámbito:https://myazureblob.blob.core.windows.net/bar/

Regla 1

Nombre para mostrar: 'máquina-89'

Nombre completo:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

Conjunto de recursos: true

Regla 2

Nombre para mostrar: 'máquina-90'

Nombre completo:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

Conjunto de recursos: true

Resultados

Dos conjuntos de recursos

Conjunto de recursos 1

Nombre para mostrar: machine-89

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Conjunto de recursos 2

Nombre para mostrar: machine-90

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Ejemplo 3

Datos de IoT en formato avro

Entradas

Archivos:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regla de patrón

Ámbito:https://myazureblob.blob.core.windows.net/bar/

Nombre para mostrar: 'machine-{{machineid}}'

Nombre completo:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

Conjunto de recursos: true

Resultados

Conjunto de recursos 1

Nombre para mostrar: machine-89

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Conjunto de recursos 2

Nombre para mostrar: machine-90

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Ejemplo 4

No agrupar en conjuntos de recursos

Entradas

Archivos:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regla de patrón

Ámbito:https://myazureblob.blob.core.windows.net/bar/

Nombre para mostrar:Machine-{{machineid}}

Nombre completo:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

Conjunto de recursos: false

Resultados

Cuatro activos individuales

Recurso 1

Nombre para mostrar: machine-89

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

Recurso 2

Nombre para mostrar: machine-89

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

Recurso 3

Nombre para mostrar: machine-89

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

Activo 4

Nombre para mostrar: machine-90

Nombre completo:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Pasos siguientes

Para empezar, registre y examine una cuenta de almacenamiento de Azure Data Lake Gen2.