Crear una preparación visual de datos en Lakeflow Designer

Lakeflow Designer le permite crear flujos de trabajo de transformación de datos en un lienzo visual, de arrastrar y colocar. En esta página se explica cómo crear una preparación visual de datos, desde añadir una fuente de datos y encadenar operadores hasta previsualizar los resultados y escribirlos en Unity Catalog.

Requisitos

Para usar Lakeflow Designer, debe tener:

• Un área de trabajo de Azure Databricks con Unity Catalog habilitado.
• Permiso CAN USE en al menos un recurso de proceso de uso general (sin servidor o todo uso).

Seleccione el proceso que se va a usar en el selector de proceso de la parte superior derecha del Diseñador, junto al botón Programar .

Creación de una nueva preparación de datos visuales

Para crear una nueva preparación de datos visuales, haga clic en Nuevo en la barra lateral y seleccione Preparación de datos visuales.

Designer se abre con una pantalla de bienvenida donde puede añadir una fuente de datos o explorar un ejemplo de preparación visual de datos.

Para buscar los archivos de preparación de datos visuales existentes, abra la página Preparación de datos visuales desde la barra lateral. En esta página se enumeran todos los archivos de preparación de datos visuales e incluye un vídeo de introducción para ayudarle a empezar a usar Lakeflow Designer.

Adición de un origen de datos

Cada preparación de datos visuales comienza con uno o varios orígenes de datos. El operador Source representa un origen de datos en el lienzo.

Para agregar un origen de datos:

1. Agregue un operador Source. En la pantalla de bienvenida, haga clic en Seleccionar operador de origen. En el lienzo, abra el menú del operador y seleccione Origen.
2. En el panel Configuración de origen, elija cómo incorporar los datos:
   • Seleccione una tabla existente.
   • Cargue un archivo CSV local o Excel.
   • Cree una tabla a partir de un archivo.
   • Importar desde Google Drive o SharePoint.
3. Seleccione o configure el origen de datos. El operador Source aparece en el lienzo.

También puede arrastrar y colocar un archivo CSV o Excel directamente en el lienzo para crear rápidamente un operador source.

Para cambiar el origen más adelante, abra el operador Source y haga clic en Seleccionar un nuevo origen de datos. Al cambiar el origen, se invalida la caché de salida para todos los operadores posteriores.

Para obtener los detalles completos sobre cada opción de ingesta, consulte Ingesta de datos en Lakeflow Designer.

Adición y configuración de operadores

Para agregar un operador, abra el menú del operador en el panel lateral del lado izquierdo del lienzo. Haga clic en un operador para agregarlo al lienzo o arrastre un operador desde el menú al lienzo. También puede hacer clic en el + botón situado junto a cualquier operador existente para agregar un operador nuevo con una conexión automática.

Para configurar un operador, haga doble clic en él o mantenga el puntero sobre él y haga clic en (Operador Editar) para abrir el panel de configuración. Establezca las opciones de ese tipo de operador y haga clic en Aplicar.

Para obtener más información sobre cada operador disponible, consulte Operadores integrados en Lakeflow Designer. Para más información sobre cómo crear sus propios operadores definidos por el usuario, consulte Operadores definidos por el usuario en Lakeflow Designer.

Operadores de conexión

Para conectar dos operadores, haga clic y arrastre desde el controlador de salida (el círculo pequeño en el borde derecho de un operador) al identificador de entrada (el círculo pequeño en el borde izquierdo del operador siguiente). Esto especifica que los datos fluyen del primer operador al segundo. Los datos fluyen de izquierda a derecha a través de la preparación de datos visuales.

Algunos operadores, como Join y Combine, aceptan varias entradas.

Para eliminar una conexión, pase el cursor por encima de ella y haga clic en en la barra de herramientas que aparece sobre la conexión.

Uso de Genie Code

En cualquier momento durante la edición en Lakeflow Designer, puede crear mensajes para Genie Code para ayudarle. Consulte Código de Genie.

Al usar Genie Code, los botones siguientes proporcionan funcionalidad adicional:

• : Adjunta un archivo para usarlo como parte de la indicación.
• : utilícelo para mencionar objetos, como tablas o archivos, para utilizarlos como parte de la instrucción.
• : inicia un nuevo subproceso de chat con el nuevo contexto del agente.
• : abre el panel lateral del historial de conversaciones y una vista más detallada de lo que hace el agente.

Genie Code muestra un resumen de una línea de su edición más reciente encima del cuadro de entrada.

Vista previa de los resultados

Seleccione cualquier operador para ver los resultados en el panel de salida en la parte inferior de la pantalla. Para la mayoría de los tipos de operador, los datos de entrada están a la izquierda y los datos de salida están a la derecha. Los operadores que generan resultados que no son de tabla, como trazados, HTML o imágenes, representan esas salidas directamente en el panel de salida.

Use el control de vista en el panel de salida para cambiar entre la entrada y la salida (el valor predeterminado), solo la entrada o la salida. En la vista combinada, arrastre el divisor para cambiar el tamaño de los paneles de entrada y salida.

De forma predeterminada, los operadores procesan una muestra limitada de datos para las versiones preliminares. Use el menú desplegable Filas escaneadas en el panel de salida para controlar el número de filas que se van a procesar:

• Filas analizadas: Límite: procesa las primeras N filas de entrada. Especifique el número de filas del campo junto al menú desplegable.
• Filas escaneadas: Max: Procesa todas las filas de entrada. En el modo Max, el operador también muestra el recuento exacto de filas de salida debajo del operador en el lienzo.

La configuración Filas examinadas solo controla el procesamiento de la vista previa. Las ejecuciones programadas y las ejecuciones de trabajo siempre procesan el conjunto de datos completo.

Ejecuta la preparación completa de datos visuales

Haz clic en Ejecutar todo para ejecutar cada operador del lienzo contra el conjunto de datos completo en una sola acción, sin previsualizar cada operador individualmente. Designer ejecuta todo el archivo de preparación de datos visual y actualiza los resultados de cada operador; a continuación, muestra el recuento exacto de filas de salida de cada operador debajo de este en el lienzo.

Transforma los datos directamente en la tabla de resultados

Filtra y transforma tus datos directamente en la tabla de salida. Después de renombrar una columna, filtrar o insertar una columna en la tabla de resultados, haz clic en Aplicar al lienzo para crear los operadores que reproduzcan exactamente lo que hiciste en la tabla.

Puedes aplicar las siguientes operaciones de la tabla de resultados:

• Cambiar el nombre de las columnas
• Quitar columnas
• Insertar columnas
• Reorganizar columnas
• Cambiar el tipo de dato
• Filter
• Eliminación de duplicados
• Quitar nulos

Escribir resultados

Agregue un operador Output para escribir los resultados. El operador Output puede escribir en una tabla de Catálogo de Unity, publicar resultados como una vista materializada o escribir un archivo CSV, Excel o JSON en un volumen de catálogo de Unity.

1. Abra el menú del operador y seleccione Salida, o haga clic + junto al último operador y seleccione Salida.
2. Conecte el identificador de salida de la última transformación al identificador de entrada del operador Output si aún no está conectado.
3. Haga doble clic en el operador Output (Salida ) para abrir su panel de configuración.
4. Seleccione un tipo de salida y configure el destino. Para una tabla, escriba un nombre de tabla, seleccione la ubicación de salida (catálogo y esquema) y seleccione un modo de escritura.
5. Haga clic en Ejecutar.

Para obtener el conjunto completo de tipos de salida y modos de escritura, consulte Salida.

Programar o ejecutar en producción

Puede automatizar los flujos de trabajo programandolos como trabajos. Haga clic en el botón Programar del menú superior para crear un trabajo programado para la preparación de datos visuales o agregue la preparación de datos visuales a un trabajo de Azure Databricks mayor como tarea.

Para mover una preparación de datos visuales a producción, incluido almacenarlos en Git, implementarlos con agrupaciones de automatización declarativa y parametrizarlos entre entornos, consulte Traslado de un archivo de preparación de datos visuales a producción.

Exportación e importación de un archivo de preparación de datos visuales

Los archivos de preparación de datos visuales se almacenan de forma nativa en el área de trabajo. Puede exportarlos e importarlos para moverlos entre áreas de trabajo o compartirlos.

Para exportar un archivo de preparación de datos visuales:

1. Haga clic en En la esquina superior derecha.
2. Seleccione Archivo>Exportar.
3. El archivo se exporta como <file_name>.designer.ipynb.

Para importar un archivo de preparación de datos visuales:

1. En el sistema de archivos del área de trabajo, haga clic en
2. Seleccione Importar.
3. Seleccione el archivo de preparación de datos visuales que desea importar.

Para obtener una versión de un archivo de preparación de datos visuales con Git y llevarlo a producción, consulte Traslado de un archivo de preparación de datos visuales a producción.

Cambiar el nombre de un archivo de preparación de datos visuales

Para cambiar el nombre de un archivo de preparación de datos visuales, haga clic en la pestaña que muestra su nombre en la parte superior del editor y escriba un nuevo nombre.

Eliminar un archivo de preparación de datos visuales

Para eliminar una preparación visual de datos, abra el menú kebab del archivo y seleccione Mover a la papelera.

Para eliminar varios archivos de preparación de datos visuales a la vez, abra Workspace en el panel de navegación izquierdo, seleccione los archivos que desea quitar y seleccione Mover a la papelera en la parte superior de la lista.

Sugerencias adicionales al trabajar en el lienzo

Las siguientes acciones están disponibles en el lienzo para ayudarle a editar la preparación de los datos visuales.

• Cambiar el nombre de un operador: haga clic en el cuadro situado en la parte superior de cualquier panel de configuración para cambiar el nombre del operador. Los nombres descriptivos hacen que la preparación visual de datos sea más fácil de entender de un vistazo. Algunos operadores, como el operador SQL, pueden hacer referencia a la salida de otros operadores por nombre.
• Copiar un operador: mantenga el puntero sobre un operador y haga clic en O bien seleccione un operador y presione Cmd/Ctrl+C y, a continuación, Cmd/Ctrl+V.
• Eliminar un operador: mantenga el puntero sobre un operador y haga clic en en la barra de herramientas que aparece encima de él, o seleccione el operador y presione Eliminar.
• Activar o desactivar un operador: Haz clic derecho en un operador, o en un grupo, y selecciona Desactivar para excluirlo de las ejecuciones, o Habilitar para incluirlo de nuevo. Un operador deshabilitado no produce filas de salida, por lo que los operadores aguas abajo reciben un resultado vacío hasta que lo habilitas.
• Diseño automático: haga clic en en la barra de herramientas de encabezado para organizar automáticamente todos los operadores en un diseño compacto.
• Ajustar vista: haga clic en En la barra de herramientas de encabezado para ver todos los operadores en la ventanilla actual.
• Deshacer y rehacer: presione Cmd/Ctrl+Z y Cmd/Ctrl+Mayús+Z, o use los botones deshacer y rehacer en la barra de herramientas de encabezado.
• Abra la paleta de comandos: presione Cmd+Mayús+P en macOS o Ctrl+Mayús+P en Windows para acceder rápidamente a las acciones del editor.
• Ver código generado: abra la pestaña Tabla de contenido en el menú izquierdo, seleccione un operador y expanda la sección Código generado para ver que el Diseñador de código lo genera. Para obtener más información, consulte La tabla de contenido.
• Ver historial de versiones: haga clic en En el panel derecho para abrir el historial de versiones de la preparación de datos visuales, que enumera sus cambios. Selecciona una versión para ver una diferencia visual en el lienzo que la compare con la siguiente, con los operadores añadidos, eliminados y cambiados resaltados. Al pasar el cursor por encima de un operador en la tabla de contenido, se resalta el operador correspondiente en ambas versiones de la comparación.

Recursos adicionales

• Ingesta de datos en Lakeflow Designer
• Operadores integrados en Lakeflow Designer