Operadores integrados en Lakeflow Designer

Lakeflow Designer incluye operadores integrados para tareas comunes de preparación y transformación de datos. Abre el panel de Operadores a la izquierda para navegar por los operadores por categoría, o usa Buscar un operador... en la parte superior del panel. La búsqueda de operadores sugiere operadores en función de la intención. Por ejemplo, escribir average by month devuelve el operador Aggregate . Consulta Buscar operadores con búsqueda por IA. Para configurar un operador después de agregarlo al lienzo, haga doble clic en él o mantenga el puntero sobre él y haga clic en (Operador Editar) para abrir el panel de configuración.

Cada operador muestra una descripción generada por ia de lo que hace. La descripción también actúa como editor para el operador: la edición de la descripción vuelve a configurar el operador para que coincida con la descripción.

Cuando ningún operador integrado se adapta a tu tarea, puedes crear tu propio operador.

Entrada y salida

Source

Importa datos en el Diseñador desde una tabla de catálogo de Unity u otro origen compatible. Para seleccionar un origen, busque una tabla o un archivo por nombre, o busque por catálogo y esquema. También puede crear una nueva tabla desde este panel.

Después de seleccionar una tabla, el panel muestra el nombre, el propietario y la hora de la última actualización de la tabla. Haga clic en Seleccionar un nuevo origen de datos para cambiar el origen. Al cambiar el origen, se invalida la memoria caché de salida para todos los operadores de bajada.

También puede usar una vista de métricas del catálogo de Unity como origen. Al seleccionar una vista de métricas, seleccione las dimensiones y medidas que se van a incluir y el Diseñador genera la consulta agregada automáticamente.

Para obtener toda la gama de opciones de ingesta de datos, incluido el destino de un volumen o carpeta completo del catálogo de Unity, consulte Ingesta de datos en Lakeflow Designer.

Escribir datos

Crea una tabla escribiendo valores en un editor de estilo de hoja de cálculo. Use este operador para agregar pequeñas cantidades de datos de referencia, como valores de búsqueda o datos de prueba, sin crear una tabla de origen independiente.

Salida

Exporta datos fuera del Diseñador. El operador de salida puede escribir resultados en una tabla de Unity Catalog, publicarlos como una vista materializada o escribirlos en un archivo en un volumen de Unity Catalog, Google Drive o SharePoint. En Tipo de salida, selecciona Tabla, Vista materializada o Archivo. Para la salida de un archivo, selecciona dónde escribirlo en Destino.

Para salidas de tabla o de archivo en un volumen de Unity Catalog, selecciona un modo de escritura:

Haga clic en Ejecutar para ejecutar la preparación de datos visuales y escribir los resultados. Para una salida de tabla, si la tabla no existe, el operador lo crea. Las ejecuciones programadas escriben en el destino con el mismo modo de escritura.

Después de que un operador de salida escriba una tabla de Unity Catalog, una vista materializada o un archivo de volumen, conecta su puerto saliente para continuar el flujo de trabajo. Para tablas, vistas materializadas y salidas simples de un solo archivo, el puerto saliente lee directamente desde el activo persistente que el operador de salida acaba de escribir. Para salidas partes, escrituras en rango de Excel y archivos sin cabeceras, el puerto saliente pasa por las filas de entrada.

Para salidas de archivos en un volumen de Unity Catalog, expande Avanzado para configurar las siguientes opciones:

• Divide por valores distintos: Selecciona una columna para escribir un archivo por cada valor distinto. Para la salida de Excel, puedes escribir cada valor en una hoja de cálculo separada dentro de un solo libro. Una partida puede crear hasta 50 archivos o hojas de trabajo.
• Nombre de la hoja: Para la salida de Excel, establece la hoja de trabajo objetivo.
• Incluir fila de cabecera: Incluir nombres de columnas en la salida CSV o Excel.
• Rango de celdas: Para la salida de Excel en modo de sobreescritura, establece la celda inicial y una celda final opcional. El diseñador conserva el formato fuera del rango y falla la ejecución si los datos no encajan en un rango fijo. No puedes combinar un rango de celda con Split por valores distintos.

Para escribir un archivo en Google Drive o SharePoint:

1. Configura el tipo de salida a Archivo y el Destino en Google Drive o Microsoft 365 para SharePoint.
2. Activa el conector Código Genie correspondiente y selecciona Conectar si se le solicita. Inicia sesión con una cuenta que tenga acceso de escritura a la carpeta de destino.
3. En la URL de la carpeta, pega el enlace en la carpeta de Google Drive o SharePoint. En SharePoint, obtén el enlace con Copiar enlace.
4. Introduce un nombre de archivo, elige un tipo de archivo y haz clic en Ejecutar.

Cada ejecución crea el archivo o reemplaza el contenido completo del archivo existente con el mismo nombre, incluyendo todas las hojas de Excel. La exportación debe caber en un archivo de hasta 2,75 MiB. Las vistas previas muestran los datos de entrada sin escribir el archivo. Las ejecuciones programadas utilizan las credenciales de cuenta y conector del usuario con ejecución como usuario.

Limpio

Filter

Divide las filas en función de si cumplen una o varias condiciones mediante un generador gráfico de condiciones.

El operador Filter tiene dos salidas para poder bifurcar los datos en función de si cumple las condiciones:

Barreras de protección

Valida los datos entrantes frente a una lista ordenada de comprobaciones y separa las filas que pasan de las que fallan.

• Avisa y continúa con las filas pasadas:
  • La ejecución aguas abajo continúa.
  • Las filas que superan cada comprobación habilitada se envían a Aprobado.
  • Las filas que fallan al menos una comprobación activada se envían a Fallida.
  • Errores contiene una fila por cada comprobación fallida, incluyendo su tipo, gravedad y mensaje.
• Avisar y bloquear salidas pasadas:
  • Si una comprobación falla, la ejecución aguas abajo continúa, pero Passed no contiene filas.
  • Fallido sigue conteniendo las filas fallidas, y Errores sigue conteniendo los detalles de fallo.
  • Utiliza esta opción para evitar el procesamiento posterior de filas que pasan, permitiendo al mismo tiempo el manejo posterior de fallos y errores.
• Fallar el flujo de trabajo:
  • Si una comprobación falla, la ejecución se detiene antes de que los operadores aguas abajo se ejecuten.
  • No reciben las salidas de Aprobado, Fallido o Errores .
  • En un trabajo programado, la ejecución se marca como fallida, lo que puede desencadenar la gestión de fallos configurada, como notificaciones de trabajo.

Cuando previsualizas el propio operador de Guardrails, aún puedes inspeccionar las tres salidas en el modo Fallo del flujo de trabajo .

Para persistir filas de una salida en cualquiera de los modos de advertencia, conéctala a un operador de salida.

Limit

Restringe el recuento de filas pasando solo hasta el número máximo de filas que especifique.

Preparación

Limpia y deriva columnas mediante la encadenamiento de una o varias acciones en los datos de entrada. Haga clic en + Agregar acción y seleccione una acción. Agregue tantas acciones como necesite. Se aplican en orden.

Todas las acciones excepto Formula y Parse JSON soportan múltiples columnas.

Para quitar una acción, mantenga el puntero sobre su fila y haga clic en .

Columnas personalizadas

La acción Fórmula abre el editor de expresiones, donde puede crear una nueva columna o sobrescribir una columna existente mediante el lenguaje natural o el código SQL. El editor tiene dos cuadros de entrada y es bidireccional:

• Descripción: escriba una descripción del lenguaje natural de lo que desea que haga la columna. El diseñador utiliza Código Genie para generar la expresión de código correspondiente que aparece a continuación.
• Expresión: si prefiere escribir o editar código directamente, haga clic en el botón Editar expresión. La edición de la expresión genera automáticamente una descripción del lenguaje natural.

En el editor de expresiones, escribe @ para abrir un menú con las columnas de entrada del operador y las funciones SQL integradas. Escribe después @ para filtrar la lista, luego selecciona una entrada para insertarla: una columna inserta su nombre y una función inserta su llamada con el cursor colocado entre paréntesis. El mismo @ menú está disponible en los editores de expresiones de otros operadores, como condiciones personalizadas de Filtro y Unión.

Prepara las acciones, trabaja una fila a la vez. Para calcular una columna a partir de los valores de otras filas, como un total continuo o el valor de la fila anterior, se utiliza la Fórmula Multi-Fila.

Seleccionar

Selecciona, cambia el nombre y reordena las columnas de los datos de entrada.

Sort

Ordena filas en una o varias columnas.

Unique

Elimina filas duplicadas de los datos de entrada. Por defecto, el operador desduplica en todas las columnas. En su lugar, puedes elegir un subconjunto de columnas como clave y ordenar las filas para controlar qué duplicado se mantiene.

Combine

Combine

Combina datos de varias tablas en una sola salida usando una operación de conjunto.

Join

Tablas de enlaces combinando conjuntos de datos de entrada basados en valores de columna coincidentes.

Con dos entradas, el operador Join tiene tres salidas por defecto, así que puedes ramificar un flujo de trabajo basado en los resultados de join:

Con dos entradas, seleccionar un tipo de Join específico (full, inner, left o right) produce una única salida unida en lugar de las tres salidas compartidas.

Transform

Función ai

Ejecuta una operación de inteligencia artificial integrada en los datos. En el panel de configuración, abra Seleccionar una función y seleccione una de las funciones de la tabla siguiente. Cada función expone opciones en el panel para las entradas (por ejemplo, columnas, avisos, etiquetas o idiomas) y salidas.

Para más detalles sobre cada función, véase Transformar datos no estructurados usando funciones de IA.

Aggregate

Resume las filas mediante la agrupación de datos y los valores agregados informáticos.

Fórmula de varias filas

Calcula nuevas columnas a partir de los valores de otras filas, como totales acumulados, números de fila e IDs de registro, rangos, valores anteriores y siguientes, diferencias fila tras fila y medias móviles. Utiliza la fórmula Multi-Fila cuando un cálculo depende de filas vecinas. Para cálculos que usan solo los valores de la fila actual, utiliza Preparar. También puedes encontrar al operador buscando en el menú de Record IDoperador .

El operador tiene una lista ordenada de fórmulas. Las fórmulas se extienden de arriba abajo, y cada fórmula añade una columna a la salida. Si el nombre de columna de una fórmula coincide con una columna existente, la fórmula sobrescribe esa columna. Si la lista está vacía o se apaga cada fórmula, el operador pasa su entrada sin cambios.

Cada tipo de fórmula tiene un campo de nombre de columna Nuevo . Todo tipo excepto la expresión personalizada también tiene Order by y Group by, que definen la ventana de filas a la que se refiere la fórmula:

Tipos de fórmulas

La siguiente tabla describe cada tipo de fórmula y sus campos, además de los campos compartidos:

Para la diferencia respecto a la fila anterior, media móvil y suavizado exponencial, la columna Of solo enumera columnas numéricas. Filas de distancia, filas atrás y Ventana (filas) aceptan números enteros de 1 o más. Una fracción se redondea hacia abajo, y un número menor que 1, un campo vacío o un valor que no es un número usan 1. Un factor de suavizado (α) fuera del rango permitido usa 0,3. Empezar en acepta cualquier número entero, y un campo vacío usa 1. Si introduces una fracción en Empezar en, el campo muestra que Valor está fuera de rango y que Aplicar no está disponible.

Las siguientes condiciones hacen que el operador devuelva un error al ejecutarse:

• Una columna Of que no está en los datos de entrada, por ejemplo, después de que un operador ascendente la renombre o elimine.
• Suavizado exponencial en una columna decimal. Para suavizar los valores decimales, primero convierte la columna en un doble, por ejemplo, con la acción del tipo Preparar Cambio .
• Suavizado exponencial con un factor de suavizado muy pequeño, por debajo de aproximadamente 0,002. Usa un valor mayor.
• Número de fila / rango que pasa por 2.147.483.647, el valor más alto que tiene una columna entera, cuando Inicio en es 2.147.483.647 o menos. Usa un Start más pequeño a precio.

Configurar fórmulas

Para configurar la lista de fórmulas en el panel de configuración, utilice los siguientes controles:

• Añadir una fórmula: Haz clic en Añadir fórmula y selecciona un tipo de fórmula. La nueva fórmula aparece al final de la lista con un nombre de columna por defecto, como running_total, y su editor se abre.
• Editar una fórmula: Haz clic en una fórmula en la lista para abrir su editor. Cada fórmula muestra su tipo y un resumen de una línea, como customer_running_total = sum(amount) (by customer_id; ordered by order_date). Para número de fila / rango, el resumen también muestra un Start en distinto de 1 y un tipo de salida de texto , como record_id = row_number() from 1001 as text (ordered by order_id). El editor permanece abierto mientras trabajas en el lienzo. Para cerrarlo, haz clic en El icono de cerrar.
• Reordenar fórmulas: Arrastra una fórmula hacia arriba o hacia abajo. Como las fórmulas se ejecutan en orden, mueve una fórmula por debajo de cualquier fórmula cuya columna utilize.
• Apaga o enciende una fórmula: Pasa el cursor sobre una fórmula y pulsa su interruptor. Una fórmula que está desactivada permanece en la lista pero no funciona.
• Duplicar o eliminar una fórmula: Pasa el cursor sobre una fórmula, haz clic en el menú Kebab y selecciona Duplicar o Eliminar.

Para guardar los cambios, haga clic en Aplicar. Si una fórmula activada carece de un campo requerido, Aplicar no está disponible y un mensaje junto a ella identifica los campos o fórmulas que hay que completar.

Si no tienes permiso para editar la preparación de datos visuales, puedes ver la lista de fórmulas y sus resúmenes, pero no puedes abrirlas, añadirlas, reordenarlas ni cambiarlas.

Ejemplo: totales y cambios acumulados para cada cliente

Este ejemplo utiliza una orders tabla con una fila para cada orden:

Para calcular el total acumulado de cada cliente, el importe del pedido anterior y el cambio respecto al pedido anterior, añade un operador de Fórmula Multi-Fila después del orders origen y configura las siguientes fórmulas. Cada fórmula utiliza el orden pororder_date (ascendente) y el grupo porcustomer_id:

1. Añade una fórmula de agregado en curso . Establece el nombre de la nueva columna en customer_running_total, agrega a Sum, y De en la columna a amount.
2. Añade un valor de otra fórmula de fila . Establece el nombre de la nueva columna en previous_amount, dirección a lag (fila anterior),de columna de Of a amount, y Filas alejadas a 1. Salir Si no hay tal fila se pone en Nulo.
3. Añade una diferencia respecto a la fórmula de la fila anterior . Establece el nombre de la nueva columna en amount_change, de la columna en amount, y las filas vuelven a 1.
4. Haga clic en Aplicar.

La siguiente tabla muestra la salida con las tres nuevas columnas, ordenadas por cliente y fecha, omitiendo order_date :

El primer pedido de cada cliente no tiene pedido anterior, por lo que previous_amount y amount_change son nulos. Para rellenar previous_amount con 0 en su lugar, se pone If no tal fila a Cero.

Dinamización

Vuelve a dar forma a los datos tabulares en dos direcciones. Use las pestañas de la parte superior del panel de configuración para seleccionar el modo.

Filas → columnas (dinamización)

Convierte valores distintos en una columna en nuevos encabezados de columna, rellenados con valores agregados de otra columna.

Columnas → filas (anulación de dinamización)

Plega una o varias columnas en filas.

Incluir columnas

Para cualquiera de los modos, seleccione las columnas que permanecen en la salida junto con los valores dinamizados o sin dinamizar y quite las columnas que no necesite antes de la transformación. El diseñador deduce columnas fijas (agrupación) de las columnas que no se asignan a roles dinámicos, de valor o despivote.

Code

Python

Ejecuta Python personalizados (PySpark) en los datos de entrada.

Un patrón mínimo es usar la primera entrada cuando está presente o un DataFrame vacío de lo contrario:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Desde allí, puede encadenar operaciones dataframe (por ejemplo, , , o combinaciones) en select antes de que finalice la asignación o reemplazar por filter un nuevo DataFrame compilado a partir de withColumn. resultresultinputs["data"]

Durante una vista previa, la salida del operador fluye hacia el panel de salida a medida que se produce, incluyendo cualquier cosa con display() la que renderizes y el texto que imprimas, para que puedas ver los resultados antes de que termine la ejecución.

Modo de vista previa de Python

Mientras construyes una preparación visual de datos, Designer previsualiza continuamente la salida de cada operador en una muestra de tus datos. Estas vistas previas ejecutan tu código en Python igual que una ejecución completa. Eso es un problema cuando tu código tiene efectos secundarios, como llamar a una API externa, enviar una notificación o escribir en un sistema fuera de Unity Catalog. Normalmente no quieres que esos efectos secundarios se activen en cada vista previa.

Para que tu código distinga ambos, lee config["is_preview"], un valor booleano que Designer te asigna:

• True Durante una partida de previsualización, así que puedes saltarte los efectos secundarios.
• False durante una ejecución completa, como cuando haces clic en Ejecutar o en una ejecución programada.

Por ejemplo, guarda efectos secundarios para que solo funcionen fuera de los avances:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Un operador personalizado debe declarar una is_preview propiedad de configuración para recibir este valor. Ver Saltar efectos secundarios durante los avances.

SQL

Escribe código SQL personalizado para cualquier transformación no cubierta por los demás operadores.

Campo	Description
Editor de SQL	Escriba una instrucción SQL SELECT . Para hacer referencia a la salida de un operador de entrada, use el nombre de ese operador como nombre de tabla en la consulta. Por ejemplo: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Haga clic en el Para abrir el panel de código SQL completo y vea cómo encaja la instrucción en el flujo de trabajo completo.
Parameters	Para hacer referencia a un parámetro de preparación de datos visuales, use la sintaxis de marcador de parámetros con nombre, como :environment. El diseñador muestra un ejemplo encima del editor al abrir el operador para su edición. Consulta Usar parámetros en Lakeflow Designer.

Report

HTML

Renderiza una página HTML personalizada, incluyendo CSS y JavaScript incrustados, en el panel de salida. Conecta uno o más operadores al operador HTML para mostrar sus datos como gráficos, tablas u otras vistas. El operador HTML no tiene puerto de salida, así que no puedes conectar a otros operadores después de él.

Por ejemplo, la siguiente página muestra cuántas filas pasa el primer operador conectado a la página:

<h2>Summary</h2>
<p id="summary">Connect an operator to bind data.</p>
<script>
  const input = window.inputs[0];
  if (input) {
    document.getElementById('summary').textContent = input.rows.length + ' rows available.';
  }
</script>

Durante una vista previa, cada entrada está limitada por la configuración de Files escaneadas del operador. La página recibe como máximo 10.000 filas en total, repartidas equitativamente entre las entradas conectadas. Consulta cómo controlar cuántos datos procesan las previsualizaciones.

Visualization

Crea una visualización a partir de los datos de entrada y la representa directamente en el lienzo. Conecte un operador De visualización a cualquier operador que genere datos tabulares para trazar los resultados sin salir del Diseñador.

Para configurar la visualización, abra el operador y seleccione un tipo de visualización y, a continuación, asigne las columnas al gráfico.

Herramientas de lona

Group

Agrupa visualmente los operadores en el lienzo sin cambiar cómo fluyen los datos entre ellos, lo que resulta útil cuando una preparación de datos visuales crece de gran tamaño o desea reflejar las fases lógicas.

Note

Agrega una nota en el lienzo para que pueda documentar el propio flujo de trabajo: su finalidad, suposiciones, advertencias o contexto de entrega para cualquier persona que abra la preparación de datos visuales más adelante.

Crea tu propio operador

Cuando ningún operador incorporado cubre tu lógica, crea un operador personalizado. Un operador personalizado es local o compartido:

• Local: El operador pertenece a la preparación actual de datos visuales. Describe la transformación y el Código Genio genera el operador. No escribes código. Consulta Crear un operador local personalizado con Código Genie.
• Compartido: El operador está registrado para que otros usuarios y los preparadores de datos visuales puedan utilizarlo. Su lógica es Python o una función del Catálogo de Unity, descrita en YAML. Véase Construir un operador compartido.

Recursos adicionales

• Tutorial: Crea una preparación visual de datos
• Ingesta de datos en Lakeflow Designer
• Operadores personalizados en Lakeflow Designer