Operadores integrados en Lakeflow Designer

Lakeflow Designer incluye operadores integrados para tareas comunes de preparación y transformación de datos. Abra el menú del operador en el panel lateral de la izquierda para examinar operadores por categoría o use Buscar un operador... en la parte superior del panel. La búsqueda de operadores sugiere operadores en función de la intención. Por ejemplo, escribir average by month devuelve el operador Aggregate . Para configurar un operador después de agregarlo al lienzo, haga doble clic en él o mantenga el puntero sobre él y haga clic en (Operador Editar) para abrir el panel de configuración.

Cada operador muestra una descripción generada por ia de lo que hace. La descripción también actúa como editor para el operador: la edición de la descripción vuelve a configurar el operador para que coincida con la descripción.

Para obtener información sobre cómo crear sus propios operadores definidos por el usuario, consulte Operadores definidos por el usuario en Lakeflow Designer.

Origen y salida

Source

Importa datos en el Diseñador desde una tabla de catálogo de Unity u otro origen compatible. Para seleccionar un origen, busque una tabla o un archivo por nombre, o busque por catálogo y esquema. También puede crear una nueva tabla desde este panel.

Después de seleccionar una tabla, el panel muestra el nombre, el propietario y la hora de la última actualización de la tabla. Haga clic en Seleccionar un nuevo origen de datos para cambiar el origen. Al cambiar el origen, se invalida la memoria caché de salida para todos los operadores de bajada.

También puede usar una vista de métricas del catálogo de Unity como origen. Al seleccionar una vista de métricas, seleccione las dimensiones y medidas que se van a incluir y el Diseñador genera la consulta agregada automáticamente.

Para obtener toda la gama de opciones de ingesta de datos, incluido el destino de un volumen o carpeta completo del catálogo de Unity, consulte Ingesta de datos en Lakeflow Designer.

Escribir datos

Crea una tabla escribiendo valores en un editor de estilo de hoja de cálculo. Use este operador para agregar pequeñas cantidades de datos de referencia, como valores de búsqueda o datos de prueba, sin crear una tabla de origen independiente.

Salida

Exporta datos fuera del Diseñador. El operador Output puede escribir resultados en una tabla de catálogo de Unity, publicarlos como una vista materializada o escribirlos en un archivo en un volumen de catálogo de Unity. Seleccione el destino con tipo de salida.

Para una salida de tabla o archivo , seleccione cómo cada ejecución escribe en el destino con el modo de escritura:

Haga clic en Ejecutar para ejecutar la preparación de datos visuales y escribir los resultados. Para una salida de tabla, si la tabla no existe, el operador lo crea. Las ejecuciones programadas escriben en el destino con el mismo modo de escritura.

Función ai

Ejecuta una operación de inteligencia artificial integrada en los datos. En el panel de configuración, abra Seleccionar una función y seleccione una de las funciones de la tabla siguiente. Cada función expone opciones en el panel para las entradas (por ejemplo, columnas, avisos, etiquetas o idiomas) y salidas.

Para más detalles sobre cada función, véase Transformar datos no estructurados usando funciones de IA.

Transformations

Los operadores siguientes realizan transformaciones en los datos.

Aggregate

Resume las filas mediante la agrupación de datos y los valores agregados informáticos.

Combine

Combina datos de varias tablas con esquemas coincidentes en una única salida.

Unique

Elimina filas duplicadas de los datos de entrada. Por defecto, el operador desduplica en todas las columnas. En su lugar, puedes elegir un subconjunto de columnas como clave y ordenar las filas para controlar qué duplicado se mantiene.

Filter

Divide las filas en función de si cumplen una o varias condiciones mediante un generador gráfico de condiciones.

El operador Filter tiene dos salidas para poder bifurcar los datos en función de si cumple las condiciones:

Join

Vincula dos tablas en una clave mediante la combinación de dos conjuntos de datos de entrada basados en valores de columna coincidentes.

De forma predeterminada, el operador Join tiene tres salidas para que pueda bifurcar un flujo de trabajo en función de los resultados de la combinación:

Al seleccionar un tipo de combinación específico (completo, interno, izquierdo o derecho), el operador genera una única salida combinada en lugar de las tres salidas divididas.

Limit

Restringe el recuento de filas pasando solo hasta el número máximo de filas que especifique.

Dinamización

Vuelve a dar forma a los datos tabulares en dos direcciones. Use las pestañas de la parte superior del panel de configuración para seleccionar el modo.

Filas → columnas (dinamización)

Convierte valores distintos en una columna en nuevos encabezados de columna, rellenados con valores agregados de otra columna.

Columnas → filas (anulación de dinamización)

Plega una o varias columnas en filas.

Incluir columnas

Para cualquiera de los modos, seleccione las columnas que permanecen en la salida junto con los valores dinamizados o sin dinamizar y quite las columnas que no necesite antes de la transformación. El diseñador deduce columnas fijas (agrupación) de las columnas que no se asignan a roles dinámicos, de valor o despivote.

Sort

Ordena filas en una o varias columnas.

SQL

Escribe código SQL personalizado para cualquier transformación no cubierta por los demás operadores.

Campo	Description
Editor de SQL	Escriba una instrucción SQL SELECT . Para hacer referencia a la salida de un operador de entrada, use el nombre de ese operador como nombre de tabla en la consulta. Por ejemplo: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Haga clic en el Para abrir el panel de código SQL completo y vea cómo encaja la instrucción en el flujo de trabajo completo.
Parameters	Para hacer referencia a un parámetro de preparación de datos visuales, use la sintaxis de marcador de parámetros con nombre, como :environment. El diseñador muestra un ejemplo encima del editor al abrir el operador para su edición. Consulte Parámetros.

Seleccionar

Selecciona, cambia el nombre y reordena las columnas de los datos de entrada.

Preparación

Limpia y deriva columnas mediante la encadenamiento de una o varias acciones en los datos de entrada. Haga clic en + Agregar acción y seleccione una acción. Agregue tantas acciones como necesite. Se aplican en orden.

Para quitar una acción, mantenga el puntero sobre su fila y haga clic en .

Columnas personalizadas

La acción Fórmula abre el editor de expresiones, donde puede crear una nueva columna o sobrescribir una columna existente mediante el lenguaje natural o el código SQL. El editor tiene dos cuadros de entrada y es bidireccional:

• Descripción: escriba una descripción del lenguaje natural de lo que desea que haga la columna. El diseñador usa Genie para generar la expresión de código correspondiente a continuación.
• Expresión: si prefiere escribir o editar código directamente, haga clic en el botón Editar expresión. La edición de la expresión genera automáticamente una descripción del lenguaje natural.

En el editor de expresiones, escribe @ para abrir un menú con las columnas de entrada del operador y las funciones SQL integradas. Escribe después @ para filtrar la lista, luego selecciona una entrada para insertarla: una columna inserta su nombre y una función inserta su llamada con el cursor colocado entre paréntesis. El mismo @ menú está disponible en los editores de expresiones de otros operadores, como condiciones personalizadas de Filtro y Unión.

Python

Ejecuta Python personalizados (PySpark) en los datos de entrada.

Un patrón mínimo es usar la primera entrada cuando está presente o un DataFrame vacío de lo contrario:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Desde allí, puede encadenar operaciones dataframe (por ejemplo, , , o combinaciones) en select antes de que finalice la asignación o reemplazar por filter un nuevo DataFrame compilado a partir de withColumn. resultresultinputs["data"]

Durante una vista previa, la salida del operador fluye hacia el panel de salida a medida que se produce, incluyendo cualquier cosa con display() la que renderizes y el texto que imprimas, para que puedas ver los resultados antes de que termine la ejecución.

Modo de vista previa de Python

Mientras construyes una preparación visual de datos, Designer previsualiza continuamente la salida de cada operador en una muestra de tus datos. Estas vistas previas ejecutan tu código en Python igual que una ejecución completa. Eso es un problema cuando tu código tiene efectos secundarios, como llamar a una API externa, enviar una notificación o escribir en un sistema fuera de Unity Catalog. Normalmente no quieres que esos efectos secundarios se activen en cada vista previa.

Para que tu código distinga los dos, lee config["is_preview"], un Diseñador booleano te asigna:

• True Durante una partida de previsualización, así que puedes saltarte los efectos secundarios.
• False durante una ejecución completa, como cuando haces clic en Ejecutar o en una ejecución programada.

Por ejemplo, guarda efectos secundarios para que solo funcionen fuera de los avances:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Organización

Note

Agrega una nota en el lienzo para que pueda documentar el propio flujo de trabajo: su finalidad, suposiciones, advertencias o contexto de entrega para cualquier persona que abra la preparación de datos visuales más adelante.

Group

Agrupa visualmente los operadores en el lienzo sin cambiar cómo fluyen los datos entre ellos, lo que resulta útil cuando una preparación de datos visuales crece de gran tamaño o desea reflejar las fases lógicas.

Visualization

Crea una visualización a partir de los datos de entrada y la representa directamente en el lienzo. Conecte un operador De visualización a cualquier operador que genere datos tabulares para trazar los resultados sin salir del Diseñador.

Para configurar la visualización, abra el operador y seleccione un tipo de visualización y, a continuación, asigne las columnas al gráfico.

Recursos adicionales

• Creación de una preparación de datos visuales en el Diseñador de Lakeflow
• Ingesta de datos en Lakeflow Designer