Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Cada archivo de preparación de datos visuales que compile en Lakeflow Designer está respaldado por código listo para producción y se almacena como un cuaderno denominado <name>.designer.ipynb. Puede moverlo a producción con las mismas herramientas que usa para otros Azure Databricks código: almacenarlo en Git, ejecutarlo como trabajo e implementarlo con paquetes de automatización declarativos.
Almacenamiento y versión en Git
El área de trabajo almacena archivos de preparación de datos visuales de forma nativa. Para obtener una versión de un archivo de preparación de datos visuales, colóquelo en una carpeta de Git y realice un seguimiento de él como cualquier otro cuaderno:
- Cree una carpeta git en el área de trabajo.
- Mueva el archivo de preparación de datos visuales a esa carpeta git.
- Realice un seguimiento, confirme y versione el archivo como cualquier otro cuaderno de Git. En Git, el archivo aparece como
<file_name>.designer.ipynb.
Para obtener más información sobre las carpetas de Git, consulte Azure Databricks carpetas de Git. Para exportar o importar un archivo de preparación de datos visuales, consulte Exportación e importación de un archivo de preparación de datos visuales.
Manejar código de operador modificado externamente
El diseñador detecta cuando el código generado por un operador cambia fuera del editor de preparación de datos visuales, como a través de Git o un despliegue en bundle. Para preservar el código modificado, Designer impide editar el operador en la interfaz de usuario o mediante Genie Code. Para descartar los cambios, abre el operador, selecciona Regenerar código y confirma. El diseñador recrea el código desde la configuración del operador.
Programación como trabajo
Puede automatizar un archivo de preparación de datos visuales programandolo como un trabajo.
- Programar directamente: haga clic en el botón Programar del menú superior para crear un trabajo programado para el archivo de preparación de datos visuales.
- Agregar a un trabajo: cree un trabajo de Azure Databricks y agregue su archivo de preparación visual de datos como una tarea. Esto le permite combinar ese archivo de preparación visual de datos con otras tareas en un flujo de trabajo más amplio. En la lista desplegable Tipo de tarea, seleccione Preparación de datos visuales y, a continuación, seleccione el archivo.
Las ejecuciones programadas muestran cada operador como un nodo individual en el gráfico de tareas de Jobs, para que pueda inspeccionar los resultados de cada operador en cada ejecución igual que en el lienzo.
Para ver y administrar las programaciones existentes, haga clic en Programar de nuevo para abrir la lista. Haga clic en Agregar programación para crear otra, o abra el menú kebab de una programación en el para Editar, Ejecutar ahora, Pausar, Clonar, Ver en Tareas o Eliminar.
Mostrar salida del operador en una ejecución
De forma predeterminada, una ejecución programada genera resultados solo para los operadores terminales (operadores sin conexión aguas abajo), como un operador de Salida. Para ver los resultados de cada operador en la ejecución, expanda Configuración avanzada en el cuadro de diálogo programación y seleccione Mostrar salida del operador.
Desactive esta opción para lienzos grandes para evitar superar el límite de tamaño de salida de ejecución.
Selección del entorno sin servidor
Al trabajar con un archivo de preparación de datos visuales, puede seleccionar el entorno sin servidor que se usa para ejecuciones interactivas y trabajos programados. Configúrelo desde el Panel lateral del entorno en la barra lateral derecha, de la misma manera que lo hace para un cuaderno. En Entorno base, seleccione una versión del entorno. Consulte Configuración del entorno sin servidor.
Parametrizar entre entornos
Los parámetros permiten ejecutar el mismo archivo de preparación de datos visuales en distintos entornos, por ejemplo, un catálogo de pruebas durante el desarrollo y un catálogo de producción en producción. Anula los valores de los parámetros para cada programación, o proporciónalos por cada objetivo de paquete. Consulta Anular los valores de los parámetros en producción.
Desplegar con paquetes de automatización declarativa
Los paquetes de automatización declarativa le permiten definir y desplegar recursos de Azure Databricks, como trabajos, en archivos fuente, para que pueda aplicar prácticas recomendadas de ingeniería de software, como el control de código fuente, la revisión de código, las pruebas y CI/CD, a sus archivos de preparación visual de datos. Consulte ¿Qué son los conjuntos de automatización declarativos?.
Para desplegar un archivo de preparación visual de datos con un paquete, defina una tarea de notebook y haga referencia a la ruta de acceso del archivo .designer.ipynb en notebook_task.notebook_path. En un paquete, un archivo de preparación visual de datos utiliza la clave notebook_task, aunque la interfaz de usuario de Trabajos lo muestre como un tipo de tarea de Preparación visual de datos.
En el ejemplo siguiente se define un trabajo que ejecuta un archivo de preparación de datos visuales situado junto al archivo de configuración de agrupación:
resources:
jobs:
daily_prep_job:
name: daily_prep_job
tasks:
- task_key: run_visual_data_prep
notebook_task:
notebook_path: ./my_transformation.designer.ipynb
Implemente y ejecute la agrupación con la CLI de Azure Databricks:
databricks bundle deploy
databricks bundle run daily_prep_job
Para obtener el conjunto completo de claves de tarea del cuaderno, consulte Tarea cuaderno. Para ver un tutorial completo sobre cómo definir un trabajo en una agrupación, consulte Desarrollo de un trabajo con agrupaciones de automatización declarativa.
Automatiza con CI/CD
Para validar y desplegar paquetes de preparación visual de datos automáticamente, intégrelos en una canalización de CI/CD. Para obtener un ejemplo de uso de Acciones de GitHub, consulte Acciones de GitHub.