Uso de Spark en cuadernos
Puedes ejecutar muchos tipos diferentes de aplicaciones en Spark, incluido el código en scripts de Python o Scala, el código de Java compilado como un archivo Java (JAR) y otros. Spark se usa normalmente en dos tipos de cargas de trabajo:
- Trabajos de procesamiento por lotes o flujos para ingerir, limpiar y transformar datos, que a menudo se ejecutan como parte de una canalización automatizada.
- Sesiones de análisis interactivas para explorar, analizar y visualizar datos.
Conceptos básicos de edición y código de cuadernos
Los cuadernos de Databricks son el área de trabajo principal para la ciencia de datos, la ingeniería y el análisis. Se compilan alrededor de celdas, que pueden contener código o texto con formato (Markdown). Este enfoque basado en celdas facilita la experimentación, la prueba y la explicación del trabajo en un solo lugar. Puede ejecutar una sola celda, un grupo de celdas o todo el cuaderno, con salidas como tablas, gráficos o texto sin formato que aparecen directamente debajo de la celda ejecutada. Las celdas se pueden reordenar, contraer o borrar para mantener el cuaderno organizado y legible.
Una fuerza importante de los cuadernos de Databricks es la compatibilidad con varios idiomas. Aunque el valor predeterminado suele ser Python, puede cambiar a SQL, Scala o R en el mismo cuaderno mediante los comandos mágicos de lenguaje %sql, %scala, %r o %python. Esta flexibilidad significa que puede escribir lógica de ETL en SQL, código de aprendizaje automático en Python y, a continuación, visualizar los resultados con R, todo en un solo flujo de trabajo. Databricks también brinda resaltado de sintaxis y autocompletar para facilitar la detección de errores y acelerar la codificación.
Antes de ejecutar cualquier código, un cuaderno debe estar adjunto a un proceso, como un clúster o un proceso sin servidor. Sin capacidad de proceso asociada, no se pueden ejecutar celdas de código. Puede seleccionar un proceso existente desde la barra de herramientas del cuaderno o crear un clúster nuevo, y puede desconectar y volver a conectar cuadernos según sea necesario. Esta conexión es lo que permite que el cuaderno use el procesamiento distribuido en Azure Databricks.
Uso de Genie Code
Genie Code (anteriormente llamado Databricks Assistant) es un complemento de codificación con tecnología de inteligencia artificial integrado en notebooks. Su objetivo es ayudarle a escribir, comprender y mejorar el código de forma más eficaz mediante el uso del contexto del cuaderno y el área de trabajo. Puede generar código nuevo a partir de mensajes de lenguaje natural, explicar lógica compleja, sugerir correcciones de errores y optimizar el rendimiento. Esto hace que sea útil no solo para principiantes aprendiendo Spark o SQL, sino también para los usuarios experimentados que desean acelerar el desarrollo y reducir el trabajo repetitivo.
El asistente tiene en cuenta el contexto, lo que significa que usa metadatos del catálogo de Unity, como nombres de tabla, nombres de columna y descripciones, para proporcionar sugerencias personalizadas. Por ejemplo, si su área de trabajo tiene Unity Catalog habilitado, puede utilizar estos metadatos al escribir consultas SQL. Esto le permite preguntar algo parecido a "Seleccionar el importe medio de ventas por región de la tabla de ventas" y obtener código SQL que se ajuste al modelo de datos real. Del mismo modo, en Python, puede pedirle que cree transformaciones de datos o trabajos de Spark sin tener que recuperar todas las firmas de función de la memoria.
Interactúa con el asistente de dos maneras principales:
Indicaciones en lenguaje natural: puede escribir instrucciones sencillas en lenguaje natural en la interfaz similar al chat, y este inserta código en su cuaderno.
Comandos de barra: comandos rápidos como
/explain,/fixo/optimizeque permiten actuar en el código seleccionado. Por ejemplo,/explainexplica el código en una celda,/fixpropone una corrección para errores de código y/optimizesugiere mejoras de rendimiento.
En el modo agente, el asistente puede proponer cambios más grandes en varias celdas. Por ejemplo, podría refactorizar la lógica repetida en una sola función reutilizable o reestructurar un flujo de trabajo para mejorar la legibilidad. Usted mantiene el control: usted revisa los cambios propuestos y los acepta o rechaza antes de que se apliquen a su bloc de notas.
Uso compartido y modularización de código
Para evitar la duplicación y mejorar la capacidad de mantenimiento, Databricks admite la colocación de código reutilizable en archivos (por ejemplo, módulos .py) en el área de trabajo, que los cuadernos pueden importar. Hay mecanismos para organizar cuadernos (es decir, ejecutar cuadernos de otros cuadernos o trabajos con varias tareas), por lo que puede crear flujos de trabajo que usen funciones o módulos compartidos. El uso %run es una manera más sencilla de incluir otro cuaderno, aunque con algunas limitaciones.
Depuración, historial de versiones y corrección de errores
Databricks ofrece un depurador interactivo integrado para cuadernos de Python. Después de activar Python Notebook Interactive Debugger en la configuración del desarrollador, puede establecer puntos de interrupción, avanzar paso a paso por la ejecución e inspeccionar variables. Esto ayuda a aislar los errores de forma más eficaz que la depuración mediante impresión o registro.
Los cuadernos también mantienen automáticamente el historial de versiones: puede ver instantáneas anteriores, proporcionar descripciones de versiones, restaurar versiones anteriores o eliminar o borrar el historial. Si usa la integración de Git, puede sincronizar y versionar cuadernos o archivos en el repositorio.
Sugerencia
Para más información sobre cómo trabajar con cuadernos en Azure Databricks, consulte el artículo Notebooks en la documentación de Azure Databricks.