Déplacer un fichier de préparation visuelle des données en production

Chaque fichier de préparation des données visuelles que vous générez dans Lakeflow Designer est soutenu par du code prêt pour la production et stocké en tant que notebook nommé <name>.designer.ipynb. Vous pouvez le déplacer en production avec les mêmes outils que ceux que vous utilisez pour d’autres Azure Databricks code : stockez-le dans Git, exécutez-le en tant que travail et déployez-le avec des bundles Automation déclaratifs.

Stocker et version dans Git

L’espace de travail stocke les fichiers de préparation de données visuelles en mode natif. Pour gérer les versions d’un fichier de préparation visuelle des données, placez-le dans un dossier Git et suivez-le comme n’importe quel autre notebook :

1. Créez un dossier Git dans votre espace de travail.
2. Déplacez le fichier de préparation des données visuelles dans ce dossier Git.
3. Effectuez le suivi, la validation et la version du fichier comme n’importe quel autre notebook dans Git. Dans Git, le fichier apparaît sous la forme <file_name>.designer.ipynb.

Pour plus d’informations sur les dossiers Git, consultez Azure Databricks dossiers Git. Pour exporter ou importer un fichier de préparation de données visuelles, consultez Exporter et importer un fichier de préparation de données visuelles.

Gérer le code opérateur modifié de l’extérieur

Le concepteur détecte lorsque le code généré par un opérateur change en dehors de l’éditeur de préparation visuelle des données, comme via Git ou un déploiement en bundle. Pour préserver le code modifié, Designer empêche les modifications de l’opérateur dans l’interface utilisateur ou par Genie Code. Pour écarter les modifications, ouvrez l’opérateur, sélectionnez Régénérer le code, et confirmez. Le concepteur recrée le code à partir de la configuration de l’opérateur.

Planifier comme tâche

Vous pouvez automatiser un fichier de préparation des données visuelles en le planifiant en tant que travail.

• Planifier directement : cliquez sur le bouton Planifier dans le menu supérieur pour créer un travail planifié pour votre fichier de préparation des données visuelles.
• Ajouter à un travail : créez un travail Azure Databricks et ajoutez votre fichier de préparation de données visuelles en tant que tâche. Cela vous permet de combiner ce fichier de préparation des données visuelles avec d’autres tâches dans un pipeline plus volumineux. Dans la liste déroulante Type de tâche, sélectionnez Préparation des données visuelles, puis sélectionnez le fichier.

Les exécutions planifiées affichent chaque opérateur sous la forme d’un nœud distinct dans le graphe de tâches Jobs, afin que vous puissiez examiner les résultats de chaque opérateur dans une exécution de la même manière que sur le canevas.

Pour afficher et gérer les planifications existantes, cliquez à nouveau sur Planification pour ouvrir la liste. Cliquez sur Ajouter une planification pour en créer une autre ou ouvrez le menu kebab (point de de suspension d’une planification pour sélectionner Modifier, Exécuter maintenant, Suspendre, Cloner, Afficher dans le travaux ou Supprimer.

Afficher la sortie de l’opérateur dans une exécution

Par défaut, une exécution planifiée génère la sortie uniquement pour les opérateurs de terminal (opérateurs sans connexion en aval), comme un opérateur de sortie. Pour voir les résultats de chaque opérateur dans l’exécution, développez les paramètres avancés dans la boîte de dialogue de planification et, sous Affichage de la sortie opérateur, sélectionnez Afficher les résultats de chaque opérateur dans la sortie de l’exécution.

Désactivez cette option pour les grands canevas afin d’éviter de dépasser la limite de taille de sortie d’exécution.

Sélectionner l’environnement serverless

Lorsque vous utilisez un fichier de préparation des données visuelles, vous pouvez sélectionner l’environnement serverless utilisé pour les exécutions interactives et les travaux planifiés. Configurez-le à partir de Volet latéral environnement dans la barre latérale droite, de la même façon que pour un bloc-notes. Sous Environnement de base, sélectionnez une version d’environnement. Consultez Configurer l’environnement serverless.

Paramétrer entre les environnements

Les paramètres vous permettent d’exécuter le même fichier de préparation de données visuelles sur différents environnements, par exemple un catalogue de tests pendant le développement et un catalogue de production en production. Redéfinissez les valeurs des paramètres pour chaque planification, ou fournissez-les par cible du bundle. Voir les valeurs des paramètres de remplacement en production.

Déployer avec des ensembles d’automatisation déclaratifs

Les offres groupées Automation déclaratives vous permettent de définir et de déployer des ressources Azure Databricks telles que des travaux comme des fichiers sources. Vous pouvez donc appliquer des bonnes pratiques d’ingénierie logicielle telles que le contrôle de code source, la révision du code, les tests et CI/CD à vos fichiers de préparation de données visuelles. Voir Qu’est-ce que les paquets d’automatisation déclarative ?.

Pour déployer un fichier de préparation visuelle des données avec un bundle, définissez une tâche de notebook et indiquez le chemin du fichier .designer.ipynb dans notebook_task.notebook_path. Dans un bundle, un fichier de préparation visuelle des données utilise la clé notebook_task, même si l’interface utilisateur Jobs l’affiche comme type de tâche Préparation visuelle des données.

L’exemple suivant définit un travail qui exécute un fichier de préparation de données visuelles situé en regard du fichier de configuration de l’offre groupée :

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Déployez et exécutez le bundle avec l’interface CLI Azure Databricks :

databricks bundle deploy
databricks bundle run daily_prep_job

Pour l’ensemble complet des clés de tâche de notebook, consultez Notebook task. Pour obtenir un guide complet sur la définition d’un job dans un bundle, consultez Développer un job avec des bundles d’automatisation déclaratifs.

Automatiser avec CI/CD

Pour valider et déployer automatiquement des bundles de préparation des données visuelles, intégrez-les dans un pipeline CI/CD. Pour obtenir un exemple utilisant GitHub Actions, consultez GitHub Actions.

Ressources supplémentaires

• Tutoriel : Construis une préparation visuelle des données
• Utilisation des paramètres dans Lakeflow Designer
• Que sont les ensembles d'automatisation déclarative ?
• Tâche de notebook pour les tâches