Fonctionnalités de bundle et d’explorer

L’extension IDE Databricks offre des fonctionnalités supplémentaires dans Visual Studio Code qui vous permettent de définir, déployer et exécuter des Déclarative Automation Bundles, ainsi que d’explorer des fichiers d’espace de travail et des catalogues Unity Catalog.

Pour installer l’extension IDE Databricks, voir Installer l’extension IDE Databricks.

Prise en charge des lots d'automatisation déclaratifs dans les projets

L’extension IDE Databricks ajoute les fonctionnalités suivantes pour vos projets Déclarative Automation Bundles :

• Authentification et configuration facilitées pour vos lots d'automatisation déclarative par l'interface utilisateur de Visual Studio Code, y compris la sélection du profil AuthType. Voir Configurer l’autorisation pour l’extension IDE Databricks.
• Un sélecteur de cible dans l’extension Databricks permet de basculer rapidement entre les environnements cibles groupés. Consultez Modifier l’espace de travail de déploiement cible.
• Le cluster Override Jobs est en option bundle dans l’extension pour permettre un override facile du cluster.
• Vue De l’Explorateur de ressources Bundles , qui vous permet de parcourir vos ressources groupées à l’aide de l’interface utilisateur de Visual Studio Code, déployez les ressources de votre bundle de ressources Databricks local sur votre espace de travail Azure Databricks distant en un seul clic, puis accédez directement à vos ressources déployées dans votre espace de travail à partir de Visual Studio Code. Consultez Bundle Resource Explorer.
• Vue variables groupées, qui vous permet de parcourir et de modifier vos variables groupées à l’aide de l’interface utilisateur de Visual Studio Code. Consultez Variables groupées.

Explorateur de ressources du bundle

La vue Bundle Resource Explorer dans l’extension IDE Databricks utilise les définitions de ressources dans la configuration bundle du projet pour afficher les ressources, y compris les ensembles de données pipeline et leurs schémas. Elle vous permet également de déployer et d’exécuter des ressources, de valider et d’effectuer des mises à jour partielles des pipelines, d’afficher les événements et les diagnostics d’exécutions de pipeline, et de naviguer vers les ressources de votre espace de travail Azure Databricks distant. Pour plus d’informations sur les ressources de configuration de bundle, consultez les ressources.

Par exemple, en fonction d’une définition du travail simple :

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vue Explorateur des ressources de bundle dans l’extension affiche la ressource de tâche du notebook :

Déployer et exécuter un travail

Pour déployer le bundle, cliquez sur l’icône cloud (Déployer un bundle).

Pour exécuter le job, dans la vue Explorateur de ressources de bundle, sélectionnez le nom du job, qui est Mon job de notebook dans cet exemple. Cliquez ensuite sur l’icône lecture (Déployer le bundle et exécuter la ressource).

Pour afficher la tâche en cours d’exécution, dans la vue Bundle de l’explorateur de ressources, développez le nom de la tâche, cliquez sur Statut d'exécution, puis cliquez sur l’icône de lien (Ouvrir le lien à l'extérieur).

Valider et diagnostiquer les problèmes de pipeline

Pour un pipeline, vous pouvez déclencher la validation et une mise à jour partielle en sélectionnant le pipeline, puis l'icône de vérification (Déployer le bundle et valider le pipeline). Les événements de l’exécution sont affichés et tous les échecs peuvent être diagnostiqués dans le panneau PROBLÈMES de Visual Studio Code.

Variables groupées

La vue Bundle Variables View dans l’extension IDE Databricks affiche toutes les variables personnalisées et les paramètres associés définis dans votre configuration bundle. Vous pouvez également définir des variables directement à l’aide de la vue Variables groupées. Ces valeurs remplacent celles définies dans les fichiers de configuration de bundle. Pour plus d’informations sur les variables personnalisées, consultez Variables personnalisées.

Par exemple, l’affichage Vue Variables groupées dans l’extension affiche les éléments suivants :

Pour la variable my_custom_var définie dans cette configuration de bundle :

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Système de fichiers d’espace de travail

La vue du système de fichiers Workspace du panneau d’extension IDE Databricks vous permet de visualiser et d’ouvrir vos fichiers Databricks directement dans Visual Studio Code ou Cursor. Cliquez sur un bloc-notes pour l’ouvrir dans Databricks. Vous pouvez également créer des fichiers ou des dossiers, ou charger des fichiers dans votre espace de travail à partir de l’IDE à l’aide de contrôles dans le volet d’extension.

Catalogue Unity

La vue catalogue Unity du volet d’extension IDE Databricks affiche vos catalogues Databricks. Utilisez les contrôles de cette vue d’extension pour ouvrir un catalogue, un schéma ou une autre ressource de données dans Databricks.