Funzionalità di bundle ed explorer

L'estensione IDE Databricks offre funzionalità aggiuntive all'interno di Visual Studio Code che ti permettono di definire, distribuire ed eseguire Declarative Automation Bundles, ed esplorare file di workspace e cataloghi del Catalogo Unity.

Per installare l'estensione IDE Databricks, vedi Installa l'estensione IDE Databricks.

Supporto di bundle di automazione dichiarativa nei progetti

L'estensione IDE Databricks aggiunge le seguenti funzionalità per i tuoi progetti Declarative Automation Bundles:

• Autenticazione e configurazione semplificate dei bundle di automazione dichiarativa tramite l'interfaccia utente di Visual Studio Code, inclusa la selezione del profilo AuthType . Vedi Configurare l'autorizzazione per l'estensione IDED Databricks.
• Un selettore di bersagli nell'estensione Databricks per passare rapidamente tra gli ambienti target bundle. Vedi Modificare l'area di lavoro di distribuzione di destinazione.
• Il cluster Override Jobs è l'opzione bundle nell'estensione per abilitare l'override facile del cluster.
• Visualizzazione Bundle Resource Explorer, che consente di esplorare le risorse del bundle utilizzando l'interfaccia utente di Visual Studio Code, distribuire le risorse del Databricks Asset Bundle locali nell'area di lavoro remota di Azure Databricks con un solo clic e accedere direttamente alle risorse distribuite nell'area di lavoro da Visual Studio Code. Vedere Bundle Resource Explorer.
• Una visualizzazione Bundle Variabili, che consente di esplorare e modificare le variabili del bundle usando l'interfaccia utente di Visual Studio Code. Vedi Variabili del bundle.

Esplora risorse bundle

La vista Bundle Resource Explorer nell'estensione Databricks IDE utilizza le definizioni delle risorse nella configurazione bundle del progetto per visualizzare le risorse, inclusi i dataset della pipeline e i loro schemi. Consente anche di distribuire ed eseguire risorse, convalidare ed eseguire aggiornamenti parziali delle pipeline, visualizzare gli eventi di esecuzione della pipeline e la diagnostica e passare alle risorse nell'area di lavoro remota di Azure Databricks. Per informazioni sulle risorse di configurazione del bundle, vedere Risorse.

Ad esempio, data una definizione di lavoro semplice:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vista Bundle Resource Explorer nell'estensione visualizza la risorsa del job del notebook.

Distribuire ed eseguire un'attività

Per distribuire il bundle, fare clic sull'icona cloud (Distribuisci bundle).

Per eseguire il processo, nella visualizzazione Bundle Resource Explorer selezionare il nome del processo, ovvero My Notebook Job in questo esempio. Fare quindi clic sull'icona play (Distribuire il bundle ed eseguire la risorsa).

Per visualizzare il processo in esecuzione, nella visualizzazione Esplora risorse Bundle espandere il nome del processo, fare clic su Stato di esecuzione e quindi fare clic sull'icona del collegamento (Apri il collegamento esternamente).

Validare e diagnosticare i problemi della pipeline

Per una pipeline, è possibile attivare la convalida e un aggiornamento parziale selezionando la pipeline, quindi l'icona di verifica (Distribuire il bundle e convalidare la pipeline). Gli eventi dell'esecuzione vengono visualizzati ed eventuali errori possono essere diagnosticati all'interno del pannello PROBLEMI di Visual Studio Code.

Variabili del bundle

La vista Bundle Variables View nell'estensione IDE Databricks mostra tutte le variabili personalizzate e le impostazioni associate definite nella configurazione del bundle. È anche possibile definire le variabili direttamente usando la Visualizzazione Variabili dei Bundle. Questi valori sostituiscono quelli impostati nei file di configurazione del bundle. Per informazioni sulle variabili personalizzate, vedere Variabili personalizzate.

Ad esempio, la Visualizzazione variabili bundle nell'estensione visualizzerebbe quanto segue:

Per la variabile my_custom_var definita in questa configurazione del bundle:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

File system dell'area di lavoro

La vista del File System Workspace del pannello di estensione IDE Databricks ti permette di visualizzare e aprire i file del workspace Databricks direttamente in Visual Studio Code o Cursor. Fare clic su un notebook per aprirlo in Databricks. È anche possibile creare file o cartelle o caricare file nell'area di lavoro dall'IDE usando i controlli nel riquadro dell'estensione.

Catalogo unity

La vista Unity Catalog del pannello di estensione IDEs Databricks mostra i tuoi cataloghi Databricks. Usa i controlli in questa vista dell'estensione per aprire un catalogo, uno schema o un'altra risorsa di dati in Databricks.