Bundel- en ontdekkingsfuncties

De Databricks IDE-extensie biedt extra functies binnen Visual Studio Code waarmee je Declarative Automation Bundles kunt definiëren, uitrollen en uitvoeren, en werkruimtebestanden en Unity Catalog-catalogi kunt verkennen.

Om de Databricks IDE-extensie te installeren, zie Installeren de Databricks IDE-extensie.

Ondersteuning voor declaratieve automatiseringsbundels in projecten

De Databricks IDE-extensie voegt de volgende functies toe voor uw Declarative Automation Bundles-projecten:

• Eenvoudige verificatie en configuratie van uw declaratieve Automation-bundels via de Visual Studio Code-gebruikersinterface, inclusief AuthType-profielselectie . Zie Autorisatie instellen voor de Databricks IDE-extensie.
• Een Target selector in de Databricks-extensie om snel te schakelen tussen bundel-doelomgevingen. Zie De doelimplementatiewerkruimte wijzigen.
• De optie Override Jobs clustert in de bundel in de extensie om eenvoudige clusteroverride mogelijk te maken.
• Een bundelresourceverkennerweergave , waarmee u met één klik door uw bundelresources kunt bladeren met behulp van de Visual Studio Code-gebruikersinterface, de resources van uw lokale Databricks Asset Bundle kunt implementeren in uw externe Azure Databricks-werkruimte en rechtstreeks vanuit Visual Studio Code naar uw geïmplementeerde resources in uw werkruimte kunt gaan. Zie Bundelresourceverkenner.
• Een bundelvariabelenweergave, waarmee u uw bundelvariabelen kunt bladeren en bewerken met behulp van de Visual Studio Code-gebruikersinterface. Zie Bundelvariabelen.

Bundelresourceverkenner

De Bundle Resource Explorer-weergave in de Databricks IDE-extensie gebruikt de resourcedefinities in de bundelconfiguratie van het project om bronnen weer te geven, inclusief pijplijndatasets en hun schema's. Hiermee kunt u ook resources implementeren en uitvoeren, gedeeltelijke updates van pijplijnen valideren en uitvoeren, gebeurtenissen en diagnostische gegevens van pijplijnuitvoeringen bekijken en naar resources in uw externe Azure Databricks-werkruimte navigeren. Zie de resources voor informatie over bundelconfiguratiebronnen.

Bijvoorbeeld, op basis van een eenvoudige taakdefinitie:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

In de weergave Bundelresourceverkenner in de extensie wordt de notebooktaakresource weergegeven:

Een taak implementeren en uitvoeren

Als u de bundel wilt implementeren, klikt u op het cloudpictogram (bundel implementeren).

Als u de taak wilt uitvoeren, selecteert u in de weergave Bundelresourceverkenner de naam van de taak. Dit is mijn notebooktaak in dit voorbeeld. Klik vervolgens op het pictogram Afspelen (De bundel implementeren en de resource uitvoeren).

Als u de actieve taak wilt weergeven, vouwt u in de weergave Bundelresourceverkenner de taaknaam uit, klikt u op Status uitvoeren en klikt u vervolgens op het koppelingspictogram (koppeling extern openen).

Pijplijnproblemen valideren en diagnosticeren

Voor een pijplijn kunt u een validatie en een gedeeltelijke update activeren door de pijplijn te selecteren en vervolgens op het controlepictogram (De bundel implementeren en de pijplijn valideren) te klikken. De gebeurtenissen van de uitvoering worden weergegeven en eventuele fouten kunnen worden vastgesteld in het Visual Studio Code-PROBLEMEN paneel.

Bundelvariabelen

De Bundle Variables View-weergave in de Databricks IDE-extensie toont alle aangepaste variabelen en bijbehorende instellingen die in je bundelconfiguratie zijn gedefinieerd. U kunt variabelen ook rechtstreeks definiëren met behulp van de weergave Bundelvariabelen. Deze waarden overschrijven de waarden die zijn ingesteld in de bundelconfiguratiebestanden. Zie Aangepaste variabelen voor meer informatie over aangepaste variabelen.

In de Bundelvariabelenweergave van de extensie wordt bijvoorbeeld het volgende weergegeven:

Voor de variabele my_custom_var die in deze bundelconfiguratie is gedefinieerd:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Werkruimtebestandssysteem

De Workspace File System-weergave van het Databricks IDE-extensiepaneel stelt je in staat om je Databricks workspace-bestanden direct te bekijken en te openen in Visual Studio Code of Cursor. Klik op een notitieblok om het te openen in Databricks. U kunt ook bestanden of mappen maken of bestanden uploaden naar uw werkruimte vanuit de IDE met behulp van besturingselementen in het deelvenster Extensie.

Unity-catalogus

De Unity Catalog-weergave van het Databricks IDE-extensiepaneel toont je Databricks-catalogi. Gebruik de besturingselementen in deze extensieweergave om een catalogus, schema of andere gegevensasset te openen in Databricks.