Een bestand voor visuele gegevensvoorbereiding naar productie verplaatsen

Elk visualgegevensvoorbereidingsbestand dat u in Lakeflow Designer bouwt, wordt ondersteund door code die gereed is voor productie en is opgeslagen als een notebook met de naam <name>.designer.ipynb. U kunt deze verplaatsen naar productie met dezelfde hulpprogramma's die u gebruikt voor andere Azure Databricks code: sla deze op in Git, voer deze uit als een taak en implementeer deze met declaratieve Automation-bundels.

Opslaan en versie in Git

In de werkruimte worden visuele gegevensvoorbereidingsbestanden systeemeigen opgeslagen. Als u een bestand voor visuele gegevensvoorbereiding wilt versioneren, plaatst u het in een Git-map en volgt u het zoals elk ander notebook:

1. Maak een Git-map in uw werkruimte.
2. Verplaats het bestand met visuele gegevensvoorbereiding naar die Git-map.
3. Het bestand bijhouden, doorvoeren en versieren zoals elk ander notitieblok in Git. In Git wordt het bestand weergegeven als <file_name>.designer.ipynb.

Zie Azure Databricks Git-mappen voor meer informatie over Git-mappen. Raadpleeg Een bestand voor visuele gegevensvoorbereiding exporteren en importeren om een bestand voor visuele gegevensvoorbereiding te exporteren of te importeren.

Extern aangepaste operatorcode behandelen

Designer detecteert wanneer de door een operator gegenereerde code verandert buiten de visuele datavoorbereidingseditor, bijvoorbeeld via Git of een bundle-deployment. Om de gewijzigde code te behouden, voorkomt Designer wijzigingen in de operator in de gebruikersinterface of via Genie Code. Om de wijzigingen ongedaan te maken, open je de operator, selecteer je Code opnieuw genereren en bevestig je. Designer maakt de code opnieuw aan vanuit de operatorconfiguratie.

Plannen als een taak

U kunt een bestand voor visuele gegevensvoorbereiding automatiseren door het als taak in te plannen.

• Rechtstreeks plannen: klik op de knop Planning in het bovenste menu om een geplande taak te maken voor het voorbereidingsbestand voor visuele gegevens.
• Toevoegen aan een taak: maak een Azure Databricks taak en voeg het voorbereidingsbestand voor visuele gegevens toe als een taak. Hiermee kunt u dat visuele gegevensvoorbereidingsbestand combineren met andere taken in een grotere pijplijn. Selecteer in de vervolgkeuzelijst Type van taak de optie Visuele gegevensvoorbereiding en selecteer vervolgens het bestand.

Geplande uitvoeringen tonen elke operator als een afzonderlijk knooppunt in de taakgrafiek van Taken, zodat u de resultaten per operator in een uitvoering kunt bekijken net zoals op het canvas.

Als u bestaande planningen wilt weergeven en beheren, klikt u nogmaals op Plannen om de lijst te openen. Klik op Planning toevoegen om nog een planning te maken, of open het van een planning om deze te Bewerken, Nu uitvoeren, Pauzeren, Klonen, Bekijken in Taken of Verwijderen.

Operatoruitvoer weergeven in een run

Standaard genereert een geplande uitvoering alleen uitvoer voor terminaloperators (operators zonder downstreamverbinding), zoals een uitvoeroperator. Om de resultaten van elke operator in de run te zien, klap je Geavanceerde instellingen uit in het planningsdialoogvenster en selecteer je onder Weergave van operatoruitvoerDe resultaten van elke operator in de uitvoer van de run weergeven.

Schakel deze optie uit voor grote canvassen om te voorkomen dat de limiet voor de uitvoergrootte van de uitvoering wordt overschreden.

Selecteer de serverloze omgeving

Wanneer u met een visueel gegevensvoorbereidingsbestand werkt, kunt u de serverloze omgeving selecteren die wordt gebruikt voor interactieve uitvoeringen en geplande taken. Configureer dit via het Omgeving-zijvenster in de rechterzijbalk, op dezelfde manier als bij een notebook. Selecteer onder Basisomgeving een omgevingsversie. Zie De serverloze omgeving configureren.

Parameteriseer voor verschillende omgevingen

Met parameters kunt u hetzelfde visuele gegevensvoorbereidingsbestand uitvoeren voor verschillende omgevingen, bijvoorbeeld een testcatalogus tijdens de ontwikkeling en een productiecatalogus in productie. Overschrijf parameterwaarden voor elke planning, of geef ze per bundeldoel. Zie Parameterwaarden overschrijven in productie.

Implementatie met declaratieve automatiseringsbundels

Met declaratieve Automation-bundels kunt u Azure Databricks resources, zoals taken als bronbestanden, definiëren en implementeren, zodat u best practices voor software-engineering kunt toepassen, zoals broncodebeheer, codebeoordeling, testen en CI/CD op uw visuele gegevensvoorbereidingsbestanden. Zie Wat zijn Declarative Automation Bundles?

Als u een bestand voor visuele gegevensvoorbereiding met een bundel wilt implementeren, definieert u een notebooktaak en verwijst u in .designer.ipynb naar het bestandspad van notebook_task.notebook_path. Binnen een bundel gebruikt een bestand voor visuele gegevensvoorbereiding de sleutel notebook_task, ook al wordt het in de Jobs-gebruikersinterface weergegeven als het taaktype Visual data prep.

In het volgende voorbeeld wordt een taak gedefinieerd waarmee een visualgegevensvoorbereidingsbestand wordt uitgevoerd dat zich naast het configuratiebestand van de bundel bevindt:

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Implementeer en voer de bundel uit met de Azure Databricks CLI:

databricks bundle deploy
databricks bundle run daily_prep_job

Zie Notebook task voor de volledige lijst met sleutels voor notebooktaken. Zie Een taak ontwikkelen met declaratieve automatiseringsbundels voor een volledige uitleg over het definiëren van een taak in een bundel.

Automatiseren met CI/CD

Als u visuele gegevensvoorbereidingsbundels automatisch wilt valideren en implementeren, integreert u deze in een CI/CD-pijplijn. Zie GitHub Actions voor een voorbeeld waarin GitHub Actions wordt gebruikt.

Aanvullende bronnen

• Tutorial: Bouw een visuele datavoorbereiding
• Gebruik parameters in Lakeflow Designer
• Wat zijn declaratieve automatiseringsbundels?
• Notebook-taak voor taken