Gegevens opnemen in Lakeflow Designer

U kunt alle gegevens toegankelijk maken via Azure Databricks in een visuele gegevensvoorbereiding in Lakeflow Designer.

Alle gegevensopname in Designer begint met de operator Bron . Wanneer u het configuratievenster van een bronoperator opent, hebt u de volgende opties.

Door bestaande tabellen bladeren

Klik op Bestaande bekijken om de assetkiezer te openen en door tabellen en volumes in Unity Catalog te bladeren. Gebruik deze optie wanneer uw gegevens zich al in Azure Databricks.

U kunt ook een metrische unity-catalogusweergave als bron selecteren. Wanneer u een metrische weergave selecteert, selecteert u de dimensies en metingen die u wilt opnemen en genereert Designer de geaggregeerde query.

Maak een externe databaseverbinding aan

Selecteer in een niet-geconfigureerde Source-operator de optie Externe databaseverbinding aanmaken om verbinding te maken met een externe database. Designer maakt een Unity Catalog-verbinding en een foreign catalog aan, en opent vervolgens de catalogus zodat je een tabel kunt selecteren.

Het aanmaken van een nieuwe Unity Catalog-verbinding vereist de CREATE CONNECTION en CREATE CATALOG privileges op de Unity Catalog metastore.

Designer ondersteunt de volgende verbindingstypen:

• Amazon Redshift
• Azure Synapse
• Databricks
• Google BigQuery
• MySQL
• Oracle
• PostgreSQL
• Salesforce Data Cloud
• Salesforce Data Cloud-bestandsdeling
• Snowflake
• SQL Server
• Teradata

Als een gegevensbron niet rechtstreeks beschikbaar is in Designer, controleert u Lakeflow Connect voor een beheerde connector. Lakeflow Connect ondersteunt opname vanuit SaaS-toepassingen (Salesforce, Workday, HubSpot en meer), databases, cloudopslag en streamingbronnen. Nadat u gegevens hebt opgenomen met Lakeflow Connect in een Unity Catalog-tabel, kunt u deze gebruiken als bron in Designer.

Een map of volume opnemen

In plaats van een afzonderlijk bestand kan de bronoperator zich richten op een volledig Unity Catalog-volume of mappad. Designer detecteert de indeling van de bestanden in de map en laadt deze in één tabel:

• Voor gestructureerde bestandsindelingen zoals CSV, JSON, Excel en Parquet leest Designer alle bestanden en combineert de rijen in één tabel.
• Voor documentbestanden zoals PDF's leest Designer elk bestand als één rij, zodat u één rij per bestand krijgt.

Sleep een bestand en zet het neer

Sleep een bestand naar het canvas vanuit de workspace-bestandsbrowser of vanaf je lokale apparaat om automatisch een Source-operator aan te maken. Voor lokale bestanden uploadt Designer een kopie naar een Unity Catalog-volume zodat de operator het kan lezen.

Een tabel maken op basis van een bestand

Selecteer Tabel maken uit bestand in het deelvenster Bronconfiguratie om een lokaal CSV- of Excel-bestand te uploaden en er een Unity Catalog-tabel van te maken. Gebruik deze optie als u wilt dat de gegevens worden bewaard als een beheerde tabel in plaats van opgeslagen in een volume. Daarnaast biedt dit voor grote hoeveelheden gegevens de beste prestaties. Geüploade bestanden zijn onderhevig aan de maximale bestandsgrootte van het Unity Catalog-volume. Zie Werken met bestanden in Unity Catalog-volumes.

Importeren vanuit Google Drive

Een bestand importeren uit Google Drive:

1. Selecteer Importeren in Google Drive in het deelvenster Bronconfiguratie.
2. Selecteer een bestaande Unity Catalog-verbinding die toegang heeft tot Google Drive, of kies ' Verbinding aanmaken ' om er een aan te maken.
3. Geef de bestands-URL op.

Zie Bestanden importeren vanuit Google Drive voor vereisten voor de verbinding en installatie-instructies.

Import uit SharePoint

Een bestand importeren uit SharePoint:

1. Selecteer in het deelvenster Bronconfiguratie Import uit SharePoint.
2. Selecteer een bestaande Unity Catalog-verbinding die toegang heeft tot je SharePoint-site, of kies 'Verbinding aanmaken' om er een aan te maken.
3. Geef de directe bestandskoppeling op.

Voor verbindingsvereisten en installatie-instructies, zie Intekenbestanden van SharePoint.

Importeer een Alteryx-workflow

Breng een bestaande Alteryx-workflow als een visueel data-voorbereidingsbestand in Lakeflow Designer in. Open Genie Code in de zijbalk en vraag het om de workflow te converteren. Geef het pad naar het workflowbestand in je werkruimte of een Unity Catalog-volume. Je kunt ook een .yxmd, .yxmc, .yxwz, .yxzp, of .yxi bestand toevoegen wanneer er bijlagen beschikbaar zijn. Bestandsbijlagen vereisen dat je workspace-beheerder Gegevens uploaden via de UI inschakelt.

Genie Code vertaalt transformaties waar mogelijk naar ingebouwde operatoren en schrijft SQL- of Python-operatoren voor logica die code vereist. Het vraagt om extra bestanden, data of brontoewijzingen wanneer dat nodig is. Als het canvas al een workflow bevat, maakt het een nieuw visueel data-voorbereidingsbestand aan.

De geconverteerde workflow kan een andere combinatie van operatoren gebruiken. Om de conversie te verifiëren, gebruik je dezelfde invoergegevens en vergelijk je de resultaten met de oorspronkelijke workflow.

Aanvullende bronnen

• Een visuele gegevensvoorbereiding maken in Lakeflow Designer
• Ingebouwde operators in Lakeflow Designer