Verbinding maken met Common Data Model-tabellen in Azure Data Lake Storage

Neem gegevens op in Dynamics 365 Customer Insights - Data met behulp van uw Azure Data Lake Storage-account met Common Data Model-tabellen. Gegevensopname kan volledig of incrementeel zijn.

Vereisten

• Op het Azure Data Lake Storage-account moet hiërarchische naamruimte ingeschakeld zijn. De gegevens moeten worden opgeslagen in een hiërarchische mapindeling die de hoofdmap definieert en submappen heeft voor elke tabel. De submappen kunnen volledige gegevens of incrementele gegevensmappen hebben.

• Als u zich wilt verifiëren met een Microsoft Entra-service-principal, moet deze worden geconfigureerd in uw tenant. Zie Verbinding maken met een Azure Data Lake Storage-account met een Microsoft Entra-service-principal voor meer informatie.

• Voor verbinding met opslag die door firewalls wordt beschermd, stelt u Azure Private Links in.

• Als uw data lake momenteel verbindingen via privékoppeling bevat, moet Customer Insights - Gegevens ook verbinding maken via een privékoppeling, ongeacht de instelling voor netwerktoegang.

• De Azure Data Lake Storage waarmee u verbinding wilt maken en waaruit u gegevens wilt opnemen, moet zich in dezelfde Azure-regio bevinden als de Dynamics 365 Customer Insights-omgeving en de abonnementen moeten zich in dezelfde tenant bevinden. Een verbinding naar een Common Data Model-map vanuit een data lake in een andere Azure-regio wordt niet ondersteund. Als u de Azure-regio van de omgeving wilt weten, gaat u naar Instellingen>Systeem>Info in Customer Insights - Gegevens.

• Gegevens die zijn opgeslagen in onlineservices, kunnen worden opgeslagen op een andere locatie dan waar gegevens worden verwerkt of opgeslagen. Door het importeren van of verbinden met gegevens die zijn opgeslagen in onlineservices, gaat u ermee akkoord dat gegevens kunnen worden overgedragen. Meer informatie vindt u bij Microsoft Trust Center.

• De Customer Insights - Gegevens-service-principal moet een van de volgende rollen hebben om toegang te krijgen tot het opslagaccount. Voor meer informatie, zie Machtigingen verlenen aan de service-principal voor toegang tot het opslagaccount.

  • Storage Blob-gegevenslezer
  • Eigenaar van opslagblobgegevens
  • Inzender van opslag-blobgegevens

• Wanneer u verbinding maakt met uw Azure-opslag met behulp van de optie Azure-abonnement, heeft de gebruiker die de gegevensbronverbinding instelt, minimaal de Bijdrager van Storage Blob-gegevens-machtigingen nodig voor het opslagaccount.

• Wanneer u verbinding maakt met uw Azure-opslag met behulp van de optie Azure-resource, heeft de gebruiker die de gegevensbronverbinding instelt, minimaal de machtiging voor de actie Microsoft.Storage/storageAccounts/read nodig voor het opslagaccount. Een ingebouwde Azure-rol die deze actie bevat, is de rol Lezer. U kunt de toegang tot alleen de noodzakelijke actie beperken door een aangepaste Azure-rol te maken die alleen deze actie bevat.

• Voor optimale prestaties moet de grootte van een partitie 1 GB of minder zijn en mag het aantal partitiebestanden in een map niet groter zijn dan 1000.

• Gegevens in uw Data Lake Storage moeten de Common Data Model-standaard volgen voor de opslag van uw gegevens en het Common Data Model-manifest hebben om het schema van de gegevensbestanden (*.csv of *.parquet) weer te geven. Het manifest moet de details van de tabellen bevatten, zoals tabelkolommen en gegevenstypen, evenals de locatie van het gegevensbestand en het bestandstype. Zie voor meer informatie Het Common Data Model-manifest. Als het manifest niet aanwezig is, kunnen Admin-gebruikers met de rol Opslagblobgegevens-eigenaar of Opslagblobgegevensbijdrager het schema definiëren bij het opnemen van de gegevens.

  Opmerking

  Als een van de velden in de PARQUET-bestanden gegevenstype Int96 heeft, worden de gegevens mogelijk niet weergegeven op de pagina Tabellen . We raden u aan standaardgegevenstypen te gebruiken, zoals de Unix-tijdstempelindeling (die de tijd weergeeft als het aantal seconden sinds 1 januari 1970, om middernacht UTC).

Beperkingen

• Customer Insights - Gegevens ondersteunt geen kolommen met een decimaal type met een precisie groter dan 16.

Verbinding maken met Azure Data Lake Storage

Namen van gegevensverbindingen, gegevenspaden (zoals mappen binnen een container) en tabelnamen moeten beginnen met een letter. Namen mogen alleen letters, cijfers en onderstrepingstekens (_) bevatten. Speciale tekens worden niet ondersteund.

1. Ga naar Gegevens>Gegevensbronnen.

2. Selecteer Een gegevensbron toevoegen.

3. Selecteer Azure Data Lake Common Data Model-tabellen.

4. Voer een Naam gegevensbron en een optionele Beschrijving in. Er wordt naar de naam verwezen in downstreamprocessen en deze kan niet worden gewijzigd nadat de gegevensbron is gemaakt.

5. Kies een van de volgende opties voor Uw opslagruimte verbinden via. Zie Verbinding maken met een Azure Data Lake Storage-account met een Microsoft Entra-service-principal voor meer informatie.

   • Azure-resource: Voer de Resource-id in.
   • Azure-abonnement: selecteer het Abonnement en dan de Resourcegroep en het Opslagaccount.

   Opmerking

   U hebt een van de volgende rollen nodig voor de container om de gegevensbron te maken:

   • Storage Blob-gegevenslezer is voldoende om van een opslagaccount te lezen en de gegevens op te nemen in Customer Insights - Gegevens.
   • Bijdrager van Storage Blob-gegevens of Eigenaar van Storage Blob-gegevens is vereist als u de manifestbestanden rechtstreeks in Customer Insights - Gegevens wilt bewerken.

   Als u de rol voor het opslagaccount hebt, hebt u dezelfde rol voor alle containers ervan.

6. Kies de naam van de Container die de gegevens en het schema (bestand model.json of manifest.json) bevat waaruit gegevens moeten worden geïmporteerd.

   Opmerking

   Alle model.json- of manifest.json-bestanden die zijn gekoppeld aan een andere gegevensbron in de omgeving, worden niet weergegeven in de lijst. Hetzelfde model.json- of manifest.json-bestand kan echter worden gebruikt voor gegevensbronnen in meerdere omgevingen.

7. Optioneel, als u gegevens van een opslagaccount wilt opnemen via een Azure Private Link, selecteert u Private Link inschakelen. Ga voor meer informatie naar Private Links.

8. Als u een nieuw schema wilt maken, gaat u naar Een nieuw schemabestand maken.

9. Als u een bestaand schema wilt gebruiken, navigeert u naar de map met het model.json- of manifest.cdm.json-bestand. U kunt in een map zoeken om het bestand te vinden.

10. Selecteer het json-bestand en selecteer Volgende. Een lijst met beschikbare tabellen wordt weergegeven.

11. Selecteer de tabellen die u wil opnemen.

    Tip

    Als u een tabel in een JSON-bewerkingsinterface wilt bewerken, selecteert u de tabel en vervolgens Schemabestand bewerken. Breng uw wijzigingen aan selecteer Opslaan.

12. Voor geselecteerde tabellen die incrementele opname vereisen, wordt Vereist weergegeven onder Incrementeel vernieuwen. Voor elk van deze tabellen, zie Een incrementele vernieuwing configureren voor Azure Data Lake-gegevensbronnen.

13. Voor geselecteerde tabellen waarvoor geen primaire sleutel is gedefinieerd, wordt Vereist weergegeven onder Primaire sleutel. Voor elk van deze tabellen:

    1. Selecteer Vereist. Het deelvenster Tabel bewerken wordt weergegeven.
    2. Kies de primaire sleutel. De primaire sleutel is een kenmerk dat uniek is voor de tabel. Als een kenmerk een geldige primaire sleutel is, mag het geen dubbele waarden, ontbrekende waarden of null-waarden bevatten. Kenmerken van het gegevenstype string, integer en GUID worden ondersteund als primaire sleutels.
    3. Wijzig eventueel het partitiepatroon.
    4. Selecteer Sluiten om het deelvenster op te slaan en te sluiten.

14. Selecteer het aantal kolommen voor elke opgenomen tabel. De pagina Kernmerken beheren wordt weergegeven.

    1. Maak nieuwe kolommen, bewerk of verwijder bestaande kolommen. U kunt de naam, de gegevensindeling wijzigen of een semantisch type toevoegen.
    2. Als u analyses en andere mogelijkheden wilt inschakelen, selecteert u Gegevensprofilering voor de hele tabel of voor specifieke kolommen. Standaard is geen tabel ingeschakeld voor gegevensprofilering.
    3. Selecteer Klaar.

15. Selecteer Opslaan. De pagina Gegevensbronnen wordt geopend met de nieuwe gegevensbron met de status Vernieuwen.

    Tip

    Selecteer een status om het Voortgangs-informatiepaneel te openen, waar je de voortgang van de taak kunt bekijken of kies Annuleren van de taak om de taak te stoppen.

Het laden van gegevens kan enige tijd vergen. Na een succesvolle vernieuwing kunnen de opgenomen gegevens worden bekeken op de pagina Tabellen.

Een nieuw schemabestand maken

1. Selecteer Schemabestand maken.

2. Voer een naam in voor het bestand en selecteer Opslaan.

3. Selecteer Nieuwe tabel. Het deelvenster Nieuwe tabel wordt weergegeven.

4. Voer de naam van de tabel in en kies de Locatie van gegevensbestanden.

   • Meerdere .csv- of .parquet-bestanden: blader naar de hoofdmap, selecteer het patroontype en voer de uitdrukking in.
   • Enkele .csv- of .parquet-bestanden: blader naar het .csv- of .parquet-bestand en selecteer het.

   

5. Selecteer Opslaan.

   

6. Selecteer de kenmerken definiëren om de kenmerken handmatig toe te voegen, of selecteer automatisch genereren. Als u de kenmerken wilt definiëren, voert u een naam in, selecteert u de gegevensindeling en het optionele semantische type. Voor automatisch gegenereerde kenmerken:

   1. Nadat de kenmerken automatisch zijn gegenereerd, selecteert u Kenmerken beoordelen. De pagina Kernmerken beheren wordt weergegeven.

   2. Zorg ervoor dat de gegevensindeling voor elk kenmerk correct is.

   3. Als u analyses en andere mogelijkheden wilt inschakelen, selecteert u Gegevensprofilering voor de hele tabel of voor specifieke kolommen. Standaard is geen tabel ingeschakeld voor gegevensprofilering.

      

   4. Selecteer Klaar. De pagina Tabellen selecteren wordt weergegeven.

7. Ga door met het toevoegen van tabellen en kolommen, indien van toepassing.

8. Nadat alle tabellen zijn toegevoegd, selecteert u Opnemen om de tabellen op te nemen in de gegevensbronopname.

   

9. Voor geselecteerde tabellen die incrementele opname vereisen, wordt Vereist weergegeven onder Incrementeel vernieuwen. Voor elk van deze tabellen, zie Een incrementele vernieuwing configureren voor Azure Data Lake-gegevensbronnen.

10. Voor geselecteerde tabellen waarvoor geen primaire sleutel is gedefinieerd, wordt Vereist weergegeven onder Primaire sleutel. Voor elk van deze tabellen:

    1. Selecteer Vereist. Het deelvenster Tabel bewerken wordt weergegeven.
    2. Kies de primaire sleutel. De primaire sleutel is een kenmerk dat uniek is voor de tabel. Als een kenmerk een geldige primaire sleutel is, mag het geen dubbele waarden, ontbrekende waarden of null-waarden bevatten. Kenmerken van het gegevenstype string, integer en GUID worden ondersteund als primaire sleutels.
    3. Wijzig eventueel het partitiepatroon.
    4. Selecteer Sluiten om het deelvenster op te slaan en te sluiten.

11. Selecteer Opslaan. De pagina Gegevensbronnen wordt geopend met de nieuwe gegevensbron met de status Vernieuwen.

Het laden van gegevens kan enige tijd vergen. Na een succesvolle vernieuwing kunnen de opgenomen gegevens worden bekeken vanaf de pagina Gegevens>Tabellen.

Een Azure Data Lake Storage-gegevensbron bewerken

U kunt de optie Verbinding maken met opslagaccount via wijzigen. Zie Verbinding maken met een Azure Data Lake Storage-account met een Microsoft Entra-service-principal voor meer informatie. Als u verbinding wilt maken met een andere container dan uw opslagaccount, of de accountnaam wilt wijzigen, moet u een nieuwe gegevensbronverbinding maken.

1. Ga naar Gegevens>Gegevensbronnen. Selecteer Bewerken naast de gegevensbron die u wilt bijwerken.

2. Wijzig (een van) de volgende gegevens:

   • Omschrijving

   • Verbind uw opslag met behulp van en verbindingsgegevens. U kunt geen informatie over Container wijzigen bij het bijwerken van de verbinding.

     Opmerking

     Een van de volgende rollen moet worden toegewezen aan het opslagaccount of de container:

     • Storage Blob-gegevenslezer
     • Eigenaar van opslagblobgegevens
     • Inzender van opslag-blobgegevens

   • Private Link inschakelen als u gegevens van een opslagaccount wilt opnemen via een Azure Private Link. Ga voor meer informatie naar Private Links.

3. Selecteer Volgende.

4. Wijzig (een van) de volgende gegevens:

   • Navigeer naar een ander model.json- of manifest.json-bestand met een andere set tabellen uit de container.

   • Als u meer tabellen wilt toevoegen om op te nemen, selecteert u Nieuwe tabel.

   • Als u reeds geselecteerde tabellen wilt verwijderen als er geen afhankelijkheden zijn, selecteert u de tabel en Verwijderen.

     Belangrijk

     Als er afhankelijkheden zijn van het bestaande model.json- of manifest.json-bestand en de set tabellen, ziet u een foutbericht en kunt u geen andere model.json of manifest.json bestand selecteren. Verwijder die afhankelijkheden voordat u het model.json- of manifest.json-bestand wijzigt, of maak een nieuw gegevensbron met model.json of manifest.json dat u wilt gebruiken om te voorkomen dat u de afhankelijkheden verwijdert.

   • Als u de locatie van het gegevensbestand of de primaire sleutel wilt wijzigen, selecteert u Bewerken.

   • Als u de gegevens voor incrementele opname wilt wijzigen, raadpleegt u Een incrementele vernieuwing configureren voor Azure Data Lake-gegevensbronnen.

   • Wijzig alleen de tabelnaam zodat deze overeenkomt met de tabelnaam in het .json-bestand.

     Opmerking

     Zorg ervoor dat de tabelnaam na opname altijd hetzelfde is als de tabelnaam in het bestand model.json of manifest.json. Customer Insights - Gegevens valideert alle tabelnamen met model.json of manifest.json tijdens elke systeemvernieuwing. Als een tabelnaam wordt gewijzigd, treedt er een fout op omdat Customer Insights - Gegevens de nieuwe tabelnaam niet kunnen vinden in het .json-bestand. Als een opgenomen tabelnaam per ongeluk is gewijzigd, bewerkt u de tabelnaam zodat deze overeenkomt met de naam in het .json-bestand.

5. Selecteer Kolommen om deze toe te voegen of te wijzigen, of om gegevensprofilering in te schakelen. Selecteer vervolgens Gereed.

6. Selecteer Opslaan om uw wijzigingen toe te passen en terug te keren naar de pagina Gegevensbronnen.

Een gegevensbron bijwerken wanneer het schema wordt gewijzigd

Als het schema van de brongegevens wordt gewijzigd nadat de verbinding met de gegevensbron is gemaakt, wordt er een fout vanwege een schemamismatch of gegevensmismatch weergegeven met de vraag de verbinding met de gegevensbron bij te werken. De fout 'De kolommen in de brongegevens zijn gewijzigd' wordt weergegeven in de taakdetails. Schemawijzigingen omvatten updates voor kolommen, kolomnamen en kolomgegevenstypen.

1. Ga naar Gegevens>Gegevensbronnen. Selecteer Bewerken naast de gegevensbron met de fouten. Selecteer vervolgens Volgende.

2. Selecteer de tabel met fouten.

   

3. Selecteer De kenmerken automatisch genereren en bevestigen.

4. Nadat het genereren van het kenmerk is voltooid, selecteert u Gereed.

5. Selecteer Opnemen in de tabel en selecteer Opslaan om uw wijzigingen toe te passen en terug te keren naar de pagina Gegevensbronnen .

Partitiefragmenten in Data Lake-opname voorkomen

Het is mogelijk dat uw data lake-partitioneringsstrategie honderden duizenden kleine partities kan maken, zoals een nieuwe partitie voor elke entiteit elk uur. Volg deze aanbevolen procedures om partitiefragmentatie te voorkomen:

• Vermijd overpartitionering: partitionering moet zijn gebaseerd op kolommen met lage kardinaliteit, zoals datum of regio, in plaats van velden met een hoge kardinaliteit, zoals entiteits-id of uur.
• Doel optimale bestandsgrootten: om de overhead van het openen en sluiten van veel kleine bestanden te verminderen en leesprestaties te verbeteren, richt u op partitiebestanden tussen 16 MB en 1 GB.
• Gebruik Delta Lake, dat functies voor automatische optimalisatie biedt: Delta Lake biedt ondersteuning voor automatisch aanvullen en optimaliseert schrijffuncties die automatisch bestandsgrootten en partitieindelingen beheren. In Databricks Runtime 11.3 en hoger stemt Delta Lake bestandsgroottes en partities automatisch op de achtergrond af.
• Evalueer de partitioneringsstrategie periodiek opnieuw: Naarmate het gegevensvolume en de toegangspatronen zich ontwikkelen, moet uw partitioneringsstrategie daarom worden aangepast. Gebruik hulpprogramma's zoals statistieken voor gegevensoverslag en queryprofilering om richting te geven aan aanpassingen.

Honderdduizenden kleine partities kunnen de volgende symptomen veroorzaken:

• Prestatievermindering tijdens gegevensopname en uitvoering van query's.
• Verhoogde overhead van metagegevens en latentie.
• Hogere operationele kosten vanwege inefficiënt opslag- en rekengebruik.
• Fouten wanneer het aantal partities de beperkingen van een service overschrijdt.
• Geheugentekortfouten wanneer het systeem voor iedere partitie een graaf probeert aan te maken.