Een OneLake Lakehouse-tabel kopiëren naar Azure Machine Learning via de gebruikersinterface

In dit artikel wordt beschreven hoe u Microsoft Fabric OneLake-tabeltype (/Tables)-gegevens beschikbaar maakt in Azure Machine Learning door deze te kopiëren naar een ADLS-account (Azure Data Lake Storage) en een gegevensarchief te maken via de kopie. U doet de hele taak in de gebruikersinterface van studio.

Azure Machine Learning kan rechtstreeks verbinding maken met OneLake-bestandstypen (/Files) via een OneLake-gegevensarchief, zonder kopie. Dit gegevensarchief zonder kopie biedt geen ondersteuning voor Lakehouse-tabellen, zoals wordt weergegeven in de volgende schermopname. In dit artikel wordt dus een tijdelijke oplossing op basis van de gebruikersinterface besproken voor tabelgegevens.

Schermopname van een tabel in Microsoft Fabric.

Note

Met deze procedure worden gegevens gekopieerd naar Azure Data Lake Storage. De gekopieerde gegevens zijn een momentopname van een bepaald tijdstip, geen livekoppeling, dus u voert de kopie opnieuw uit wanneer de brontabel wordt gewijzigd. Als u geen workflow nodig hebt die alleen de gebruikersinterface gebruikt, overweeg dan eerst de opties waarbij niet gekopieerd hoeft te worden: een OneLake-datastore (Microsoft Fabric) voor /Files data, of rechtstreekse toegang vanuit compute. Zie OneLake integreren met Azure Machine Learning voor een overzicht van alle opties voor OneLake-integratie.

Wanneer gebruikt u deze methode?

Gebruik de methode op basis van kopiëren in dit artikel wanneer aan beide voorwaarden wordt voldaan:

  • Uw gegevens zijn van het type OneLake-tabel (/Tables), waarnaar een OneLake-gegevensopslag niet rechtstreeks kan verwijzen.
  • U wilt de verbinding volledig bouwen in Azure Machine Learning Studio, zonder de CLI of SDK.

Als u live-toegang zonder kopie nodig hebt, of als uw gegevens zich in de sectie lakehouse /Files bevinden, gebruikt u in plaats daarvan een OneLake-gegevensopslag.

Vereiste voorwaarden

Hoe de kopieerwerkstroom werkt

Deze tijdelijke oplossing bestaat uit drie onderdelen:

  1. Een Data Lake Storage-account maken en instellen in de Azure-portal.
  2. Gebruik een Fabric gegevenspijplijn om de tabelgegevens van OneLake te kopiëren naar Azure Data Lake Storage.
  3. Maak een Azure Machine Learning gegevensarchief via de Azure Data Lake Storage-container.

In het volgende diagram ziet u de algehele stroom:

Schermopname van de algehele stroom van de oplossing.

Important

Omdat met deze methode gegevens worden gekopieerd, bevat het Azure Machine Learning gegevensarchief een momentopname van een bepaald tijdstip. Voer de kopie opnieuw uit wanneer de bron lakehouse-tabel wordt gewijzigd. De kopie dupliceert ook de opslag, wat extra kosten met zich meebrengt, en behoudt de OneLake-governance of gegevensafstamming niet.

Het Data Lake Storage-account instellen in Azure Portal

Wijs de rollen Storage Blob Data Contributor en Storage File Data Privileged Contributor toe aan de gebruikersidentiteit of service-principal om toegang tot het gegevensvlak en machtigingen te verlenen om containers te maken. Toegang tot de accountsleutel wordt afzonderlijk beheerd door de instelling Toegang tot opslagaccountsleutels toestaan , die u in een latere stap inschakelt. De rollen toewijzen aan de gebruikersidentiteit:

  1. Open de Microsoft Azure-portal.

  2. Selecteer de dienst Openslagaccounts.

    Schermopname van de selectie van de opslagaccountservice.

  3. Selecteer op de pagina Opslagaccounts het Data Lake Storage-account dat u in de vereiste stap hebt gemaakt. Er wordt een pagina met de eigenschappen van het opslagaccount geopend.

    Schermopname van de eigenschappenpagina van het Data Lake Storage-account.

  4. Selecteer Toegangstoetsen in het linkerdeelvenster en noteer de sleutel. U hebt deze waarde in een latere stap nodig.

  5. Selecteer en schakel sleuteltoegang tot opslagaccount in, zoals weergegeven in de volgende schermopname.

    Aanbeveling

    Gebruik voor productieworkloads verificatie op basis van identiteit (Microsoft Entra ID) in plaats van accountsleutels. Zie Gegevensarchieven maken voor meer informatie.

    Schermopname van het inschakelen van sleuteltoegang tot een Data Lake Storage-account in Azure Portal.

  6. Selecteer Access Control (IAM) in het linkerdeelvenster en wijs de rollen Inzender voor opslagblobgegevens en Bevoegde inzender voor opslagbestandsgegevens toe aan de service-principal.

    Schermopname die laat zien hoe u rollen van een Data Lake Storage-account toewijst in Azure Portal.

  7. Maak een container in het opslagaccount. Noem deze onelake-table.

    Schermopname van het maken van een Data Lake Storage-accountcontainer in Azure Portal.

Een Fabric-gegevenspijplijn gebruiken om gegevens te kopiëren naar een Azure Data Lake Storage-account

Aanbeveling

U kunt ook een Fabric Copy-taak gebruiken, die een eenvoudigere ervaring biedt voor scenario's voor het kopiëren van gegevens.

  1. Selecteer in de Fabric-portal gegevenspijplijn op de pagina Nieuw item.

    Schermopname van de selectie van een gegevenspijplijn op de pagina 'Nieuw item in Fabric'.

  2. Selecteer Kopieergegevensassistent.

    Schermopname van de selectie van Copy data-assistent.

  3. Selecteer azure-blobs in De assistent Gegevens kopiëren:

    Schermopname van de selectie van Select Azure blobs in de Fabric Copy Data-assistent.

  4. Als u een verbinding wilt maken met het Azure Data Lake-opslagaccount, selecteert u Verificatietype: Accountsleutel en vervolgens Volgende:

    Schermopname die laat zien hoe je een verbinding maakt in een Fabric-gegevenspijplijn.

    Aanbeveling

    Als u accountsleutels wilt voorkomen, selecteert u een verificatietype op basis van identiteit, zoals organisatieaccount, en maakt u het Azure Machine Learning gegevensarchief met op identiteit gebaseerde toegang. Deze benadering maakt gebruik van de gegevensvlakrollen die u eerder hebt toegewezen en vereist geen toegang tot de accountsleutel.

  5. Selecteer het gegevensdoel en selecteer Volgende:

    Schermopname van de selectie van de gegevensbestemming.

  6. Maak verbinding met het gegevensdoel en selecteer Volgende:

    Schermopname van de verbinding met het gegevensdoel.

  7. Met deze stap wordt de gegevenskopieertaak automatisch gestart:

    Schermopname van de kopieeractiviteit is gepland.

    Deze stap kan enige tijd duren. Het leidt rechtstreeks naar de volgende stap.

  8. Controleer of de gegevenskopieertaak is voltooid:

    Schermopname die laat zien dat de kopieerbewerking is geslaagd.

Een Azure Machine Learning gegevensarchief maken via de Azure Data Lake Storage-container

Nu uw gegevens zich in de Azure Data Lake-opslagresource bevinden, kunt u een Azure Machine Learning-gegevensarchief maken.

  1. In het Azure-opslagaccount bevat de container , zoals links wordt weergegeven, gegevens, zoals aan de rechterkant wordt weergegeven:

    Schermopname die laat zien hoe u de gegevens in de Container van het Azure-opslagaccount controleert.

  2. Maak in Azure Machine Learning Studio een gegevensasset. Als u het type wilt bepalen, opent u de container onelake-table en controleert u of de kopie één bestand of een map met bestanden heeft geproduceerd. Selecteer Bestand (uri_file) voor één bestand of Map (uri_folder) voor een map met bestanden, wat gebruikelijk is wanneer de tabel als meerdere bestanden exporteert:

    Schermopname van de selectie van het gegevensassettype.

  3. Selecteren in Azure Storage:

    Schermopname van het selecteren van Azure Storage.

  4. Maak een nieuw gegevensarchief met behulp van de waarde van de accountsleutel uit de eerdere stap Een verbinding maken met het Azure Data Lake-opslagaccount:

    Schermopname van het maken van een nieuw gegevensarchief in Azure Machine Learning.

  5. U kunt ook rechtstreeks een gegevensarchief maken in Azure Machine Learning Studio:

    Schermopname van het maken van een gegevensarchief in Azure Machine Learning.

  6. U kunt de details bekijken van het gegevensarchief dat u hebt gemaakt:

    Schermopname van de details van het gegevensarchief dat u hebt gemaakt.

  7. De gegevens in de datastore controleren

    Schermopname van het openen van een gegevensarchief in Azure Machine Learning.

Nu u het gegevensarchief in Azure Machine Learning hebt gemaakt, kunt u dit gebruiken in machine learning-oefeningen.

Troubleshooting

  • Roltoewijzing is nog niet effectief: Azure roltoewijzingen kunnen enkele minuten duren om door te geven. Als de kopieertaak of het maken van de datastore mislukt vanwege een autorisatiefout, wacht u enkele minuten en probeert u het opnieuw.
  • Toegang tot accountsleutel uitgeschakeld: als u de accountsleutel niet kunt ophalen of gebruiken, controleert u of toegang tot de sleutel van het opslagaccount is ingeschakeld voor het opslagaccount.
  • Fabric verbinding mislukt: controleer de naam en sleutel van het opslagaccount en controleer of de container onelake-table bestaat.
  • Momentopname is verlopen: de kopie produceert een momentopname van een bepaald tijdstip. Om de Fabric-gegevenspijplijn actueel te houden, plant u deze in om volgens een terugkerend schema te worden uitgevoerd.

Verwante onderwerpen

Referenties

  • Laatst bijgewerkt om