Samouczek: użycie pakietów SSIS do zapisywania plików do usługi OneLake za pośrednictwem usługi Azure Data Lake Storage Gen2

Ten samouczek pokazuje, jak uruchomić istniejący pakiet SSIS, który zapisuje pliki w Azure Data Lake Storage (ADLS) Gen2, a następnie udostępnić te pliki w OneLake za pomocą skrótu. Łącząc czynność Wywoływanie pakietu SSIS w usłudze Data Factory w ramach Microsoft Fabric ze skrótami OneLake, można scentralizować wszystkie dane w OneLake — nawet te generowane przez starsze pakiety obciążeń SSIS.

Przypadek użycia

Wiele organizacji ma pakiety usług SSIS, które wyodrębniają i przekształcają dane, a następnie zapisują wyniki jako pliki proste (CSV, Parquet, XML i inne) do usługi Azure Data Lake Storage Gen2. Te pliki są używane przez podrzędne systemy analizy i raportowania.

Dzięki usłudze Microsoft Fabric możesz przenieść te pliki do usługi OneLake bez zmiany logiki pakietu SSIS:

• Zachowaj istniejące inwestycje w usługę SSIS — kontynuuj korzystanie z pakietów przetestowanych pod kątem bitwy, które zapisują pliki w usłudze ADLS Gen2 za pośrednictwem menedżera połączeń usługi Azure Storage. Nie jest wymagane ponowne zapisywanie pakietów.
• Centralizuj dane w OneLake — Utwórz skrót ADLS Gen2 w Fabric lakehouse, aby pliki zapisywane przez SSIS pojawiały się automatycznie w OneLake, gotowe do użycia przez Spark, SQL, Power BI i inne obciążenia Fabric.
• Orkiestruj w sieci szkieletowej — użyj działania Wywołaj pakiet SSIS w potoku sieci szkieletowej, aby zaplanować i monitorować wykonywanie pakietów wraz z innymi działaniami natywnymi dla sieci szkieletowej.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że masz następujące elementy:

• Obszar roboczy usługi Microsoft Fabric z pojemnością Fabric lub wersją próbną.
• Jezioro w obszarze roboczym.
• Konto magazynu usługi Azure Data Lake Storage Gen2 z włączoną hierarchiczną przestrzenią nazw.
• Pakiet SSIS (dtsx), który używa menedżera połączeń usługi Azure Storage do zapisywania plików w usłudze ADLS Gen2.
• Poświadczenia dla konta usługi ADLS Gen2 — na przykład klucz konta, współdzielony podpis dostępu (SAS), jednostka usługi lub konto organizacyjne — posiadającego co najmniej rolę Współautor danych obiektu blob usługi Storage.

Przegląd

Pełny przepływ pracy zawiera cztery kroki:

Krok 1. Konfigurowanie pakietu usług SSIS do zapisywania plików w usłudze ADLS Gen2

W tym kroku upewnij się, że pakiet usług SSIS używa menedżera połączeń usługi Azure Storage do zapisywania plików na koncie usługi ADLS Gen2.

1. Otwórz projekt usług SSIS w programie Visual Studio przy użyciu rozszerzenia SQL Server Integration Services Projects.

2. Zainstaluj pakiet Azure Feature Pack dla usług Integration Services (SSIS). Pakiet Feature Pack udostępnia menedżera połączeń usługi Azure Storage, źródło obiektów blob platformy Azure, lokalizację docelową obiektu blob platformy Azure oraz inne zadania i składniki związane z platformą Azure potrzebne do nawiązania połączenia z usługą ADLS Gen2 z pakietu SSIS.

3. W zasobniku Menedżerowie połączeń dodaj (lub sprawdź) menedżera połączeń usługi Azure Storage . Określ następujące właściwości:

   Majątek	Wartość
   Usługa	ADLS Gen2
   Uwierzytelnianie	Wybierz jeden: AccessKey, ServicePrincipal lub SharedAccessSignature
   Nazwa konta	Nazwa konta magazynu usługi ADLS Gen2

   

4. Skonfiguruj przepływ danych lub zadanie systemu plików, aby używać tego menedżera połączeń i zapisywać pliki wyjściowe do kontenera i ścieżki folderu na koncie magazynowym — na przykład mycontainer\myfolder.

   

5. Przetestuj połączenie i sprawdź, czy pakiet jest wykonywany poprawnie na komputerze lokalnym.

Aby uzyskać szczegółowe informacje na temat menedżera połączeń usługi Azure Storage, zobacz Menedżer połączeń usługi Azure Storage.

Krok 2. Tworzenie skrótu usługi ADLS Gen2 w usłudze Fabric lakehouse

Skrót sprawia, że pliki zapisywane przez pakiet SSIS są widoczne w usłudze OneLake bez kopiowania danych. Dowolne obciążenie Fabric — Spark, punkt końcowy analizy SQL, Power BI — może odczytywać pliki za pomocą skrótu.

1. Otwórz swój lakehouse w portalu Fabric.

2. W okienku Eksplorator kliknij prawym przyciskiem myszy folder Pliki (lub podfolder) i wybierz pozycję Nowy skrót.

3. W obszarze Źródła zewnętrzne wybierz pozycję Azure Data Lake Storage Gen2.

4. Wprowadź URL połączenia – punkt końcowy DFS dla Twojego konta magazynu.

   https://<STORAGE_ACCOUNT_NAME>.dfs.core.windows.net
   

5. Wybierz istniejące połączenie lub utwórz nowe. Wybierz rodzaj uwierzytelniania, który ma co najmniej rolę Storage Blob Data Reader na koncie usługi Storage.

6. Wybierz przycisk Dalej, a następnie przejdź do kontenera i folderu, w którym pakiet SSIS zapisuje pliki (na przykład mycontainer).

7. Wybierz folder docelowy, a następnie wybierz pozycję Dalej → Utwórz.

   

Skrót pojawi się teraz w twoim lakehouse. Każdy plik, który pakiet SSIS zapisuje w folderze docelowym usługi ADLS Gen2, jest automatycznie dostępny w usłudze OneLake za pomocą tego skrótu.

Aby uzyskać szczegółowe instrukcje, zobacz Tworzenie skrótu usługi Azure Data Lake Storage Gen2. Aby uzyskać więcej informacji na temat skrótów, zobacz OneLake shortcuts (Skróty onelake).

Krok 3. Przekazywanie pakietu usług SSIS do usługi OneLake

Działanie Wywołaj pakiet SSIS odczytuje pakiety z usługi OneLake. Przekaż plik dtsx (i opcjonalny plik dtsConfig ) do usługi Lakehouse.

1. W portalu Fabric otwórz Lakehouse, w którym chcesz przechowywać pakiet.

2. W sekcji Pliki utwórz folder — na przykład ssis-packages.

3. Przekaż pakiet przy użyciu jednej z następujących metod:

   Metoda	Jak
   Portal sieci fabric	Wybierz pozycję Przekaż → Przekaż pliki i wybierz plik dtsx .
   Eksplorator plików OneLake	Przeciągnij i upuść plik do packages folderu za pomocą Eksploratora plików OneLake na pulpicie.

Aby uzyskać więcej informacji na temat przekazywania plików do usługi OneLake, zobacz dokumentację działania Invoke SSIS Package (Wywoływanie pakietu SSIS).

Krok 4 - Uruchamianie pakietu w potoku Fabric

1. W obszarze roboczym Fabric utwórz nowy potok danych lub otwórz istniejący.

2. W okienku Działania dodaj działanie Invoke SSIS Package (Wywołaj pakiet SSIS ) do kanwy potoku.

3. Na karcie Ustawienia skonfiguruj działanie:

   Setting	Wartość
   Ścieżka pakietu	Przeglądaj do pliku .dtsx, który przesłałeś w kroku 3.
   Ścieżka konfiguracji(opcjonalnie)	Przejdź do pliku dtsConfig , jeśli ma to zastosowanie.
   Hasło szyfrowania(opcjonalnie)	Jeśli poziom ochrony pakietu to EncryptSensitiveWithPassword lub EncryptAllWithPassword, podaj hasło używane do szyfrowania pakietu.
   Włączanie rejestrowania	Wybierz, aby zapisać logi wykonania do OneLake.

   

4. Wybierz Zapisz, a następnie wybierz Uruchom, aby natychmiast wykonać potok, lub wybierz Harmonogram, aby skonfigurować cykliczne wykonywanie.

5. Monitoruj postęp w zakładce Dane wyjściowe potoku lub w centrum Monitor obszaru roboczego. Jeśli rejestrowanie jest włączone, dane wyjściowe działania zawierają ścieżkę rejestrowania w usłudze OneLake.

Aby uzyskać szczegółowe informacje o konfiguracji, zobacz Używanie działania Invoke SSIS Package do uruchomienia pakietu SSIS.

Weryfikowanie wyników

Po pomyślnym zakończeniu przebiegu potoku:

1. Otwórz usługę Lakehouse i przejdź do skrótu utworzonego w kroku 2.
2. Upewnij się, że pliki wyjściowe zapisane przez pakiet SSIS są wyświetlane w folderze skrótów.

Podsumowanie

Łącząc kilka funkcji sieci szkieletowej, można przenieść dane wyjściowe usług SSIS oparte na plikach do usługi OneLake bez modyfikowania istniejących pakietów:

1. Menedżer połączeń usługi Azure Storage zapisuje pliki w usłudze ADLS Gen2 z pakietu SSIS.
2. Skrót OneLake przedstawia te pliki w usłudze Fabric lakehouse — nie jest wymagana żadna kopia danych.
3. Przekazywanie pakietu do usługi OneLake sprawia, że plik dtsx jest dostępny na potrzeby wykonywania potoku Fabric.
4. Aktywność Wywoływania pakietu SSIS organizuje i monitoruje wykonywanie pakietów w potoku Fabric.

Ten wzorzec umożliwia zarządzanie wszystkimi danymi w usłudze OneLake przy jednoczesnym zachowaniu istniejących inwestycji w usługę SSIS.

Treści powiązane

• Wywoływanie dokumentacji działania pakietu usług SSIS
• Skróty OneLake
• Tworzenie skrótu usługi Azure Data Lake Storage Gen2
• Menedżer połączeń usługi Azure Storage
• Zintegruj SSIS z bazą danych SQL w Microsoft Fabric
• Omówienie usługi Data Factory w usłudze Microsoft Fabric