Konvertiere SQL-Skripte und ETL-Pipelines mit Genie Migrate

Genie Migrate wandelt SQL aus Dialekten wie T-SQL, Snowflake, Redshift, Oracle, BigQuery und Teradata in Databricks-SQL-Abfragen oder Databricks-Notizbücher um. Es wandelt außerdem Extract, Transform and Load (ETL)-Workloads aus Informatica PowerCenter (Beta) in Databricks-Notizbücher um. Man konvertiert Dateien in einem Migrationsprojekt und wählt beim Erstellen des Projekts das Ausgabeformat, das Ziel-Framework genannt wird. Siehe Unterstützte Quelldialekte und Zielframeworks.

Für Anforderungen siehe Anforderungen für Genie Migrate.

Wie Genie Migrate Code konvertiert

Wenn du eine Konvertierung ausführst, setzt Genie Code Subagenten ein, die Dateien gleichzeitig konvertieren. Jeder Subagent analysiert den Quelldialekt und generiert den entsprechenden Code für das Ziel-Framework des Projekts (Databricks SQL oder ein Databricks-Notizbuch).

Diagramm des Umwandlungs-Workflows: Quelldialekte gehen zu Genie Migrate, das jede Datei konvertiert, deren Syntax und semantische Absicht überprüft und sie überarbeitet, bis sie die Prüfungen besteht. Benutzerdefinierte Fähigkeiten werden eingespielt, und konvertierte Dateien gehen in ein Migrationsprojekt.

Jeder Subagent überprüft dann den konvertierten Code:

  • Syntax: Prüft, ob der konvertierte Code fehlerfrei auf Azure Databricks läuft.
  • Semantische Bedeutung: Prüft, ob der konvertierte Code die Geschäftslogik des Quellcodes beibehält, zum Beispiel die gleichen Joins und WHERE Klauseln.

Wenn eine Prüfung fehlschlägt, überarbeitet der Unteragent den Code und überprüft ihn erneut. Genie Code verwendet auch deine benutzerdefinierten Skills, wenn er Dateien konvertiert. Weitere Informationen unter Konvertierungen mit custom skills verbessern. Konvertierte Dateien werden direkt in den Arbeitsbereichsordner geschrieben, den Sie für das Projekt angeben.

Sie können auch eine einzelne Datei oder einen einzelnen Ordner ohne ein Projekt konvertieren, indem Sie den Befehl /migrate in einer Genie Code-Konversation verwenden.

Unterstützte Quelldialekte und Zielrahmen

Genie Migrate konvertiert die folgenden SQL-Dialekte:

  • T-SQL
  • Snowflake SQL
  • Redshift SQL
  • Oracle
  • BigQuery
  • Teradata

Wenn Sie ein Migrationsprojekt für einen SQL-Dialekt erstellen, wählen Sie eines der folgenden Zielframeworks:

  • DBSQL: ANSI-konforme Databricks SQL-Abfragen.
  • Notebooks (Beta): Databricks-Notebooks, die die DataFrame-API verwenden, mit spark.sql für Logik, die in SQL klarer ist.

Genie Migrate unterstützt außerdem Informatica PowerCenter als ETL-Quelle.

Important

Dieses Feature befindet sich in der Betaversion. Um es zu verwenden, muss ein Workspace-Administrator die Migration Projects Experimental Features auf der Previews-Seite aktivieren. Siehe Manage Azure Databricks Previews.

Informatica Intelligent Datenverwaltung Cloud (IDMC) und Informatica Intelligent Cloud Services (IICS) werden nicht unterstützt. Genie Migrate konvertiert die Objekte in einem Informatica-Export, wie Workflows und Mappings, in Databricks-Notizbücher, sodass Informatica-Projekte immer das Notebooks-Zielframework verwenden.

Um Informatica-Workflows auf die Konvertierung vorzubereiten, exportieren Sie sie aus dem PowerCenter Repository Manager im PowerMart XML-Format. Exportieren Sie auf Workflow-Ebene und schließen Sie abhängige Objekte ein, wie Mappings, Sessions, Mapplets und Worklets. Nehmen Sie keine Zugangsdaten in den Export auf.

Dateien in einem Migrationsprojekt konvertieren

Bevor du konvertierst, erstelle ein Migrationsprojekt und füge deine Quelldateien hinzu. Weitere Informationen unter Erstellen und Analysieren eines Migrationsprojekts.

Schritt 1: Führen Sie die Konvertierung durch

In Informatica-Projekten wählt und konvertiert man die Workflows, Mappings und andere Objekte, die die Analyse erstellt, nicht die hochgeladenen .xml Exporte.

Um bestimmte Dateien zu konvertieren, wählen Sie sie aus und klicken Sie auf „Auswahl konvertieren“. Um alle Dateien im Projekt zu konvertieren, hebe die Auswahl auf und klicke auf Alle konvertieren. Um eine Gruppe nach der anderen zu konvertieren, fahren Sie mit der Maus über die Zeile der Gruppe und klicken Sie auf Diese Gruppe konvertieren. Siehe Planen Sie die Migration in Gruppen. Genie Code öffnet eine Unterhaltung, ruft die Migrationskompetenz auf und stellt Subagenten bereit, um die Dateien gleichzeitig zu konvertieren. Jede konvertierte Datei wird als verknüpfte Datei im Projekt angezeigt. Jede Datei zeigt einen der folgenden Status:

  • Grau: Die Datei wurde noch nicht konvertiert (nicht gestartet, in Warteschlange gestellt oder gestoppt). Ein Spinner wird angezeigt, während die Datei konvertiert wird.
  • Ungefüllt grün: Die Datei wurde problemlos konvertiert (konvertiert).
  • Grün gefüllt: Sie haben die konvertierte Datei geprüft und akzeptiert (Geprüft).
  • Gelb: Die Datei wurde konvertiert, aber sie enthält zu prüfende Punkte, die du überprüfen musst.
  • Rot: Die Konvertierung ist fehlgeschlagen (Fehler).

Jeder Durchlauf konvertiert bis zu 500 Dateien. Wenn du mehr als 500 Dateien in die Warteschlange legst, werden die ersten 500 nicht konvertierten Dateien im aktuellen Durchlauf konvertiert. Nach dem Lauf beginnt man erneut mit der Conversion, um die nächsten 500 zu konvertieren.

Registerkarte „Migrationsprojektdateien“ nach einer Konvertierung, die die Zusammenfassung „12 von 12 verarbeitet“ sowie jede Quelldatei neben der konvertierten Zieldatei und dem Status anzeigt.

Schritt 2: Überprüfen Sie die Konversionsergebnisse

Für Databricks-SQL-Projekte klickt man auf eine konvertierte Datei, um einen Inline-Diff im SQL-Editor zu öffnen, wobei über jedem Quellcodeabschnitt das vorgeschlagene Databricks SQL angezeigt wird, das ihn ersetzt. Akzeptieren Sie alle vorgeschlagenen Änderungen, oder überprüfen Sie sie, und akzeptieren Sie einzelne Bearbeitungen. Für Notebooks-Projekte klickt man auf eine konvertierte Datei, um das generierte Databricks-Notebook zu öffnen. Bearbeiten Sie bei Skripts, die nicht konvertiert werden können, den Code im Editor, oder bitten Sie Genie Code, bestimmte Abschnitte erneut zu überprüfen oder erneut zu versuchen. Nachdem Sie zufrieden sind, führen Sie das konvertierte SQL oder Notebook aus, um sicherzustellen, dass es auf Azure Databricks läuft. Wenn derselbe Fehler in mehreren Dateien auftaucht, erfassen Sie die Korrektur in einer benutzerdefinierten Fähigkeit und verarbeiten Sie diese Dateien erneut. Siehe Konvertierungen mit benutzerdefinierten Skills verbessern.

Ein SQL-Editor zeigt das Quell-T-SQL rot und das vorgeschlagene DBSQL grün mit den Schaltflächen

Für Informatica-Projekte vergleichen Sie jedes generierte Notebook mit dem entsprechenden PowerCenter-Mapping. Überprüfe Quell- und Zieltabellen, Joins, Filter und Routergruppen, Lookups, Update-Strategie-Logik und Parameter. Bevor Sie eine konvertierte Pipeline in der Produktion verwenden, führen Sie sie auf nicht-produktionsbezogenen Daten aus und vergleichen Sie Ergebnisse wie Zeilenzählungen und Schlüsselaggregate mit der Ausgabe des PowerCenter-Workflows.

Conversions mit benutzerdefinierten Skills verbessern

Mit benutzerdefinierten Fähigkeiten können Sie Geschäftsregeln codieren, die Genie Code während jeder Konvertierung automatisch anwendet. Verwenden Sie sie, um proprietäre Datentypen zu verarbeiten, bevorzugte Zielmuster zu erzwingen oder Korrekturen zu erfassen, die Sie wiederholt vornehmen. Eine Migrationskompetenz ist eine Genie Code-Fähigkeit, sodass Sie sie auf die gleiche Weise erstellen und verwalten können wie jede andere Fähigkeit. Siehe "Erweitern von Genie Code mit Agentenkenntnissen".

Du musst nicht alle deine Skills vor deiner ersten Konvertierung definieren. Die meisten Regeln, die eine Fähigkeit erfassen sollte, werden erst klar, nachdem du die ersten Ergebnisse überprüft hast. Ein typischer Arbeitsablauf ist:

  1. Konvertiere einen repräsentativen Satz von Dateien.
  2. Überprüfen Sie die Dateien mit Aktionselementen oder Fehlern und achten Sie auf Fehler, die sich über Dateien hinweg wiederholen, wie zum Beispiel denselben nicht unterstützten Datentyp, dieselbe Funktion oder das gleiche Namensmuster.
  3. Erstelle einen Skill, der die Korrektur für jeden wiederkehrenden Fehler erfasst.
  4. Wählen Sie nur die betroffenen Dateien aus und klicken Sie auf 'Ausgewählt konvertieren'. Genie Code wendet die neue Fähigkeit auf diese Dateien an.

Wiederhole diesen Zyklus, während du mehr deines Codes konvertierst. Genie Code wendet jeden Skill auf spätere Konvertierungen im Arbeitsbereich an, sodass eine Korrektur andere Dateien mit demselben Muster abdeckt.

Sie können einen Skill in den Genie Code-Einstellungen oder in einer Genie Code-Konversation erstellen. Verwenden Sie den Einstellungspfad für komplexe Fähigkeiten, die detaillierte Anweisungen, Beispiele oder unterstützende Dateien enthalten. Verwenden Sie den Chat-Workflow für einfache Skills mit nur einer Regel.

Genie Code-Einstellungen

Erstellen Sie den Skill als Datei, damit Sie detaillierte Anweisungen verfassen und ihn in einem Git-Ordner versionieren können:

  1. Klicken Sie im Bereich "Genie Code" auf das Zahnradsymbol.Einstellungen, und klicken Sie dann auf Ordner "Fähigkeiten öffnen".

  2. Erstellen Sie einen Ordner für Ihre Fähigkeiten unter dem Arbeitsbereichs-Kompetenzpfad. Workspace/.assistant/skills/ Beispiel: Workspace/.assistant/skills/sql-migration/

  3. Erstellen Sie im Skill-Ordner eine SKILL.md-Datei mit dem erforderlichen Frontmatter und Ihren Konvertierungsregeln. Beispiele:

    ---
    name: sql-migration
    description: Conversion rules to apply when migrating legacy SQL to ANSI SQL.
    ---
    
    Always convert the custom type MYDATE to TIMESTAMP_NTZ.
    

Genie Code nimmt die Fähigkeit auf, wenn Sie das nächste Mal eine Konvertierung ausführen.

Genie Code-Chat

Beschreiben Sie die Konvertierungsregel, die Sie codieren möchten, und bitten Sie Dann Genie Code, sie zu speichern:

Tip

Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.

Genie Code erstellt und registriert die Fähigkeit und wendet sie auf zukünftige Konvertierungen im Arbeitsbereich an.

Aktive Skills anzeigen:

Tip

Show me my migration skills

So entfernen Sie eine Fähigkeit:

Tip

Delete the migration skill for [description]

Arbeitsbereichskenntnisse werden auf Arbeitsbereichsebene gespeichert und für alle Benutzer im Arbeitsbereich freigegeben.

Testen und validieren Sie konvertierten Code

Die folgenden Tipps helfen Ihnen, die umgewandelten Ergebnisse zu überprüfen und Vertrauen darin zu gewinnen:

  • Batch-Konvertierung: Konvertiere eine kleine Gruppe von zwei bis fünf Dateien in einer Sitzung, um sicherzustellen, dass die Mehrdatei-Konvertierung durchgehend funktioniert.
  • Syntaxüberprüfung: Führen Sie nach der Konvertierung die Ausgabe in einem Databricks SQL-Editor oder -Notizbuch aus, um zu bestätigen, dass sie ohne Fehler ausgeführt wird.
  • Grenzfälle: Fügen Sie ein Skript mit dialektspezifischen Konstruktionen wie T-SQL-Fensterfunktionen, Snowflake QUALIFY oder Redshift LISTAGG ein, um zu sehen, wie der Konverter nicht-triviale Muster behandelt.
  • Semantische Korrektheit: Führen Sie die ursprünglichen und konvertierten Abfragen mit entsprechenden Testdaten aus, und vergleichen Sie die Ergebnisse. Vergewissern Sie sich, dass die Ausgabe semantisch korrekt ist, nicht nur syntaktisch gültig.

Zusätzliche Ressourcen