Azure Synapse Analytics: Häufig gestellte Fragen

Mit Azure Synapse werden verschiedene Rollen sowie Bereiche für deren Zuweisung eingeführt, um das Schützen Ihres Arbeitsbereichs zu vereinfachen.

RBAC-Rollen von Synapse:

• Synapse-Administrator
• Synapse SQL-Administrator
• Synapse Spark-Administrator
• Synapse Contributor
• Synapse Artifact Publisher
• Synapse Artifact-Benutzer
• Synapse Compute-Operator
• Benutzer mit Synapse-Anmeldeinformationen
• Synapse Linked Data Manager
• Synapse-Benutzer

Weisen Sie die RBAC-Rollen den folgenden RBAC-Bereichen zu, um Ihren Synapse-Arbeitsbereich zu schützen:

• Arbeitsbereiche
• Sparkpools
• Integrationslaufzeiten
• Verknüpfte Dienste
• Anmeldeinformationen

Darüber hinaus verfügen Sie bei dedizierten SQL-Pools über alle Sicherheitsfunktionen, mit denen Sie bereits vertraut sind.

Als Ausgangspunkt arbeitet Azure Synapse mit der integrierten Kostenanalyse und den Kostenwarnungen, die auf Azure-Abonnementebene verfügbar sind.

• Dedizierte SQL-Pools: Sie verfügen über direkten Einblick in die Kosten und besitzen die Kontrolle darüber, weil Sie die dedizierten SQL-Pools erstellen und deren Größen angeben. Außerdem können Sie mit Azure RBAC-Rollen steuern, welche Benutzer dedizierte SQL-Pools erstellen oder skalieren können.

• Serverlose SQL-Pools: Sie verfügen über Tools für die Überwachung und Kostenkontrolle, mit denen Sie die täglichen, wöchentlichen und monatlichen Ausgaben begrenzen können. Weitere Informationen finden Sie unter Kostenverwaltung für serverlose SQL-Pools.

• Serverlose Spark-Pools: Sie können mit Synapse-RBAC-Rollen einschränken, wer Spark-Pools erstellen kann.

Synapse-Arbeitsbereiche unterstützen benutzerdefinierte Ordner.

Ja. Seit dem 10. Juni 2021 können Sie mit Synapse Studio einem Azure Synapse-Arbeitsbereich mehr als einen Power BI-Arbeitsbereich hinzufügen.

Azure Synapse Link für SQL ist für SQL Server 2022 und Azure SQL-Datenbank allgemein verfügbar. Weitere Informationen finden Sie unter Was ist Azure Synapse Link für SQL?.

Ja! Alle Pipelineartefakte, Notebooks, SQL-Skripts und Definitionen von Spark-Jobs werden in Git verwaltet. Alle Pooldefinitionen werden in Git als Azure Resource Manager-(ARM-)Vorlagen gespeichert. Dedizierte SQL-Pool-Objekte (Schemas, Tabellen, Views usw.) werden mit Datenbankprojekten mit CI/CD-Unterstützung verwaltet. Weitere Informationen finden Sie in diesem CI- und CD-Leitfaden.

Die Fähigkeiten und Anforderungen unterscheiden sich zwischen den beiden Arten von Pools. Zu den Unterschieden gehören Datenbankobjekte, Abfragesprachenfähigkeiten, Sicherheit, Tools, Datenzugriff und Datenformat. Einen detaillierten Vergleich von SQL-Pools und serverlosen Pools finden Sie unter Poolvergleich. Für bewährte Methoden beim Verwenden eines der beiden Pooltypen können Sie bewährte Methoden für Dedicated SQL-Pool und bewährte Methoden für serverlose SQL-Pool anzeigen.

Lakehouse basiert auf offenen, direkt zugänglichen Datenformaten wie Apache Parquet. Es bietet erstklassige Unterstützung für maschinelles Lernen und Data Science. Eine Delta-Tabelle ist eine Ansicht von Daten, die in einem Delta Lake enthalten sind, der die meisten Optionen unterstützt, die von Apache Spark DataFrame-Lese- und Schreib-APIs bereitgestellt werden. Lakehouses können bei großen Herausforderungen mit Data Warehouses helfen, wie z. B. veraltete Daten, Zuverlässigkeit, Gesamtbetriebskosten und Datenbindung. Für Delta-Tabellen sind Optimierungen wie automatische Komprimierung und adaptive Abfragepläne verfügbar. Eine detaillierte Anleitung zum Delta Lake finden Sie im Delta Lake Guide.

Auto Compaction ist eine von zwei sich ergänzenden Funktionen von Auto Optimize für Delta-Tabellen. Nachdem ein Schreibvorgang in eine Tabelle erfolgreich war, kann die automatische Komprimierung Dateien für Partitionen weiter komprimieren, die die meisten kleinen Dateien enthalten. Die Aktivierung der automatischen Komprimierung wird für Streaming-Anwendungsfälle empfohlen, bei denen das Hinzufügen von Minuten an Latenz akzeptabel ist und wenn Sie keine regelmäßigen OPTIMIZE-Aufrufe für Ihre Tabelle ausführen. Weitere Informationen zu Auto Optimize und Auto Compaction finden Sie in diesem Auto Optimize-Leitfaden.

Jede Aktivität in einer Synapse-Pipeline wird mit den Anmeldeinformationen ausgeführt, die im verknüpften Dienst angegeben sind.

Derzeit leider nicht.

Einige Beispiele für Unterschiede sind die Unterstützung globaler Parameter, die Überwachung von Spark-Jobs für Datenfluss und die gemeinsame Nutzung der Integration Runtime. Weitere Informationen finden Sie in diesem Dokument für die Datenintegration – Synapse vs ADF.

Aktuell müssen Sie Ihre Azure Data Factory-Pipelines und die zugehörigen Artefakte manuell neu erstellen, indem Sie die JSON-Datei aus der ursprünglichen Pipeline exportieren und in Ihren Synapse-Arbeitsbereich importieren.

Schauen Sie sich die Schnellstartanleitung an.

Für diesen Anwendungsfall gibt es zwei Möglichkeiten. Eine Option besteht darin, Pipelines in ADF zu belassen, und Sie müssen sie in eine Webaktivität einbetten. Weitere Informationen zu dieser Option finden Sie in diesem Webaktivitätshandbuch. Die andere Möglichkeit besteht darin, die Pipelines zu Synapse zu migrieren. Weitere Informationen zur zweiten Option finden Sie in diesem Migrationscodebeispiel.

Apache Spark for Synapse ist Apache Spark mit zusätzlicher Unterstützung für Integrationen mit anderen Diensten (Microsoft Entra ID, AzureML usw.) und zusätzlichen Bibliotheken (mssparkutils, Hummingbird) sowie vorab optimierten Leistungskonfigurationen.

Alle Workloads, die zurzeit unter Apache Spark ausgeführt werden, werden ohne Änderung auch unter Apache Spark für Azure Synapse ausgeführt.

Seit September 2023 unterstützt Azure Synapse Apache Spark vollständig Spark 3.3. Eine vollständige Liste der Kernkomponenten und derzeit unterstützten Versionen finden Sie unter Apache Spark-Versionsunterstützung.

Ja. Azure Synapse Apache Spark verfügt über die Bibliothek mssparkutils. Die vollständige Dokumentation zum Hilfsprogramm finden Sie unter Einführung in Microsoft Spark-Hilfsprogramme.

Verwenden Sie zum Festlegen von Sitzungsparametern den verfügbaren Magic-Befehl „%%configure“. Damit die Parameter wirksam werden, ist ein Neustart der Sitzung erforderlich.

Zum Festlegen von Parametern für die Clusterebene können Sie eine „spark.conf“-Datei für den Spark-Pool angeben. Vom Pool werden dann die Parameter berücksichtigt, die in der Konfigurationsdatei übergeben werden.

Azure Synapse verfügt über zweckgebundene Engines für bestimmte Anwendungsfälle. Apache Spark für Synapse wurde als Jobdienst und nicht als Clustermodell konzipiert. Es gibt zwei Szenarien, in denen nach einem mehrbenutzerfähigen Clustermodell gefragt wird.

Szenario 1: Viele Benutzer greifen auf einen Cluster zu, um Daten für BI-Zwecke auszuliefern.

Der einfachste Weg, diese Aufgabe zu erledigen, ist das Aufbereiten der Daten mit Spark und die anschließende Nutzung der Bereitstellungsfunktionen von Synapse SQL, sodass sie Power BI mit diesen Datasets verbinden können.

Szenario 2: Mehrere Entwickler arbeiten auf einem einzelnen Cluster, um Kosten zu sparen.

Um dieses Szenario zu erfüllen, sollten Sie jedem Entwickler einen serverlosen Spark-Pool zuweisen, für den die Nutzung einer geringen Zahl von Spark-Ressourcen festgelegt ist. Da für serverlose Spark-Pools erst dann Kosten anfallen, wenn sie aktiv genutzt werden, werden die Kosten bei mehreren Entwicklern minimiert, wenn sie erst bei Bedarf verwendet werden. Von den Pools werden Metadaten (Spark-Tabellen) gemeinsam genutzt, damit die Zusammenarbeit leicht möglich ist.

Sie können externe Pakete mit der Datei „requirements.txt“ beim Erstellen des Spark-Pools, im Synapse-Arbeitsbereich oder im Azure-Portal installieren. Weitere Informationen finden Sie unter Verwalten von Bibliotheken für Apache Spark in Azure Synapse Analytics.

MSSparkUtils auf Synapse Spark bietet eine Vielzahl von Dienstprogrammen, um Ihre Erfahrung zu verbessern und die Integration mit anderen Tools und Diensten zu vereinfachen. Arbeiten Sie mit Dateisystemen, rufen Sie Umgebungsvariablen ab, verketten Sie Notebooks und arbeiten Sie mit Secrets mit minimalen manuellen Schritten. Die vollständige Dokumentation finden Sie unter Microsoft Spark Utilities.

Dedizierte SQL-Pools (früher SQL DW) sind eine Azure Platform-as-a-Service (PaaS)-Data Warehousing-Plattform für Unternehmen. Sie können vorhandene dedizierte SQL-Pools (ehemals SQL DW) abfragen und auch neue dedizierte SQL-Pools in Ihrem Azure Synapse-Arbeitsbereich erstellen. Nicht alle Features des dedizierten SQL Pools in Azure Synapse Arbeitsbereichen gelten für einen eigenständigen dedizierten SQL Pool (ehemals SQL DW) und umgekehrt. Weitere Informationen finden Sie unter Was ist der Unterschied zwischen dedizierten SQL-Pools in Azure Synapse (ehemals SQL DW) und dedizierten SQL-Pools in einem Azure Synapse Analytics-Arbeitsbereich?. Wie Sie Azure Synapse-Arbeitsbereichsfunktionen für einen vorhandenen dedizierten SQL-Pool (ehemals SQL DW) aktivieren, erfahren Sie unter Aktivieren eines Arbeitsbereichs für Ihren dedizierten SQL-Pool (ehemals SQL DW).

Eine vollständige Liste mit den Unterschieden finden Sie unter T-SQL-Funktionsunterschiede in Synapse SQL.

Eine „Verschiebung“ oder „Migration“ ist nicht erforderlich. Sie können auswählen, dass neue Arbeitsbereichsfeatures für Ihre vorhandenen Pools aktiviert werden sollen. Wenn Sie so vorgehen, kommt es nicht zu Breaking Changes, sondern Sie können die neuen Features nutzen, z. B. Synapse Studio, Spark und serverlose SQL-Pools. Nicht alle Features des dedizierten SQL Pools in Azure Synapse Arbeitsbereichen gelten für dedizierte SQL Pools (ehemals SQL DW) und umgekehrt. Wie Sie Arbeitsbereichsfunktionen für einen vorhandenen dedizierten SQL-Pool (ehemals SQL DW) aktivieren, erfahren Sie unter Aktivieren von Arbeitsbereichsfunktionen für einen dedizierten SQL-Pool (ehemals SQL DW).

Standardmäßig werden alle neuen dedizierten SQL-Pools in einem Arbeitsbereich bereitgestellt. Bei Bedarf können Sie aber trotzdem noch einen dedizierten SQL-Pool (vormals SQL DW) in eigenständiger Form erstellen.

Sowohl mit als auch ohne ein verwaltetes virtuelles Netzwerk können Sie aus öffentlichen Netzwerken eine Verbindung mit Ihrem Arbeitsbereich herstellen. Weitere Informationen finden Sie unter Verbindungseinstellungen. Der Zugriff aus öffentlichen Netzwerken lässt sich kontrollieren, indem Sie das Feature für den Zugriff auf öffentliche Netzwerke oder die Arbeitsbereichsfirewall aktivieren. Alternativ können Sie mithilfe eines verwalteten privaten Endpunkts und Private Link eine Verbindung mit Ihrem Arbeitsbereich herstellen. Synapse-Arbeitsbereiche ohne das verwaltete virtuelle Netzwerk von Azure Synapse Analytics können keine Verbindung über verwaltete private Endpunkte herstellen.

Nächste Schritte

• Erste Schritte mit Azure Synapse Analytics
• Arbeitsbereich erstellen
• Verwenden eines serverlosen SQL-Pools
• Bekannte Probleme mit Azure Synapse Analytics
• Neuerungen in Azure Synapse Analytics