Veelgestelde vragen over Azure Synapse Analytics

Azure Synapse introduceert een aantal rollen en scopes waaraan deze kunnen worden toegewezen, waardoor de beveiliging van uw werkruimte wordt vereenvoudigd.

Synapse RBAC-rollen:

• Synapse-beheerder
• Synapse SQL-beheerder
• Synapse Spark-beheerder
• Synapse-bijdrager
• Synapse Artifact Publisher
• gebruiker van Synapse Artifact
• Synapse Compute Operator
• Synapse-gebruikersaanmeldgegevens
• Synapse Linked Data Manager
• Synapsegebruiker

Als u uw Synapse-werkruimte wilt beveiligen, wijst u de RBAC-rollen toe aan deze RBAC-bereiken:

• Werkruimten
• Spark pools
• Integration Runtimes
• Gekoppelde diensten
• Aanmeldgegevens

Daarnaast beschikt u met toegewezen SQL-pools over alle beveiligingsfuncties die u kent en waardeert.

Om te beginnen werkt Azure Synapse met de ingebouwde kostenanalyse en kostenwaarschuwingen die beschikbaar zijn op het niveau van het Azure-abonnement.

• Toegewezen SQL-pools: u hebt rechtstreeks inzicht in de kosten en controle over de kosten, omdat u toegewezen SQL-pools maakt en de grootte ervan specificeert. U kunt verder zelf bepalen welke gebruikers toegewezen SQL-pools mogen maken of schalen met Azure RBAC-rollen.

• Serverloze SQL-pools: u hebt controle-en kostenbeheerinstellingen waarmee u op een dagelijks, wekelijks en maandelijks niveau uitgaven kunt limiteren. Zie Kostenbeheer voor serverloze SQL-pool voor meer informatie.

• Serverloze Spark-pools: u kunt bepalen wie Spark-pools kan maken met Synapse RBAC-rollen.

Synapse workspaces ondersteunen door de gebruiker gedefinieerde mappen.

Ja, vanaf 10 juni 2021 kunt u met Synapse Studio nu meer dan één Power BI-werkruimte toevoegen aan één Azure Synapse-werkruimte.

Azure Synapse Link voor SQL is algemeen beschikbaar voor zowel SQL Server 2022 als Azure SQL Database. Zie Wat is Azure Synapse Link voor SQL? voor meer informatie.

Ja! Alle pijplijnartefacten, notebooks, SQL-scripts en Spark-taakdefinities bevinden zich in Git. Alle pooldefinities worden opgeslagen in Git als ARM-sjablonen (Azure Resource Manager). Dedicated SQL-poolobjecten (schema's, tabellen, weergaven, enzovoort)) worden beheerd met databaseprojecten met CI/CD-ondersteuning. Raadpleeg deze CI- en CD-handleiding voor meer informatie.

De mogelijkheden en vereisten verschillen tussen de twee typen pools. Verschillen zijn onder andere databaseobjecten, mogelijkheden voor querytaal, beveiliging, hulpprogramma's, gegevenstoegang en gegevensindeling. Voor een gedetailleerde vergelijking van SQL-pools en serverloze pools gaat u naar Vergelijking van pools. Voor aanbevolen procedures wanneer u een van beide typen pools gebruikt, bekijk best practices voor toegewezen SQL-pool en aanbevolen procedures voor serverloze SQL-pool.

Lakehouse is gebaseerd op open gegevensindelingen voor directe toegang, zoals Apache Parquet. Het biedt eersteklas ondersteuning voor machine learning en data science. Een Delta-tabel is een weergave van gegevens die zijn opgenomen in een Delta Lake, die ondersteuning biedt voor de meeste opties die worden geboden door Apache Spark DataFrame-api's voor lezen en schrijven. Lakehouses kunnen helpen bij grote uitdagingen met datawarehouses, zoals data veroudering, betrouwbaarheid, totale eigendomskosten en gegevensvergrendeling. In Delta-tabellen zijn optimalisaties zoals automatische compactie en adaptieve queryplannen beschikbaar. Voor een gedetailleerde gids voor Delta Lake gaat u naar Delta Lake Guide.

Auto Compaction is een van de twee aanvullende functies van Auto Optimize voor Delta-tabellen. Nadat een schrijfbewerking naar een tabel is geslaagd, kan Auto Compaction bestanden verder comprimeren voor partities met het grootste aantal kleine bestanden. Aanmelden voor Auto Compaction wordt aanbevolen voor streaminggebruiksscenario's waarbij het toevoegen van minuten aan latentie acceptabel is en wanneer u geen regelmatige OPTIMIZE-aanroepen op uw tabel hebt. Raadpleeg deze Auto Optimize-handleiding voor meer informatie over Auto Optimize en Auto Compaction.

Elke activiteit in een Synapse-pijplijn wordt uitgevoerd met behulp van de aanmeldingsgegevens die zijn opgegeven in de gekoppelde service.

Op dit moment niet.

Enkele voorbeelden van verschillen zijn ondersteuning voor globale parameters, bewaking van Spark-taken voor Gegevensstroom en delen van Integration Runtime. Raadpleeg dit document voor Data-Integratie - Synapse versus ADF voor meer informatie.

Op dit moment moet u uw Azure Data Factory-pijplijnen en gerelateerde artefacten handmatig opnieuw maken door de JSON uit de oorspronkelijke pijplijn te exporteren en deze te importeren in uw Synapse-werkruimte.

Bekijk deze snelstartgids.

Er zijn twee opties voor deze use-case. Een optie is om pijplijnen in ADF te houden en u moet dit in een webactiviteit onderbrengen. Bekijk deze handleiding voor webactiviteiten voor meer informatie over deze optie. De andere optie is om de pijplijnen te migreren naar Synapse. Bekijk dit voorbeeld van migratiecode voor meer informatie over de tweede optie.

Apache Spark voor Synapse is Apache Spark met toegevoegde ondersteuning voor integraties met andere services (Microsoft Entra ID, AzureML, enzovoort) en aanvullende bibliotheken (mssparkutils, Hummingbird) en vooraf afgestemde prestatieconfiguraties.

Elke workload die momenteel wordt uitgevoerd op Apache Spark, wordt zonder wijziging uitgevoerd op Apache Spark voor Azure Synapse.

Vanaf september 2023 biedt Azure Synapse Apache Spark volledige ondersteuning voor Spark 3.3. Zie ondersteuning voor Apache Spark-versies voor een volledige lijst met kernonderdelen en momenteel ondersteunde versies.

Ja, Azure Synapse Apache Spark biedt de mssparkutils-bibliotheek. Zie Inleiding tot Microsoft Spark-hulpprogramma's voor volledige documentatie over het hulpprogramma.

Als u sessieparameters wilt instellen, gebruikt u de beschikbare %%configure-magic. De sessie moet opnieuw worden gestart zodat de parameters van kracht worden.

Als u parameters op clusterniveau wilt instellen, kunt u een spark.conf-bestand opgeven voor de Spark-pool. In deze pool wordt vervolgens rekening gehouden met de parameters in het configuratiebestand.

Azure Synapse biedt speciaal ontwikkelde engines voor specifieke gebruikstoepassingen. Apache Spark voor Synapse is ontworpen als jobservice en niet als clustermodel. Er zijn twee scenario's waarin mensen om een clustermodel met meerdere gebruikers vragen.

Scenario 1: Veel gebruikers die een cluster benaderen voor het leveren van gegevens voor BI-doeleinden.

De eenvoudigste manier om deze taak uit te voeren, is om de gegevens in Spark te zetten en vervolgens te profiteren van de mogelijkheden voor het aanbieden van gegevens van Synapse SQL zodat ze Power BI met die gegevenssets kunnen verbinden.

Scenario 2: Meerdere ontwikkelaars op één cluster hebben om geld te besparen.

Om aan dit scenario te voldoen, moet u elke ontwikkelaar een serverloze Spark-pool geven die is geconfigureerd voor het gebruik van een beperkt aantal Spark-resources. Omdat serverloze Spark-pools geen kosten met zich meebrengen totdat ze actief worden gebruikt, worden de kosten geminimaliseerd als er meerdere ontwikkelaars gebruik van maken. De pools delen metagegevens (Spark-tabellen) zodat ze eenvoudig met elkaar kunnen samenwerken.

U kunt externe pakketten installeren met behulp van een requirements.txt-bestand bij het maken van de Spark-pool, vanuit de Synapse-werkruimte of via de Azure-portal. Zie Bibliotheken beheren voor Apache Spark in Azure Synapse Analytics.

MSSparkUtils in Synapse Spark biedt diverse hulpprogramma's om uw ervaring te verbeteren en integratie met andere tools en services te vereenvoudigen. Werk met bestandssystemen, haal omgevingsvariabelen op, koppel notebooks aan elkaar en werk met geheimen met minimale handmatige stappen. Ga naar Microsoft Spark Utilities voor volledige documentatie.

Dedicated SQL-pools (voorheen SQL DW) zijn een PaaS-platform (Platform-as-a-Service) voor enterprise datawarehousing. U kunt query's uitvoeren op bestaande toegewezen SQL-pools (voorheen SQL DW) en ook nieuwe toegewezen SQL-pools maken in uw Azure Synapse-werkruimte. Niet alle functies van de toegewezen SQL-pool in Azure Synapse-werkruimten zijn van toepassing op een zelfstandige toegewezen SQL-pool (voorheen SQL DW) en vice versa. Voor meer informatie, zie Wat is het verschil tussen toegewezen SQL-pools van Azure Synapse (voorheen SQL DW) en toegewezen SQL-pools in een Azure Synapse Analytics-werkruimte?. Als u Azure Synapse-werkruimtefuncties wilt inschakelen voor een bestaande toegewezen SQL-pool (voorheen SQL DW), raadpleegt u Een werkruimte inschakelen voor uw toegewezen SQL-pool (voorheen SQL DW).

U vindt een volledige lijst met verschillen in Verschillen tussen T-SQL-functies in Synapse SQL.

Er is geen “verplaatsen” of “migratie” nodig. U kunt ervoor kiezen om nieuwe werkruimtefuncties in te schakelen voor uw bestaande pools. Als u dit doet, zijn er geen belangrijke wijzigingen. In plaats daarvan kunt u nieuwe functies zoals Synapse Studio, Spark en serverloze SQL-pools gebruiken. Niet alle functies van de toegewezen SQL-pool in Azure Synapse-werkruimten zijn van toepassing op toegewezen SQL-pool (voorheen SQL DW) en omgekeerd. Als u werkruimtefuncties wilt inschakelen voor een bestaande toegewezen SQL-pool (voorheen SQL DW), raadpleegt u Hoe u een werkruimte inschakelt voor uw toegewezen SQL-pool (voorheen SQL DW).

Standaard worden alle nieuwe dedicated SQL-pools geïmplementeerd in een werkruimte. U kunt echter nog steeds een dedicated SQL-pool (voorheen SQL DW) als zelfstandige resource maken.

Met of zonder een beheerd virtueel netwerk kunt u verbinding maken met uw werkruimte vanuit openbare netwerken. Zie Connectiviteitsinstellingen voor meer informatie. Toegang vanuit openbare netwerken kan worden beheerd door de functie voor openbare netwerktoegang of de werkruimtefirewall in te schakelen. U kunt ook verbinding maken met uw werkruimte met behulp van een beheerd privé-eindpunt en Private Link. Synapse-werkruimten zonder het Azure Synapse Analytics Managed Virtual Network hebben niet de mogelijkheid om verbinding te maken via beheerde privé-eindpunten.

Volgende stappen

• Aan de slag met Azure Synapse Analytics
• Werkruimte maken
• Serverloze SQL-pool gebruiken
• Bekende problemen met Azure Synapse Analytics
• Wat is er nieuw in Azure Synapse Analytics?