Neste guia, encontrará as perguntas mais frequentes sobre o Azure Synapse Analytics.
Geral
Como posso usar funções RBAC para proteger o meu espaço de trabalho?
O Azure Synapse apresenta várias funções e escopos aos quais as pode atribuir, o que simplificará a proteção do seu espaço de trabalho.
Papéis RBAC do Synapse:
- Administrador do Synapse
- Administrador do SQL Synapse
- Administrador do Synapse Spark
- Colaborador do Synapse
- Synapse Artifact Publisher
- Utilizador do artefacto Synapse
- Operador de Computação Synapse
- Usuário de credenciais Synapse
- Synapse Gestor de Dados Ligados
- Utilizador Synapse
Para proteger seu espaço de trabalho Synapse, atribua as funções RBAC a estes escopos RBAC:
- Áreas de Trabalho
- Conjuntos do Apache Spark
- Tempos de execução de integração
- Serviços vinculados
- Credenciais
Além disso, com pools SQL dedicados, tem todos os mesmos recursos de segurança que conhece e adora.
Como faço para controlar pools SQL dedicados, pools SQL sem servidor e pools Spark sem servidor?
Como ponto de partida, o Azure Synapse funciona com a análise de custos interna e alertas de custo disponíveis no nível de assinatura do Azure.
Pools SQL dedicados - você tem visibilidade direta do custo e controle sobre o custo, porque cria e especifica os tamanhos dos pools SQL dedicados. Você pode controlar ainda mais quais dos seus utilizadores podem criar ou dimensionar pools SQL dedicados com funções RBAC do Azure.
pools de SQL sem servidor - tem controlos de monitorização e gestão de custos que permitem limitar os gastos a um nível diário, semanal e mensal. Consulte Gerenciamento de custos para pool SQL sem servidor para obter mais informações.
Pools do Spark sem servidor - você pode restringir quem pode criar pools do Spark com funções Synapse RBAC.
O espaço de trabalho Synapse suportará a organização de objetos em pastas e granularidade na disponibilidade geral?
Os espaços de trabalho Synapse suportam pastas definidas pelo utilizador.
Posso vincular mais de um espaço de trabalho do Power BI a um único Espaço de Trabalho do Azure Sinapse?
Sim, a partir de 10 de junho de 2021, o Synapse Studio agora permite adicionar mais de um workspace do Power BI a um único Azure Synapse workspace.
O Azure Synapse Link para o Azure Cosmos DB está em disponibilidade geral?
Importante
O Synapse Link para Cosmos DB já não é suportado para novos projetos. Não uses esta funcionalidade.
Por favor, use o Azure Cosmos DB Mirroring para Microsoft Fabric, que agora é GA. O espelhamento oferece os mesmos benefícios de zero ETL e está totalmente integrado com o Microsoft Fabric. Saiba mais em Cosmos DB Mirroring Overview.
O Azure Synapse Link for SQL está disponível em geral?
O Azure Synapse Link for SQL está geralmente disponível para o SQL Server 2022 e o Banco de Dados SQL do Azure. Para obter mais informações, consulte O que é o Azure Synapse Link for SQL?.
O espaço de trabalho do Azure Synapse suporta CI/CD?
Está bem! Todos os artefactos do Pipeline, notebooks, scripts SQL e definições de trabalho do Spark residirão no Git. Todas as definições de pool serão armazenadas no Git como modelos do Azure Resource Manager (ARM). Objetos de pool SQL dedicados (esquemas, tabelas, vistas, etc.) serão gerenciados com projetos de banco de dados com suporte a CI/CD. Para mais informações, consulte este Guia de CI e CD.
Quais são as diferenças funcionais entre pools SQL dedicados e pools sem servidor?
Os recursos e requisitos são diferentes entre os dois tipos de pools. As diferenças incluem objetos de banco de dados, recursos de linguagem de consulta, segurança, ferramentas, acesso a dados e formato de dados. Para obter uma comparação detalhada de pools SQL e pools sem servidor, visite Comparação de pools. Para ver as práticas recomendadas ao usar qualquer tipo de pool, consulte Práticas recomendadas para Dedicated SQL Pool e Práticas recomendadas para Serverless SQL Pool.
O que são tabelas Delta e por que devo usá-las?
Lakehouse é baseado em formatos de dados abertos de acesso direto, como o Apache Parquet. Ele tem suporte de primeira classe para aprendizagem automática e ciência de dados. Uma tabela Delta é uma exibição de dados contidos em um Delta Lake, que suporta a maioria das opções fornecidas pelas APIs de leitura e gravação do Apache Spark DataFrame. Os lakehouses podem ajudar a resolver grandes desafios dos armazéns de dados, como a desatualização dos dados, a fiabilidade, o custo total de propriedade e o aprisionamento de dados. Em tabelas Delta, otimizações como compactação automática e planos de consulta adaptáveis estão disponíveis. Para obter um guia detalhado do Delta Lake, visite Delta Lake Guide.
O que é Auto Compaction?
A compactação automática é um dos dois recursos complementares do Auto Otimize para tabelas Delta. Depois que uma gravação em uma tabela é bem-sucedida, o Auto Compaction pode compactar ainda mais os ficheiros para partições que têm o maior número de ficheiros pequenos. Optar pela compactação automática é recomendado para casos de uso de streaming em que a adição de minutos de latência é aceitável e quando não existem chamadas regulares do OPTIMIZE na sua tabela. Para obter mais informações sobre o Auto Optimize e a Auto Compaction, consulte este Auto Optimize Guide.
Pipelines
Como posso garantir que sei qual credencial está sendo usada para executar um pipeline?
Cada atividade num Synapse Pipeline é executada utilizando a credencial especificada dentro do serviço vinculado.
Os IRs SSIS são suportados no Synapse Integrate?
Neste momento, não.
Como os pipelines do Azure Data Factory e os pipelines do Azure Synapse são diferentes?
Alguns exemplos de diferenças são o suporte para parâmetros globais, o monitoramento de Spark Jobs for Fluxo de Dados e o compartilhamento do Integration Runtime. Para mais informações, consulte este documento para Integração de Dados - Synapse vs ADF.
Como faço para migrar pipelines existentes do Azure Data Factory para um espaço de trabalho do Azure Synapse?
Neste momento, tem de recriar manualmente os seus pipelines do Azure Data Factory e artefactos relacionados, exportando o JSON do pipeline original e importando-o para o seu espaço de trabalho Synapse.
Como faço para usar uma definição de tarefa do Apache Spark?
Consulte este Guia de Início Rápido.
Posso chamar notebooks a partir de pipelines do ADF?
Há duas opções para este caso de uso. Uma opção é manter pipelines no ADF, e terá de encapsular numa atividade Web. Para obter mais informações sobre esta opção, consulte este Guia de Atividade na Web. A outra opção é migrar os pipelines para Synapse. Para obter mais informações sobre a segunda opção, consulte este exemplo de código de migração.
Apache Spark
Qual é a diferença entre Apache Spark for Synapse e Apache Spark?
Apache Spark for Synapse é o Apache Spark com suporte adicional para integrações com outros serviços (Microsoft Entra ID, AzureML, etc.) e bibliotecas adicionais (mssparkutils, Hummingbird) e configurações de desempenho pré-ajustadas.
Qualquer carga de trabalho atualmente em execução no Apache Spark será executada no Apache Spark para Azure Synapse sem alterações.
Que versões do Spark estão disponíveis?
A partir de setembro de 2023, o Azure Synapse Apache Spark suporta totalmente o Spark 3.3. Para obter uma lista completa dos componentes principais e das versões atualmente suportadas, consulte Suporte de versões do Apache Spark.
Existe um equivalente ao DButils no Azure Synapse Spark?
Sim, o Azure Synapse Apache Spark fornece a biblioteca mssparkutils . Para obter a documentação completa do utilitário, consulte Introdução aos utilitários Microsoft Spark.
Como faço para definir parâmetros de sessão no Apache Spark?
Para definir os parâmetros da sessão, use %%configure magic available. É necessário reiniciar a sessão para que os parâmetros entrem em vigor.
Como faço para definir parâmetros de nível de cluster num pool do Spark sem servidor?
Para definir parâmetros de nível de cluster, você pode fornecer um arquivo spark.conf para o pool do Spark. Esse pool honrará os parâmetros passados no arquivo de configuração.
Posso executar um Spark Cluster multiusuário no Azure Synapse Analytics?
O Azure Synapse fornece mecanismos criados especificamente para casos de uso específicos. O Apache Spark for Synapse foi projetado como um serviço de tarefas e não como um modelo de cluster. Há dois cenários em que as pessoas pedem um modelo de cluster multiusuário.
Cenário #1: Muitos utilizadores a aceder a um cluster para fornecer dados para fins de BI.
A maneira mais fácil de realizar essa tarefa é processar os dados com o Spark e, em seguida, aproveitar os recursos de serviço do Synapse SQL para que possam ligar o Power BI a esses conjuntos de dados.
Cenário #2: Ter vários desenvolvedores num único cluster para economizar dinheiro.
Para satisfazer este cenário, deve atribuir a cada programador um conjunto do Spark sem servidor que está definido para utilizar um pequeno número de recursos do Spark. Como os pools do Spark sem servidor só têm custos quando são usados ativamente, isso minimiza o custo quando há vários programadores. Os pools compartilham metadados (tabelas Spark) para que possam trabalhar facilmente uns com os outros.
Como faço para incluir, gerenciar e instalar bibliotecas?
Você pode instalar pacotes externos por meio de um ficheiro requirements.txt ao criar o conjunto do Spark, no espaço de trabalho do Synapse ou no portal do Azure. Consulte Gerenciar bibliotecas para o Apache Spark no Azure Synapse Analytics.
Que ferramentas estão disponíveis para mim no Synapse Spark?
MSSparkUtils no Synapse Spark oferece uma variedade de utilitários para melhorar sua experiência e facilitar a integração com outras ferramentas e serviços. Trabalhe com sistemas de ficheiros, obtenha variáveis de ambiente, encadeie notebooks e trabalhe com secrets com etapas manuais mínimas. Para obter a documentação completa, visite Microsoft Spark Utilities.
SQL Pools dedicados
Qual é a diferença entre pools SQL dedicados (SQL DW) e pools SQL dedicados nos espaços de trabalho do Azure Synapse?
Os pools SQL dedicados (anteriormente SQL DW) são uma plataforma empresarial de data warehousing da Plataforma como Serviço (PaaS) do Azure. Você pode consultar pools SQL dedicados existentes (anteriormente SQL DW) e também criar novos pools SQL dedicados em seu espaço de trabalho do Azure Synapse. Nem todos os recursos do pool SQL dedicado nos espaços de trabalho do Azure Synapse se aplicam a um pool SQL dedicado autônomo (anteriormente SQL DW) e vice-versa. Para obter mais informações, consulte Qual é a diferença entre pools SQL dedicados do Azure Synapse (anteriormente SQL DW) e pools SQL dedicados em um espaço de trabalho do Azure Synapse Analytics?. Para habilitar os recursos do espaço de trabalho do Azure Synapse para um pool SQL dedicado existente (anteriormente SQL DW), consulte Como habilitar um espaço de trabalho para seu pool SQL dedicado (anteriormente SQL DW).
Quais são as diferenças funcionais entre pools SQL dedicados e pools sem servidor?
Você pode encontrar uma lista completa de diferenças de funcionalidades do T-SQL no Synapse SQL.
Agora que o Azure Synapse é GA, como movo meus pools SQL dedicados que anteriormente eram autônomos para o Azure Synapse?
Não há necessidade de "transferência" ou "migração". Pode optar por ativar novas funcionalidades da área de trabalho nos seus conjuntos existentes. Se você fizer isso, não haverá alterações incompatíveis; em vez disso, você poderá usar novos recursos, como Synapse Studio, Spark e pools SQL sem servidor. Nem todos os recursos do pool SQL dedicado nos espaços de trabalho do Azure Synapse se aplicam ao pool SQL dedicado (anteriormente SQL DW) e vice-versa. Para habilitar recursos de espaço de trabalho para um pool SQL dedicado existente (anteriormente SQL DW), consulte Como habilitar um espaço de trabalho para o seu pool SQL dedicado (anteriormente SQL DW).
Qual é a implementação padrão de pools SQL dedicados agora?
Por predefinição, todos os novos pools SQL dedicados serão implementados num espaço de trabalho; no entanto, se necessário, continua a ser possível criar um pool SQL dedicado (anteriormente SQL DW) de forma autónoma.
Segurança da rede
Como posso proteger o acesso ao meu espaço de trabalho do Azure Synapse?
Com ou sem uma rede virtual gerenciada, pode ligar-se ao seu espaço de trabalho a partir de redes públicas. Para obter mais informações, consulte Definições de conectividade. O acesso a partir de redes públicas pode ser controlado ativando a funcionalidade de acesso à rede pública ou a firewall do espaço de trabalho. Em alternativa, pode ligar-se ao seu espaço de trabalho utilizando um ponto final privado gerido e o Private Link. Os espaços de trabalho Synapse sem a Rede Virtual Gerida do Azure Synapse Analytics não têm a capacidade de se ligar através de pontos finais privados geridos.