Configurar a qualidade dos dados do Snowflake

Este artigo orienta você sobre como registrar uma fonte do Snowflake, executar uma verificação do Mapa de Dados e configurar uma conexão de qualidade de dados no Catálogo unificado do Microsoft Purview. Depois de concluir essas etapas, você pode criar o perfil dos dados do Snowflake e executar verificações de qualidade de dados.

Metadados do Snowflake com suporte

Quando você examina fontes de dados do Snowflake, o Microsoft Purview extrai metadados técnicos. A varredura captura os seguintes objetos:

• Servidores, bancos de dados, esquemas e tabelas
• Modos de exibição, chaves estrangeiras e restrições exclusivas
• Procedimentos armazenados e seus parâmetros
• Funções e seus parâmetros
• Tubos, estágios e fluxos
• Tarefas e sequências

Registrar uma fonte do Snowflake no mapa de dados

Para registrar uma nova fonte do Snowflake no Catálogo unificado do Microsoft Purview, siga estas etapas:

1. Entre no portal do Microsoft Purview.
2. Selecione o card de solução de Mapa de Dados. Se o card de solução Mapa de Dados não for exibido, selecione Exibir todas as soluções e, em seguida, selecione Mapa de Dados na seção Núcleo.
3. Selecione Registrar.
4. Em Registrar fontes, selecione Snowflake.

Configurar uma verificação de Mapa de Dados

Para configurar uma verificação para sua origem registrada do Snowflake, siga estas etapas:

1. Selecione a fonte registrada do Snowflake.
2. Selecione Nova verificação.
3. Forneça os seguintes detalhes:
   • Name: o nome da verificação.
   • Conectar-se por meio do runtime de integração: selecione o runtime de integração resolvido automaticamente, o IR da Rede Virtual Gerenciada ou o SHIR para seu cenário.
   • Host para conexão: Selecione a URL do servidor ou outro host que você configurou na fonte de dados.
   • Credencial: selecione a credencial para sua fonte de dados. Use a autenticação básica, forneça o nome de usuário do Snowflake e armazene a senha na chave secreta.
   • Warehouse: Especifique o nome do warehouse em maiúsculas. A função padrão da credencial deve ter direitos de USO neste warehouse.
   • Bancos de dados: especifique um ou mais nomes de banco de dados em maiúsculas, separados por ponto-e-vírgula (por exemplo, DB1;DB2). A função padrão da credencial deve ter direitos sobre esses objetos de banco de dados.
   • Esquema: liste os esquemas a serem importados, separados por ponto-e-vírgula.
4. Selecione Testar conexão para validar as configurações (disponíveis ao usar o Azure Integration Runtime).
5. Selecione Continuar.
6. Selecione um conjunto de regras de varredura para classificação. Você pode escolher entre o padrão do sistema, conjuntos de regras personalizados existentes ou criar um novo conjunto de regras embutido.
7. Analise a digitalização e selecione Salvar e Executar.

Após a conclusão da verificação, o ativo de dados no Snowflake estará disponível na pesquisa do Catálogo Unificado. Para obter mais informações sobre como conectar e gerenciar o Snowflake no Microsoft Purview, consulte Conectar-se e gerenciar o Snowflake no Microsoft Purview.

Configurar uma conexão de qualidade de dados do Snowflake

Após a conclusão da verificação, o ativo verificado estará pronto para catalogação e governança. Para executar verificações de qualidade de dados no ativo, configure uma conexão do Snowflake no Microsoft Purview.

1. No portal do Microsoft Purview, abra o Catálogo unificado.

2. Em Gerenciamento de integridade, selecione Qualidade dos dados.

3. Selecione um domínio de governança na lista e selecione Conexões na lista suspensa Gerenciar .

4. Configure a conexão na página Conexões :

   • Adicione um nome e uma descrição de conexão.
   • Selecione o tipo de origem Snowflake.
   • Adicione o nome do servidor, o nome do depósito, o nome do banco de dados, o nome do esquema e o nome da tabela.
   • Selecione um método de autenticação: Básico, Chave privada (versão prévia) ou OAuth (versão prévia).
   • Adicione o nome de usuário.
   • Adicionar credenciais: assinatura do Azure, conexão do Key Vault, nome do segredo e versão do segredo.
   • Selecione Habilitar VNet gerenciada se sua instância do Snowflake for executada em Azure Rede Virtual e, em seguida, adicione a região Azure, Link Privado ID de recursos e o Nome de domínio totalmente qualificado.

5. Teste a conexão para verificar se ela funciona. Se você estiver usando a Rede Virtual, o recurso de teste de conexão não será suportado.

   

   

A ID do recurso para o link privado de destino do Snowflake tem o seguinte formato: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

• Para obter a ID de região e o nome totalmente qualificado, execute SYSTEM_WHITE_LIST e SYSTEM_WHITE_LIST_PRIVATELINK obtenha os SNOWFLAKE_DEPLOYMENTvalores , SNOWFLAKE_DEPLOYMENT_REGIONLESSOCSP_CACHE e para hosts públicos e de lista de permissões.
• Para obter a ID da assinatura, execute SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() como ACCOUNTADMIN para obter os valores snowflake-vnet-subnet-ids . A ID da assinatura para o Link Privado do locatário do Snowflake do Azure é obtida da saída snowflake-vnet-subnet-ids.

Autenticação de chave privada (versão prévia)

Você pode criar chaves privadas com ou sem uma frase secreta usando o OpenSSL, uma ferramenta de linha de comando para gerar chaves criptográficas. Se você gerar uma chave privada com uma senha, configure a chave e a senha com a conexão, conforme mostrado na captura de tela a seguir. Se você não fornecer uma senha durante a geração da chave, omita-a na conexão.

A chave privada gerada através do comando openssl contém headers/footers que indicam o início e o key/encrypted fim da chave. Salve todo o conteúdo do arquivo, incluindo cabeçalhos e novas linhas, como está no Key Vault como o valor secreto. Você pode usar uma ferramenta de linha de comando, como a CLI do Azure, para fazer isso. Sem os cabeçalhos de arquivo de chave privada, rodapés e formatação de nova linha original, a autenticação com o Snowflake falha.

Por segurança, alterne suas chaves regularmente. Ao girar uma chave, atualize-a no Key Vault e na conexão do Microsoft Purview. Novos trabalhos usam a chave atualizada. Mantenha a chave mais antiga ativa até que todos os trabalhos em andamento sejam concluídos.

Autenticação OAuth (versão prévia)

Você pode configurar uma conexão baseada em OAuth usando o Microsoft Entra ID como o provedor OAuth. Os tokens de acesso OAuth normalmente duram pouco. Mas os trabalhos de avaliação de qualidade de dados podem ser executados por um longo tempo, dependendo do volume de dados. Defina o tempo de vida do token de acesso OAuth como pelo menos seis horas, que é a duração máxima média do trabalho. Os trabalhos falharão se o token de acesso expirar antes da conclusão do trabalho.

Se você não puder aumentar o tempo de vida do token de acesso ou se sua política não permitir, use a autenticação baseada em par de chaves porque a autenticação de par de chaves não tem restrições de tempo de vida de token.

Valores de exemplo para os parâmetros de conexão OAuth:

• Nome de usuário: DB41C9CD-96E7-47B0-ADB6-0A4D080229A0 (Valor da login_name propriedade do Snowflake)
• ID do cliente: 00001111-aaaa-2222-bbbb-3333cccc444 (ID do cliente do portal do Azure)
• URL do token: https://login.microsoftonline.com/ddfd8861-7cbd-43df-ad13-4f9e958cf53b/oauth2/v2.0/token (Token URL from Azure app)
• Escopo: api://aaaabbbb-0000-cccc-1111-dddd2222eeee/.default (Scope as registered with the Azure app)

Entender a seleção de conexão

Você não escolhe conexões explicitamente ao iniciar avaliações ou configurar agendamentos. O sistema seleciona uma conexão automaticamente com base nas seguintes regras:

• Se houver apenas conexões com senha do usuário, o sistema selecionará a primeira criada.
• Se houver conexões de par de chaves ou OAuth, o sistema ignorará todas as conexões de senha do usuário e selecionará o primeiro par de chaves ou conexão OAuth criada.

A ilustração a seguir mostra como o sistema seleciona uma conexão com base no tipo e na ordem de criação.

Suponha que haja apenas conexões baseadas em senha de usuário:

• SnowflakeConnectionBob (Senha do usuário)
• SnowflakeConnectionAlice (Senha do usuário)
• SnowflakeConnectionEve (Senha do usuário)

O sistema seleciona a conexão SnowflakeConnectionBob .

Suponha que todos os tipos de conexões existam e você as tenha criado na seguinte ordem:

• SnowflakeConnectionBob (Senha do usuário)
• SnowflakeConnectionAlice (par de chaves)
• SnowflakeConnectionCharlie (OAuth)
• SnowflakeConnectionEve (Senha do usuário)

Nesse caso, o sistema ignora SnowflakeConnectionBob e SnowflakeConnectionEve. O sistema considera apenas as seguintes conexões para seleção:

• SnowflakeConnectionAlice (par de chaves)
• SnowflakeConnectionCharlie (OAuth)

Normalmente, o sistema seleciona SnowflakeConnectionAlice para avaliação e execuções programadas.

Próximas etapas

Depois de configurar a conexão, você pode criar o perfil de seus dados, criar e aplicar regras e executar uma verificação de qualidade de dados. Para obter orientações passo a passo, consulte os artigos de criação de perfil de dados e verificação da qualidade dos dados:

• Configurar e executar a criação de perfil de dados
• Configurar e executar uma verificação de qualidade de dados

Conteúdo relacionado

• Conectar-se e gerenciar o Snowflake no Microsoft Purview
• Configurar conexões de fonte de dados para qualidade de dados
• Configurar Azure Rede Virtual
• Configurar ponto de extremidade privado para o Link Privado do Snowflake
• Solução de problemas de qualidade de dados