Conexões do Unity Catalog

Uma conexão é um objeto protegível no Catálogo do Unity que armazena o ponto de extremidade e as credenciais necessárias para acessar um sistema externo. Uma conexão inclui:

  • O endpoint ou URL do sistema externo
  • Credenciais de autenticação
  • Parâmetros de configuração
  • Proprietário e metadados

As conexões não são iguais às credenciais de armazenamento (para armazenamento de objetos de nuvem) ou credenciais de serviço (para serviços de nuvem que não são de armazenamento). Para obter mais informações, consulte o que é o Catálogo do Unity? e Conexão.

Tipos de conexão

Azure Databricks dá suporte a vários tipos de conexão, cada um projetado para um padrão de integração diferente. O tipo que você cria determina como a conexão é consumida e qual governança ela fornece.

Conexões de ingestão gerenciadas

Conexões de ingestão gerenciadas alimentam pipelines do Lakeflow Connect para ingestão totalmente gerenciada e sem servidor de fontes externas em tabelas Delta.

Veja Conexão com fontes de ingestão gerenciadas e conceitos dos conectores do Lakeflow Connect.

Conexões de federação de consulta

As conexões de federação de consultas permitem consultas somente de leitura em bancos de dados externos sem mover os dados. Eles usam catálogos estrangeiros que espelham a estrutura do banco de dados externo. As consultas são enviadas por push para o banco de dados externo usando JDBC.

Consulte O que é federação de consulta?.

Conexões de federação de catálogo

As conexões de federação de catálogo conectam catálogos externos (um Metastore do Hive ou um Catálogo do Snowflake Horizon) a Azure Databricks. O Catálogo do Unity rastreia os metadados do catálogo externo e preenche automaticamente um catálogo estrangeiro, para que você possa consultar dados diretamente no armazenamento de arquivos de origem.

Veja o que é federação de catálogo?.

Conexões JDBC

As conexões JDBC fornecem acesso de leitura e escrita a bancos de dados externos usando JARs de driver JDBC com a API Spark Data Source ou a API Remote Query SQL.

Consulte a conexão JDBC.

Conexões HTTP

As conexões HTTP permitem a comunicação com serviços HTTP externos por meio de um proxy gerenciado por Azure Databricks. Eles alimentam APIs REST externas e se integram com os Serviços do Unity Catalog Model Context Protocol (MCP) para ferramentas de agentes.

Consulte Conectar-se a serviços HTTP externos e conectar agentes a ferramentas de terceiros com os Serviços MCP.

Escolher um tipo de conexão

A tabela a seguir compara os tipos de conexão para ajudá-lo a escolher o caso de uso correto.

Tipo Caso de uso Leitura Escrever Nível de governança
Ingestão gerenciada Ingerir dados de aplicativos saaS ou bancos de dados em tabelas Delta Ingestões no Delta N/A Nível de conexão
Federação de consulta Consultar um banco de dados externo no local sem copiar dados Sim No Nível de tabela
Federação de catálogos Conectar catálogos externos para consultar dados diretamente no armazenamento de arquivos de origem Sim No Nível de tabela
JDBC Ler e gravar em um banco de dados externo com um driver JDBC específico Sim Sim Nível de conexão
HTTP Conectar-se a APIs HTTP externas, servidores MCP ou ferramentas de agente N/A N/A Nível de conexão

Criar uma conexão

Você pode criar conexões usando o SQL, a interface do usuário do Catalog Explorer (Catalog>Create>a connection) ou a API REST e a CLI do Databricks.

A instrução SQL CREATE CONNECTION dá suporte aos seguintes valores TYPE: DATABRICKS, , HTTP, MYSQL, POSTGRESQL, , REDSHIFT, SNOWFLAKE, , SQLDW, . SQLSERVER Tipos de ingestão de SaaS (como Salesforce, HubSpot e Jira) só podem ser criados usando a interface do usuário ou as APIs.

Consulte a referência SQL em CREATE CONNECTION.

Conexões e políticas de rede

A segurança para conectividade de saída opera nas seguintes camadas:

  • As conexões do Catálogo do Unity regem as credenciais e a configuração de conexão (URL, host, porta, opções). Eles fornecem uma maneira segura e governada de armazenar e compartilhar detalhes de autenticação e configurações de conexão para sistemas externos sem inserir segredos no código.
  • As políticas de rede regem o acesso à rede. Eles controlam tanto a conectividade de saída dos serviços de computação do Azure Databricks para pontos de extremidade externos quanto a conectividade de entrada de fontes externas para o seu ambiente de trabalho. As conexões do Catálogo do Unity não impõem restrições de rede. Para gerenciar o tráfego permitido em qualquer direção, configure as regras de rede.