Conectar-se a fontes de ingestão gerenciadas

As ligações de ingestão gerida do Lakeflow Connect armazenam credenciais de autenticação para as suas fontes de dados no Unity Catalog. Qualquer utilizador com o privilégio USE CONNECTION na ligação pode criar pipelines de ingestão geridos a partir de fontes como Salesforce e SQL Server.

Um utilizador administrador deve criar a ligação se os utilizadores que irão criar pipelines forem utilizadores não administradores ou usarem interfaces programáticas. Essas interfaces exigem que os usuários especifiquem uma conexão existente quando criam um pipeline.

Como alternativa, os administradores podem criar uma conexão e um pipeline ao mesmo tempo na IU de ingestão de dados. Consulte Conectores gerenciados no Lakeflow Connect.

Ingestão vs. conexões de federação

O Lakeflow Connect oferece conectores de ingestão totalmente geridos para aplicações empresariais e fontes de bases de dados. A Lakehouse Federation permite que você consulte fontes de dados externas sem mover seus dados. Pode criar conexões tanto para a ingestão como para a federação de consultas no Explorador de Catálogos.

Requisitos de privilégio

Os privilégios de usuário necessários para se conectar a uma fonte de ingestão gerenciada dependem da interface escolhida:

Cenário Interfaces suportadas Privilégios de usuário necessários
Um usuário administrador cria uma conexão e um pipeline de ingestão ao mesmo tempo. Interface do usuário de ingestão de dados
  • CREATE CONNECTION na metastore
  • USE CATALOG no catálogo de destino
  • (aplicativos SaaS) USE SCHEMA e CREATE TABLE em um esquema existente ou CREATE SCHEMA no catálogo de destino
  • (Bancos de dados) USE SCHEMA, CREATE TABLEe CREATE VOLUME em um esquema existente ou CREATE SCHEMA no catálogo de destino
Um usuário administrador cria uma conexão para usuários não administradores criarem pipelines. Administrador:
  • Explorador de Catálogos

Não-administrador:
  • Interface do usuário de ingestão de dados
  • Pacotes de Automação Declarativa
  • Databricks APIs
  • Databricks SDKs
  • CLI do Databricks
 Administrador:
  • CREATE CONNECTION na metastore

Não-administrador:
  • USE CONNECTION numa ligação existente
  • USE CATALOG no catálogo de destino
  • (aplicativos SaaS) USE SCHEMA e CREATE TABLE em um esquema existente ou CREATE SCHEMA no catálogo de destino
  • (Bancos de dados) USE SCHEMA, CREATE TABLEe CREATE VOLUME em um esquema existente ou CREATE SCHEMA no catálogo de destino

Criar uma conexão

Para obter instruções passo a passo para criar uma ligação do Unity Catalog para uma origem de ingestão gerida específica, consulte a página "Criar uma ligação" do respetivo conector na documentação dos conectores geridos.

Passos seguintes

Depois de criar uma ligação à sua fonte de ingestão gerida no Explorador de Catálogo, qualquer utilizador com o USE CONNECTION privilégio da ligação pode criar um pipeline de ingestão das seguintes formas:

  • Assistente de ingestão (apenas conectores suportados)
  • Pacotes de Automação Declarativa
  • Databricks APIs
  • Databricks SDKs
  • CLI do Databricks

Para instruções de criação de pipeline, consulte a documentação do conector gerido.

  • Last updated on