O que é Lakeflow Connect?

O Lakeflow Connect oferece conectores simples e eficientes para ingerir dados de arquivos locais, aplicativos empresariais populares, bancos de dados, armazenamento em nuvem, barramentos de mensagens e muito mais. Esta página descreve algumas das maneiras pelas quais o Lakeflow Connect pode melhorar o desempenho do ETL. Ele também abrange casos de uso comuns e a gama de ferramentas de ingestão suportadas, desde conectores totalmente gerenciados até estruturas totalmente personalizáveis.

Modelos de serviço flexíveis

O Lakeflow Connect oferece uma ampla gama de conectores para aplicativos corporativos, armazenamento em nuvem, bancos de dados, barramentos de mensagens e muito mais. Também lhe dá a flexibilidade de escolher entre os seguintes:

Opção Descrição
Um serviço totalmente gerenciado Conectores prontos para uso que democratizam o acesso aos dados com interfaces de usuário simples e APIs poderosas. Isso permite que se criem rapidamente pipelines de ingestão robustos enquanto minimiza os custos de manutenção de longo prazo.
Um pipeline personalizado Se precisares de mais personalização, podes usar pipelines Lakeflow ou Structured Streaming. Em última análise, essa versatilidade permite que o Lakeflow Connect atenda às necessidades específicas da sua organização.

Unificação com as principais ferramentas Databricks

O Lakeflow Connect usa os principais recursos do Databricks para fornecer gerenciamento de dados abrangente. Por exemplo, ele oferece governança usando o Unity Catalog, orquestração usando Lakeflow Jobs e monitoramento holístico em todos os seus pipelines. Isso ajuda sua organização a gerenciar a segurança, a qualidade e o custo dos dados, ao mesmo tempo em que unifica seus processos de ingestão com outras ferramentas de engenharia de dados. O Lakeflow Connect foi construído em uma plataforma aberta de inteligência de dados, com total flexibilidade para incorporar suas ferramentas preferidas de terceiros. Isso garante uma solução personalizada que se alinha com sua infraestrutura existente e estratégias de dados futuras.

Ingestão rápida e escalável

O Lakeflow Connect usa leituras e gravações incrementais para permitir uma ingestão eficiente. Quando combinado com transformações incrementais a jusante, isso pode melhorar significativamente o desempenho do ETL.

Casos comuns de utilização

Os clientes ingerem dados para resolver os problemas mais desafiadores de suas organizações. Exemplos de casos de uso incluem o seguinte:

Caso de uso Descrição
Cliente 360 Medir o desempenho da campanha e a pontuação de clientes potenciais
Gestão de carteiras Maximização do ROI com modelos históricos e de previsão
Análise do consumidor Personalizar as experiências de compra dos seus clientes
Recursos humanos centralizados Apoiar a força de trabalho da sua organização
Gêmeos digitais Aumentar a eficiência de fabricação
Chatbots RAG Criação de chatbots para ajudar os usuários a entender políticas, produtos e muito mais

Camadas do stack ETL

Alguns conectores operam em um nível da pilha ETL. Por exemplo, o Databricks oferece conectores totalmente gerenciados para aplicativos corporativos, como Salesforce, e bancos de dados, como o SQL Server. Outros conectores operam numa camada distinta da pilha de ETL. Por exemplo, pode usar conectores padrão nos pipelines do Lakeflow para ter mais opções de personalização. De forma semelhante, pode escolher o seu nível de personalização para dados em streaming a partir do Apache Kafka, Amazon Kinesis, Google Pub/Sub e Apache Pulsar.

A Databricks recomenda começar com a camada mais gerenciada. Se ele não atender aos seus requisitos (por exemplo, se não oferecer suporte à sua fonte de dados), desça para a próxima camada.

A tabela seguinte descreve as camadas dos produtos de ingestão:

Camada Descrição
Condutas de fluxo de lago Os pipelines do Lakeflow oferecem uma framework declarativa para criar pipelines de dados. Defina as suas transformações, e os pipelines Lakeflow tratam da orquestração, monitorização, qualidade dos dados, erros e muito mais. Eles baseiam-se no Structured Streaming para streaming e suportam a maioria das funcionalidades de Structured Streaming. Para qualquer funcionalidade de Structured Streaming ainda não disponível nos pipelines do Lakeflow, pode utilizar diretamente as APIs de Structured Streaming.
Conectores totalmente gerenciados Conectores totalmente geridos assentam nos pipelines Lakeflow, oferecendo ainda mais automação para as fontes de dados mais populares. Estendem a funcionalidade dos pipelines Lakeflow para incluir também autenticação específica por fonte, CDC, gestão de casos limite, manutenção de API a longo prazo, tentativas automáticas, evolução automática de esquemas, entre outros. Portanto, eles oferecem ainda mais automação para quaisquer fontes de dados suportadas.

Conectores gerenciados

Você pode usar conectores totalmente gerenciados para ingerir a partir de aplicativos corporativos e bancos de dados. Consulte Conectores Geridos no Lakeflow Connect para uma lista completa de conectores suportados.

As interfaces suportadas incluem:

  • Interface do usuário do Databricks
  • Pacotes de Automação Declarativa
  • Databricks APIs
  • Databricks SDKs
  • CLI do Databricks

Conectores comunitários

Conectores comunitários estendem o Lakeflow Connect para fontes sem suporte de conectores geridos. São open-source, construídos e mantidos pela comunidade, e não apoiados pelos SLAS do Databricks. Use um conector que a comunidade já tenha registado para ingerir a partir de uma fonte suportada. Consulte conectores comunitários em Lakeflow Connect.

Conectores personalizados

Conectores personalizados permitem-te construir o teu próprio conector para uma fonte que não tem conector gerido. Constróis, testas, implementas e executas um conector personalizado no teu próprio espaço de trabalho do Azure Databricks, sem o registares junto da comunidade. Veja Construir um conector personalizado para o Lakeflow Connect.

Conectores padrão

Além dos conectores gerenciados, o Databricks oferece conectores personalizáveis para armazenamento de objetos em nuvem e barramentos de mensagens. Consulte Conectores padrão no Lakeflow Connect.

Criar ou modificar uma tabela a partir do upload de ficheiros (Adicionar UI de dados)

Pode ingerir ficheiros que estão na sua rede local, ficheiros que são carregados para um volume ou ficheiros que são descarregados de uma localização na Internet. Consulte Criar ou modificar uma tabela usando o upload de arquivos.

Parceiros de Ingestão

Muitas ferramentas de terceiros suportam ingestão em lote ou streaming no Databricks. O Databricks valida várias integrações de terceiros, embora as etapas para configurar o acesso a sistemas de origem e ingerir dados variem de acordo com a ferramenta. Consulte parceiros de ingestão para obter uma lista de ferramentas validadas. Alguns parceiros de tecnologia também são apresentados no Databricks Partner Connect, que tem uma interface do usuário que simplifica a conexão de ferramentas de terceiros aos dados da Lakehouse.

incorporação de bricolage

Databricks fornece uma plataforma de computação geral. Como resultado, você pode criar seus próprios conectores de ingestão usando qualquer linguagem de programação suportada pelo Databricks, como Python ou Java. Você também pode importar e usar bibliotecas de conectores de código aberto populares, como a ferramenta de carregamento de dados, Airbyte e Debezium.

Alternativas de ingestão

O Databricks recomenda a ingestão para a maioria dos casos de uso porque é dimensionado para acomodar grandes volumes de dados, consultas de baixa latência e limites de API de terceiros. A ingestão copia dados dos seus sistemas de origem para o Azure Databricks, o que resulta em dados duplicados que podem ficar obsoletos com o tempo. Se não quiser copiar dados, pode utilizar as seguintes ferramentas:

Ferramenta Descrição
Federação Lakehouse Permite consultar fontes de dados externas sem mover os dados.
OpenSharing Permite que você compartilhe dados com segurança entre plataformas, nuvens e regiões.
  • Last updated on