Caminhos de integração do Microsoft Fabric para ISVs

O Microsoft Fabric oferece três caminhos distintos para que fornecedores independentes de software (ISVs) se integrem perfeitamente com o Fabric. Para um ISV que inicia essa jornada, este artigo percorre vários recursos disponíveis em cada uma dessas vias.

Interoperabilidade com o OneLake

O foco principal do modelo Interop é permitir que ISVs integrem suas soluções com a OneLake Foundation. Para interoperar com Fabric, Microsoft oferece integração por meio de uma variedade de conectores no Data Factory e no Real-Time Intelligence. A Microsoft também oferece APIs REST para OneLake, atalhos no OneLake, compartilhamento de dados entre locatários Fabric e espelhamento de banco de dados.

As seções a seguir descrevem algumas das maneiras pelas quais você pode começar a usar esse modelo.

APIs do OneLake

• O OneLake dá suporte a APIs e SDKs do ADLS (Azure Data Lake Storage) Gen2 existentes, para interação direta, permitindo que os desenvolvedores leiam, gravem e gerenciem seus dados no OneLake. Saiba mais sobre APIs REST do ADLS Gen2 e como se conectar ao OneLake.
• Como nem todas as funcionalidades do ADLS Gen2 são mapeadas diretamente para o OneLake, o OneLake também impõe uma estrutura de pastas definida para dar suporte aos espaços de trabalho e itens do Fabric. Para obter uma lista completa de comportamentos diferentes entre o OneLake e o ADLS Gen2 ao chamar essas APIs, consulte Paridade da API do OneLake.
• Se você está usando Databricks e quer se conectar ao Fabric, o Databricks funciona com APIs ADLS Gen2. Integrar o OneLake ao Azure Databricks.
• Para aproveitar ao máximo o que o formato de armazenamento Delta Lake pode fazer por você, revise e entenda o formato, a otimização de tabelas e a ordem V. Otimização de tabelas do Delta Lake e V-Order.
• Uma vez que os dados estejam no OneLake, explore localmente usando o explorador de arquivos do OneLake. O explorador de arquivos do OneLake integra perfeitamente o OneLake ao Explorador de Arquivos do Windows. Esse aplicativo sincroniza automaticamente todos os itens do OneLake aos quais você tem acesso no Explorador de Arquivos do Windows. Também poderá usar qualquer outra ferramenta compatível com o ADLS Gen2, como do Gerenciador de Armazenamento do Microsoft Azure.

APIs de Inteligência em tempo real

O Fabric Real-Time Intelligence é uma solução abrangente projetada para dar suporte a todo o ciclo de vida de dados em tempo real, desde ingestão e processamento de fluxo até análise, visualização e ação. Criado para lidar com dados de streaming de alta taxa de transferência, ele oferece recursos robustos para ingestão, transformação, consulta e armazenamento de dados, permitindo que as organizações tome decisões oportunas e controladas por dados.

• Os Eventstreams permitem que você traga eventos em tempo real de várias fontes e os encaminhe para diversos destinos, como casas de lago, bancos de dados KQL no Eventhouse e o Fabric Activator. Saiba mais sobre eventstreams e a API do eventstreams.
• Você pode ingerir dados de streaming no Eventstreams por meio de vários protocolos, incluindo Kafka, Event Hubs, AMQP e uma lista crescente de conectores, listada aqui.
• Após processar os eventos ingeridos usando a experiência no-code ou usando o operador SQL (Preview), você pode rotear o resultado para vários destinos Fabric ou para endpoints personalizados. Saiba mais sobre os destinos do eventstreams aqui.
• Os eventhouses são projetados para transmitir dados, compatíveis com Real-Time hub e ideais para eventos baseados em tempo. Os dados são automaticamente indexados e particionados com base no tempo de ingestão, oferecendo a você capacidades analíticas incrivelmente rápidas e complexas em dados de alta granularidade que você pode acessar no OneLake para uso em toda a suíte de experiências do Fabric. As casas de eventos suportam APIs e SDKs existentes para interação direta, permitindo que desenvolvedores leiam, escrevam e gerenciem seus dados nas casas de eventos. Saiba mais sobre a API REST.
• Se você estiver usando Databricks ou Jupyter Notebooks, poderá utilizar a Kusto Python Client Library para trabalhar com bancos de dados KQL no Fabric. Saiba mais sobre o Kusto Python SDK.
• Você pode utilizar os conectores existentes do Microsoft Logic Apps, do Azure Data Factory ou do Microsoft Power Automate para interagir com seus eventhouses ou bancos de dados KQL.
• Os atalhos de banco de dados na Inteligência em Tempo Real são referências incorporadas dentro um eventhouse a um banco de dados de origem. O banco de dados fonte pode ser um banco de dados KQL em Real-Time Intelligence ou um banco de dados Azure Data Explorer. Você pode usar atalhos para o compartilhamento local de dados dentro do mesmo locatário ou entre locatários. Saiba mais sobre como gerenciar atalhos de banco de dados usando a API.

Data Factory

• Os pipelines possuem um amplo conjunto de conectores, permitindo que os ISVs se conectem sem esforço a uma miríade de armazenamentos de dados. Caso esteja conectando bancos de dados tradicionais ou soluções modernas baseadas em nuvem, nossos conectores garantem um processo de integração fluido. Visão geral do conector.
• Ao usar os conectores Dataflow Gen2 suportados, ISVs podem aproveitar o poder do Fabric Data Factory para gerenciar fluxos de trabalho complexos de dados. Esse recurso é especialmente benéfico para ISVs que buscam simplificar o processamento de dados e tarefas de transformação. Conectores Dataflow Gen2 no Fabric.
• Para uma lista completa das capacidades suportadas pela Data Factory, confira este blog Data Factory.

Atalhos multinuvem

Atalhos no OneLake unificam seus dados entre domínios, nuvens e contas criando um único lago de dados virtual para toda a sua empresa. Todas as experiências e mecanismos analíticos do Fabric podem apontar diretamente para as suas fontes de dados existentes, como o OneLake em um locatário diferente, Azure Data Lake Storage (ADLS) Gen2, contas de armazenamento do Amazon S3, Google Cloud Storage (GCS), fontes de dados compatíveis com S3 e Dataverse, por meio de um espaço de nomes unificado. O OneLake apresenta os ISVs com uma solução de acesso a dados transformadora, conectando perfeitamente a integração entre diversos domínios e plataformas de nuvem.

• Saiba mais sobre os atalhos do OneLake
• Saiba mais sobre a cópia lógica única do OneLake
• Saiba mais sobre os atalhos do banco de dados KQL

Compartilhamento de dados

O compartilhamento de dados permite que os usuários do Fabric compartilhem dados entre diferentes locatários do Fabric sem duplicá-los. Esse recurso aprimora a colaboração, permitindo que os dados sejam compartilhados "in-loco" desde locais de armazenamento do OneLake. Os dados são compartilhados como somente leitura, acessíveis por meio de vários mecanismos de computação do Fabric, incluindo SQL, Spark, KQL e modelos semânticos. Para usar esse recurso, os administradores do Fabric devem habilitá-lo no locatário de compartilhamento e de recebimento. O processo inclui a seleção de dados no catálogo ou workspace do OneLake, configuração de configurações de compartilhamento e envio de um convite para o destinatário pretendido.

• Saiba mais sobre compartilhamento de dados.

Espelhamento de banco de dados

O espelhamento no Fabric oferece uma maneira simples de evitar processos ETL (Extração, Transformação e Carga) complexos e integrar seus dados existentes ao OneLake junto com o restante dos seus dados no Fabric. Você pode replicar continuamente seus dados existentes diretamente no OneLake. No Fabric, você pode desbloquear poderosos cenários de inteligência de negócios, inteligência artificial, Engenharia de Dados, Ciência de Dados e compartilhamento de dados.

• Saiba mais sobre espelhamento e bancos de dados compatíveis.

O espelhamento aberto permite que qualquer aplicativo grave dados de alterações diretamente em um banco de dados espelhado no Fabric. O espelhamento aberto foi projetado para ser extensível, personalizável e aberto. É um recurso poderoso que estende o espelhamento no Fabric com base no formato de tabela Delta Lake aberto. Assim que os dados chegam ao OneLake no Fabric, o espelhamento aberto simplifica o gerenciamento de mudanças complexas nos dados, garantindo que os todos os dados espelhados estejam continuamente atualizados e prontos para análise.

• Saiba mais sobre espelhamento aberto e quando usá-lo.

Desenvolver no Fabric

Com o modelo Desenvolver no Fabric os ISVs podem criar seus produtos e serviços com base no Fabric ou inserir perfeitamente as funcionalidades do Fabric em seus aplicativos existentes. É uma transição da integração básica para a aplicação ativa dos recursos que o Fabric oferece. A superfície principal de integração é via APIs REST para diferentes experiências no Fabric. A tabela a seguir mostra um subconjunto de APIs REST agrupadas por experiência do Fabric. Para ver uma lista completa, consulte a Documentação da API REST do Fabric.

Criar uma carga de trabalho do Fabric

O modelo Criar uma carga de trabalho do Fabric foi projetado para capacitar ISVs a criar experiências personalizadas na plataforma do Fabric. Ele fornece aos ISVs as ferramentas e os recursos necessários para alinhar suas ofertas com o ecossistema do Fabric, otimizando a combinação de suas propostas de valor exclusivas com os amplos recursos da Fabric.

O Microsoft Fabric Workload Development Kit oferece um conjunto de ferramentas abrangente para desenvolvedores integrarem aplicações ao hub Fabric. Essa integração permite a adição de novas capacidades diretamente em um espaço de trabalho Fabric, aprimorando a jornada analítica dos usuários. Ele fornece aos desenvolvedores e ISVs um novo caminho para alcançar os clientes, oferecendo experiências novas e familiares e aproveitando os aplicativos de dados existentes. Administradores do Fabric podem gerenciar quem pode adicionar cargas de trabalho em uma organização.

Hub de cargas de trabalho

O Workload Hub no Fabric é uma interface centralizada onde você pode explorar, gerenciar e acessar todas as cargas de trabalho disponíveis. Cada carga de trabalho no Fabric está associada a um tipo específico de item que você pode criar dentro dos espaços de trabalho do Fabric. Ao navegar pelo Hub de Carga de Trabalho, você pode facilmente descobrir e interagir com diversas cargas de trabalho, aprimorando suas capacidades analíticas e operacionais.

Os administradores do Fabric têm os direitos de gerenciar a disponibilidade da carga de trabalho, tornando-as acessíveis em todo o locatário ou em capacidades específicas. Essa extensibilidade garante que o Fabric permaneça uma plataforma flexível e escalonável, permitindo que as organizações adaptem seu ambiente de carga de trabalho para atender aos requisitos de negócios e dados em evolução. Ao integrar-se perfeitamente à estrutura de segurança e governança do Fabric, o Hub de Carga de Trabalho simplifica a implantação e o gerenciamento da carga de trabalho. Cada carga de trabalho vem com uma experiência de avaliação para os usuários começarem rapidamente. A seguir estão as cargas de trabalho disponíveis:

• 2TEST: uma carga de trabalho de garantia de qualidade abrangente que automatiza testes e verificações de qualidade de dados.

  

• Informatica Cloud Data Quality: Vamos criar um perfil, detectar e corrigir problemas de dados, como duplicatas, valores ausentes e inconsistências, diretamente no ambiente do Fabric.

  

• Lumel EPM: capacita os usuários empresariais a criar aplicativos EPM (Enterprise Performance Management) sem código sobre os modelos semânticos.

  

• Neo4j AuraDB com Análise de Grafos: Crie modelos de grafos a partir dos dados da OneLake, analise e explore visualmente conexões de dados, consulte seus dados e execute qualquer um dos algoritmos 65+ integrados com uma experiência fluida no Fabric.

  

• Osmos AI Data Wrangler: automatiza a preparação de dados com manipuladores de dados impulsionados por IA, tornando a transformação de dados fácil.

  

• Power Designer: uma ferramenta para criação de modelos de relatório e estilização em toda a empresa, melhorando os designs de relatório do Power BI.

  

• Inteligência de Processos Celonis: Permite que organizações expõem a classe única de dados e contextos da Celonis no Fabric.

  

• Gerenciamento de Dados Mestre do Profisee: capacita os usuários a corresponder, mesclar, padronizar, corrigir e validar dados com eficiência, transformando-os em produtos de dados confiáveis e prontos para consumo para análise e IA.

  

• Quantexa Unify: Aprimora as fontes de dados do OneLake ao fornecer uma visão de 360 graus com capacidades avançadas de resolução de dados.

  

• Construtor de Decisões sas: ajuda as organizações a automatizar, otimizar e dimensionar seus processos de tomada de decisão.

  

• Statsig: Traz visualização e análise de dados diretamente para o seu warehouse.

  

• Teradata AI Unlimited: Combina o motor analítico do Teradata com as capacidades de gerenciamento de dados do Fabric por meio das funções dentro do banco de dados do Teradata.

  

• SQL2Fabric-Mirroring by Striim: Solução totalmente gerenciada, de replicação sem código, que espelha de forma fluida os dados de SQL Server on-premises para o OneLake.

  

À medida que mais cargas de trabalho estiverem disponíveis, o Hub de Carga de Trabalho continuará a servir como um espaço dinâmico para descobrir novos recursos, garantindo que os usuários tenham as ferramentas necessárias para dimensionar e otimizar suas soluções controladas por dados.