Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O agente de engenharia de dados Fabric (Project Osmos) é uma capacidade autônoma de engenharia de dados para o Microsoft Fabric. Ele executa tarefas persistentes que planejam, executam e validam trabalhos de engenharia de dados contra recursos Fabric que você está autorizado a acessar.
Em um cliente de linha de comando suportado, você insere um resultado do projeto (uma descrição da tarefa completa de engenharia de dados de ponta a ponta) e seleciona o lakehouse Fabric que hospeda essa tarefa. O Project Osmos pode inspecionar dados, criar e testar notebooks Spark, transformar dados, escrever tabelas Delta e validar resultados. As tarefas continuam rodando no Fabric após o cliente local se desconectar.
Important
O agente de engenharia de dados (Project Osmos) está em versão prévia. Os recursos de pré-visualização são lançados com capacidades limitadas e estão sujeitos a termos suplementares de pré-visualização separados. Eles não são destinados a uso em produção, não estão sujeitos a acordos de nível de serviço e podem estar disponíveis apenas em regiões selecionadas. Para obter mais informações, consulte as informações da prévia do Microsoft Fabric.
Principais funcionalidades
O agente de engenharia de dados (Project Osmos) implementa e executa tarefas de engenharia de dados em uma tarefa gerenciada do Fabric. Ele utiliza SparkCore, estado persistente, controles de acesso, acompanhamento de progresso e validação contra dados alvo. Múltiplos agentes coordenados criam e avaliam múltiplas opções de implementação para entregar resultados de qualidade de produção.
Project Osmos adiciona capacidades específicas para Fabric:
- Execução hospedada no Fabric: Operações de código e dados rodam com Fabric Spark e OneLake, e não apenas em um ambiente de desenvolvimento local.
- Estado persistente da tarefa: A tarefa continua rodando após o desconectar do cliente local e pode ser retomada sem recomeçar.
- Contexto do Lakehouse: O Project Osmos resolve o espaço de trabalho do Fabric e o lakehouse padrão da sessão Spark a partir da URL do lakehouse que você fornece.
- Limites operacionais: Antes da execução, você revisa configurações de permissões, segurança de escrita, comportamento de reexecução, evolução de esquemas, artefatos e esforço de raciocínio.
- Validação integrada: A tarefa pode rodar código gerado e verificar contagens de linhas, nulos, esquemas e outros critérios de sucesso no ambiente de destino.
- Visibilidade compartilhada: Qualquer pessoa que tenha acesso à casa do lago onde você lançou a tarefa pode verificar seu progresso e fornecer informações, se necessário.
Essas capacidades transformam um resultado do Project em uma unidade gerenciada de trabalho de engenharia de dados, em vez de uma resposta temporária por chat.
Como funciona o agente de engenharia de dados (Project Osmos)
O Project Osmos utiliza um ciclo de vida gerenciado para cada tarefa de engenharia de dados:
- Defina: O resultado do projeto identifica a tarefa completa de engenharia de dados de ponta a ponta, e a URL do lakehouse identifica o lakehouse do Fabric que o hospeda.
- Plano: O Project Osmos analisa o contexto disponível e recomenda configurações operacionais para revisão.
- Executar: A tarefa roda no Fabric e pode criar, testar e refinar artefatos de engenharia de dados.
- Validar: A tarefa verifica seus resultados em relação aos critérios de sucesso especificados e relata os resultados.
- Monitor: A tarefa permanece disponível no cliente de linha de comando e na experiência de tarefas no Lakehouse.
O lakehouse selecionado é o lakehouse padrão para a sessão do Spark. Não é automaticamente a única fonte ou destino. Seu resultado do Project, permissões do Fabric e configurações operacionais revisadas determinam o escopo da tarefa.
Para os passos para criar sua primeira tarefa, veja Comece com o Project Osmos.
Escolha um caso de uso apropriado
O Project Osmos foi projetado para trabalhos de engenharia de dados orientados a resultados, que se beneficiam de planejamento, execução e validação autônomos.
| Caso de uso | Exemplo de resultado |
|---|---|
| Preparação de dados | Limpe arquivos de vendas, padronize tipos, remova linhas inválidas e escreva uma tabela Delta validada. |
| Integração de tabelas | Junte pedidos, clientes e dados de produtos, depois crie uma tabela selecionada para análises a jusante. |
| Modernização do lakehouse | Converta uma transformação existente no Spark, produza um notebook testado e valide a nova saída. |
| Arquitetura Medallion | Crie transformações de bronze, prata e ouro a partir dos arquivos de origem em uma única tarefa completa. |
| Remediação da qualidade dos dados | Faça um perfil de uma tabela, identifique problemas de qualidade, aplique correções aprovadas e reporte métricas de antes e depois. |
| Melhoria de desempenho | Revise tabelas Delta, recomende alterações de particionamento ou layout, implemente mudanças aprovadas e meça os resultados. |
| Assistência na migração | Transforme extrações legadas em um modelo pronto para o Fabric, preservando as regras de negócio e validando os totais. |
O Project Osmos foi criado para resolver desafios de engenharia de dados. Não é feito para uma consulta rápida, uma alteração de relatório no Power BI ou outras tarefas que não sejam de engenharia de dados.
Trabalho entre CLI e Fabric
Project Osmos utiliza duas experiências conectadas. Você cria e direciona tarefas a partir da linha de comando e visualiza o progresso da tarefa no aplicativo Fabric:
- Experiência em linha de comando: Use o GitHub Copilot CLI, Codex ou Claude Code para criar uma tarefa, inserir um resultado do Project, revisar as configurações operacionais e enviar orientações de acompanhamento.
- Experiência de lakehouse no Fabric: Navegue pelas tarefas do lakehouse, verifique o status, abra uma tarefa, revise a atividade e os erros e inspecione as saídas produzidas.
Ambas as experiências se referem à mesma tarefa hospedada no Fabric e ao mesmo ID de tarefa.