Open source vs. managed MLflow em Azure Databricks

Esta página destina-se a ajudar utilizadores de MLflow de open source a familiarizar-se com o uso do MLflow no Databricks. O MLflow gerido pela Databricks utiliza as mesmas APIs, mas oferece capacidades adicionais através de integrações com a plataforma mais ampla Azure Databricks.

Benefícios do MLflow gerido em Azure Databricks

O MLflow de código aberto fornece o modelo de dados central, a API e o SDK. Isto significa que os seus dados e cargas de trabalho são sempre portáteis.

Managed MLflow no Databricks acrescenta:

• Governação e segurança de nível empresarial através da integração com a plataforma Databricks, Lakehouse e Unity Catalog. Os seus dados, ferramentas, agentes, modelos e outros ativos de IA e ML podem ser governados e usados na mesma plataforma que o resto dos seus dados e cargas de trabalho.
• Alojamento totalmente gerido em servidores escaláveis prontos para produção
• Integrações para desenvolvimento e produção com a plataforma mais ampla de IA Databricks

Consulte a página do produto Managed MLflow para mais detalhes sobre benefícios e consulte o resto desta página para saber mais detalhes técnicos.

Capacidades adicionais em Databricks

Esta secção lista capacidades importantes habilitadas no MLflow gerido através de integrações com a plataforma Azure Databricks mais ampla. Para visão geral de todas as capacidades do MLflow para GenAI, consulte MLflow 3 para GenAI e a documentação open source do GenAI.

Governação e segurança de nível empresarial

• Governação empresarial com o Unity Catalog: Modelos, tabelas de características, índices vetoriais, ferramentas e muito mais são governados centralmente no Unity Catalog. Ao implementar agentes, a autenticação para o acesso a agentes, dados e ferramentas pode ser controlada com precisão usando tanto a autenticação passthrough como a autenticação em nome do utilizador.
• Integração de dados do Lakehouse: Tire partido de agentes Genie e painéis de IA/BI e do Databricks SQL para analisar registos e rastreios de experiências do MLflow.
• Segurança e gestão: As permissões MLflow seguem os mesmos padrões de governação da plataforma Azure Databricks mais ampla:
  • Objetos de espaço de trabalho, como experimentos, seguem permissões de espaço de trabalho.
  • Os objetos do Catálogo Unity, como modelos registados, seguem os privilégios do Catálogo Unity.
  • A autenticação e o acesso à interface e API correspondem à plataforma Databricks e à API REST.
• Auditoria: As tabelas do sistema fornecem registos de utilização e auditoria para MLflow gerido.

Alojamento totalmente gerido em servidores prontos para produção

• Totalmente gerido: O Azure Databricks fornece aos servidores MLflow atualizações automáticas, concebidos para escalabilidade e produção. Para obter detalhes, consulte Limites de recursos.
• Plataforma de confiança: O MLflow gerido é utilizado por milhares de clientes em todo o mundo.

Integrações para desenvolvimento e produção

O desenvolvimento de IA e ML é simplificado por integrações como:

• Integração com cadernos: Os cadernos Databricks estão automaticamente ligados ao servidor MLflow e podem usar tanto experiências de cadernos como de espaço de trabalho para acompanhar e partilhar resultados. Os notebooks do Databricks suportam o autologging para a monitorização do MLflow. Para GenAI, os notebooks Databricks podem apresentar uma interface de traçado inline para análise interativa.
• Ferramentas de feedback humano GenAI: Para avaliação GenAI, a Databricks disponibiliza uma App de Revisão para feedback humano que inclui uma interface de chat para verificações de vibração e uma interface de feedback especializado para rotular vestígios.

A IA de produção e o ML são facilitados por integrações como:

• Infrastructure-as-code para CI/CD: Gerir experiências MLflow, modelos e muito mais com Declarative Automation Bundles e MLOps Stacks.
• Implementação de modelos usando CI/CD: Os jobs de implementação MLflow 3 integram fluxos de trabalho Databricks com o Unity Catalog para automatizar a implementação em etapas de modelos ML.
• Integração com Feature Store: A integração Databricks Feature Store + MLflow proporciona uma implementação mais simples para modelos de ML que utilizam tabelas de características.
• Monitorização de produção GenAI: A Databricks fornece um serviço de monitorização de produção que avalia continuamente uma amostra do seu tráfego de produção usando juízes e pontuadores LLM. Isto é alimentado pela ingestão de traços em escala de produção que inclui o armazenamento de traços em tabelas do Catálogo Unity.

Recursos adicionais

Comece a usar MLflow em Databricks:

• Crie uma conta de teste gratuita no Databricks para usar MLflow gerido pelo Databricks
• Tutorial: Liga o teu ambiente de desenvolvimento ao MLflow
• Introdução: MLflow 3 para GenAI
• Comece com o MLflow 3 para modelos

Material de referência relacionado:

• MLflow open source para documentação GenAI
• A API REST do Databricks, que inclui a API MLflow
• SDKs de Databricks, que incluem operações de MLflow