Principais desafios na construção de aplicações de IA

Apesar do poder dos modelos modernos de IA, aplicações de IA de qualidade de produção são frequentemente difíceis de desenvolver. Três desafios principais podem ser resumidos assim:

  • Governação: Muitas plataformas têm dificuldades em garantir governação unificada, privacidade de dados e segurança para os ativos de dados e IA.
  • Qualidade: O comportamento flexível e imprevisível dos modelos de IA acrescenta complexidade à avaliação.
  • Controlo: As plataformas devem proporcionar flexibilidade, escolha de modelos e personalização.

Governação de dados e IA

As aplicações de IA requerem dados diversificados e ativos de IA: tabelas, índices vetoriais, modelos de IA, ferramentas e muito mais. Uma plataforma de IA deve fornecer acesso detalhado a estes ativos aos programadores, ao mesmo tempo que proporciona governação conjunta aos administradores. Sem uma governação completa, as organizações enfrentam riscos como:

  • Fuga de dados: Dados sensíveis de clientes ou empresas podem ser usados indevidamente sem o devido rastreio de linhagem e controlo de acessos, e os dados podem inadvertidamente passar pelos resultados dos modelos se não forem aplicadas as devidas proteções.
  • Restrições de conformidade: Muitas organizações têm requisitos de conformidade como SOC2 ou HIPAA, e integrar modelos de IA em plataformas legadas compatíveis pode ser complexo, levando a atrasos ou restrições na utilização dos melhores modelos.
  • Uso não autorizado ou custos inesperados: Sem controlos de acesso e proteções de uso, os modelos de IA podem ser usados por equipas não autorizadas ou incorrer em custos elevados de uso.

O Azure Databricks simplifica a governação unificada para dados e IA através de:

  • Unity Catalog, que gere ficheiros, tabelas, índices vetoriais, armazenamentos de características, modelos e ferramentas sob um modelo de governação unificado
  • AI Gateway, que fornece governação unificada e monitorização para os endpoints dos modelos de IA, incluindo guardas de segurança e limites de utilização
  • Databricks AI Security Framework, que fornece um guia abrangente para a gestão de risco em IA
  • Databricks AI Governance Framework, que complementa o Security Framework ao fornecer uma visão da governação que abrange tanto a segurança como a integridade operacional

Qualidade dos modelos, agentes e aplicações

Os modelos de IA produzem resultados abertos e estocásticos e são frequentemente aplicados a problemas abertos com muitas respostas "boas". Mesmo definir "alta qualidade" pode ser desafiante e muitas vezes requer feedback iterativo de especialistas do domínio ou utilizadores. Sem processos robustos de avaliação, as organizações enfrentam riscos como:

  • Más experiências dos utilizadores: Se as aplicações de IA não forem avaliadas com base em métricas alinhadas com as necessidades dos utilizadores, os utilizadores podem achar as respostas pouco úteis, imprecisas ou até prejudiciais ou ofensivas. A reputação da marca pode sofrer em casos extremos.
  • Limbo no desenvolvimento: Se a qualidade não puder ser definida ou medida de forma a permitir a aprovação das partes interessadas, os projetos de IA podem ser atrasados ou cancelados por falta de "prova" de qualidade.

O Azure Databricks simplifica a medição e otimização da qualidade da IA através de:

  • MLflow Evaluation and Monitoring, com juízes incorporados e pontuadores personalizados para medir a qualidade, utilizável tanto no desenvolvimento como na monitorização de produção
  • MLflow Tracing, com rastreio automático e manual para proporcionar observabilidade tanto para desenvolvimento como para produção
  • recolha de feedback humano, com uma aplicação incorporada para feedback de especialistas durante o desenvolvimento e APIs para feedback dos utilizadores a partir de aplicações de produção

Controlo de dados e modelos

Modelos de IA de última geração são fornecidos por muitos fornecedores de modelos, bem como opções open source auto-hospedadas. Devido a complicações de privacidade de dados e licenciamento, muitas plataformas têm dificuldades em suportar este ecossistema diversificado e em permitir uma iteração e personalização rápidas. As organizações devem manter o controlo dos seus dados e da escolha dos modelos para evitar riscos como:

  • Restrições de privacidade de dados: Requisitos de conformidade ou integração podem impedir as organizações de aceder aos principais modelos de IA de múltiplos fornecedores, sacrificando flexibilidade e compromissos entre qualidade e custo.
  • Falta de vantagem competitiva: Se modelos, dados, agentes e aplicações não forem personalizáveis com base nos dados proprietários de uma organização, então é desafiante construir propriedade intelectual.

O Azure Databricks proporciona controlo e flexibilidade para dados e modelos através de:

  • APIs de Modelos Fundamentais, que servem modelos de ponta de fornecedores de topo no seu próprio ambiente Azure Databricks, juntamente com os seus modelos personalizados e agentes no Model Serving.
  • Aplicações personalizadas, agentes, modelos, ferramentas e fontes de dados construídos em torno dos seus dados proprietários. Todos estes níveis de IA apoiam a Inteligência de Dados, desde a construção de aplicações e agentes, ao fornecimento de dados através de ferramentas, até à avaliação e otimização de agentes com base nos seus dados.

Recursos adicionais

  • Last updated on