Execute e valide uma migração de modelo de IA para agentes do Copilot Studio

As seções a seguir se aplicam a toda mudança de modelo, seja uma atualização proativa ou uma resposta a uma aposentadoria. Defina primeiro os portões, capture uma linha de base do modelo atual e depois trabalhe pelas fases.

Defina portões de aceitação de migração

Defina critérios de aceitação antes de avaliar o modelo candidato, para que a avaliação do agente produza uma decisão em vez de apenas um conjunto de pontuações. Inclua:

  • Taxa mínima geral de aprovação
  • Taxa de aprovação exigida para cenários críticos para o negócio
  • Falhas críticas que bloqueiam a migração independentemente da pontuação agregada
  • Latência permitida e variação de confiabilidade
  • Segurança, conformidade e aprovação regional para processamento
  • Consumo aceitável ou impacto de custo
  • Aprovação obrigatória do proprietário e do aprovador de liberação

Compare o modelo atual e o modelo candidato usando a mesma configuração do agente, dados de teste, conjunto de testes, perfis de usuário e pressupostos do ambiente. Investigue regressões individuais em vez de depender apenas de uma pontuação média.

Os resultados dos modelos são probabilísticos. Execute cenários importantes mais de uma vez quando a variabilidade pode afetar a decisão.

Estabeleça uma linha de base de avaliação reutilizável

Antes de mudar o modelo, crie um conjunto de testes que represente os cenários críticos para o negócio e de alta frequência do agente. Execute o conjunto de testes com o modelo de produção atual para estabelecer uma linha de referência.

Use tanto o chat de teste quanto a avaliação de agentes:

Os métodos de teste disponíveis para você dependem do harness do agente, então confirme-os antes de projetar o conjunto de teste. Saiba mais em Confirmar quais métodos de teste seu corretor apoia.

Avalie o comportamento completo do agente

Não aprove um modelo substituto só porque sua taxa agregada de aprovação é semelhante à do modelo atual.

Cubra as seguintes áreas. Cada um é um comportamento que normalmente muda quando o modelo muda, então um conjunto de teste que omite uma área não pode detectar uma regressão nela.

Área de avaliação O que uma mudança de modelo pode quebrar Como verificar
Qualidade da resposta Relevância, completude, precisão, clareza e consistência nas perguntas que o agente recebe com mais frequência. Qualidade geral
Fundamento e conhecimento O modelo responde a partir de dados de treinamento em vez da fonte de conhecimento configurada, elimina citações ou lida com fontes incompletas ou conflitantes de forma diferente. Qualidade geral
Abstenção O modelo responde a uma pergunta fora do escopo em vez de recusar ou escalar. Qualidade geral, ou Personalizado com rótulos de Respondido e Recusado
Instruções a seguir Instruções que o modelo seguiu de forma confiável são puladas, como regras de escalonamento, limites, comportamentos proibidos ou um aviso obrigatório. Correspondência de palavras-chave em frases obrigatórias, ou Personalizado com rótulos específicos para instruções
Valores fixos e formato de saída Um valor preciso, como número de telefone, código ou ID, é parafraseado ou inventado, ou a forma de saída muda e quebra um parser ou integração de canal a jusante. Correspondência exata, ou correspondência de palavra-chave no formato exigido
Seleção e contenção da ferramenta O modelo seleciona uma ferramenta diferente, não chama nenhuma, ou chama uma ferramenta quando nenhuma ferramenta é necessária. Uso da ferramenta com as ferramentas ou tópicos esperados definidos, além de uma revisão do mapa de atividades
Entradas de ferramentas e sequenciamento Os parâmetros são extraídos, formatados ou padrão, ou etapas em uma tarefa de multitool são reordenadas, mesclaras ou eliminadas. Uso da ferramenta com todas as ferramentas esperadas, além da qualidade geral
Confirmação e manuseio de falhas O modelo para de pedir confirmação antes de uma ação consequente, ou um erro na ferramenta é apresentado de forma diferente em vez de reportado. Personalizado com etiquetas de confirmação, além de correspondência de palavras-chave na linguagem de erro esperada
Comportamento multi-turno O contexto dos turnos anteriores é perdido ou reinterpretado, ou esclarecimentos, mudanças de tema e recuperação são tratados de forma diferente. Qualidade geral em um conjunto de teste de conversação
Entrada confusa e adversarial Tratamento mais fraco de erros de digitação, fragmentos e intenção pouco clara, ou uma resposta diferente a tentativas de injeção rápida e sobreposição de papéis. Qualidade geral, além de etiquetas personalizadas com Recusado e Cumprido
Segurança e conformidade Tratamento de conteúdo nocivo, acesso a dados, permissões, processamento regional e requisitos responsáveis de IA. Rótulos personalizados, junto com uma revisão responsável de IA
Latência e confiabilidade Tempo de resposta, tempos de espera, variabilidade, chamadas falhadas e tentativas de reação sob condições representativas. Não relatado pela avaliação. Meça no chat de teste e monitoramento de produção.
Consumo e custo Copilot Consumo de crédito ou outros custos relacionados ao modelo para cenários representativos. Não relatado pela avaliação. Meça os relatórios de capacidade e consumo.
Idiomas e canais Qualidade e comportamento em línguas suportadas, perfis de usuário e canais de implantação. Execute o conjunto de testes para cada idioma, perfil de usuário e canal que importem

Preste atenção especial ao acompanhamento das instruções e à latência. Um modelo candidato pode melhorar a qualidade das respostas, mas introduzir respostas mais lentas, diferentes comportamentos de seleção de ferramentas ou falhas em instruções que eram confiáveis com o modelo anterior.

Confirme quais métodos de teste seu agente apoia

Os métodos de teste disponíveis para seu agente dependem do seu arnês.

Saiba mais em:

Construa e mantenha o conjunto de testes

  • Aborde primeiro caminhos críticos para o negócio e requisições de alto volume, depois casos difíceis: casos extremos, entradas adversariais, solicitações que devem ser recusadas ou escaladas, falhas de ferramentas, longas conversas e solicitações multilíngues.
  • Comece pelo trânsito real. Temas analíticos e conversas gravadas produzem casos de teste mais representativos do que os inventados.
  • Prefere a cobertura ao invés do polimento. Um conjunto maior de casos imperfeitos encontra mais regressões do que um pequeno conjunto de casos perfeitamente formulados.
  • Avalie primeiro o modelo atual, depois o candidato. A comparação, não o número absoluto, diz se a migração é segura.
  • Mantenha o conjunto com o agente no controle de versão e o execute novamente sem alterações a cada mudança de modelo.
  • Divida o conjunto por área de risco. Um conjunto de teste alimentado pelo chicote padrão comporta até 100 casos de teste, então use conjuntos separados para precisão do conhecimento, comportamento da ferramenta e cenários sensíveis à segurança.
  • Exporte os resultados. Os resultados da avaliação são mantidos por 89 dias, então exporte-os para CSV para registrar a pontuação de cada modelo no momento da migração.
  • Converter incidentes de produção e feedback dos usuários em novos testes de regressão.

Saiba mais sobre Projetar e operacionalizar avaliação de agentes.

Note

A avaliação do agente mede correção e desempenho, não a ética ou problemas de segurança da IA. Um agente pode passar em todos os casos de teste e ainda assim apresentar uma resposta inadequada. Use avaliações responsáveis por IA e filtros de segurança de conteúdo junto com a avaliação.

Automatize avaliações recorrentes

O Copilot Studio suporta a execução de avaliações pela API do Power Platform, para que você possa integrar a validação de modelos em fluxos de trabalho de lançamento e pipelines de integração contínua. Para um grande patrimônio de corretores, a automação é o que torna os testes repetidos de candidatos sustentáveis em vez de manuais. Saiba mais sobre avaliações do Automate com a API do Power Platform.

Atualize os artefatos do agente que uma mudança de modelo afeta

Uma mudança de modelo raramente afeta apenas a configuração do modelo. Traduza a orientação aplicável do provedor para os artefatos do agente que você controla e, em seguida, valide cada alteração em relação à sua linha de avaliação básica. Uma remediação que não é retestada é um palpite.

Artefato Mudança típica
Instruções do agente Tornar explícitas as expectativas implícitas, remover soluções alternativas escritas para o modelo anterior, restabelecer limites e regras de escalonamento e comportamentos proibidos de forma inequívoca, resolver instruções conflitantes e calibrar quanta ação independente o agente deve tomar.
Instruções para tópicos e nós Aplique o mesmo tratamento no nível do tópico e verifique se os nós de resposta generativa ainda se comportam como esperado.
Descrições de ferramentas e ações Reescreva para maior clareza. Essa descrição é o que o modelo lê para decidir se e quando chamar uma ferramenta, e descrições vagas causam tanto sobrechamada quanto subchamada.
Descrições dos parâmetros de entrada e saída Aperte o formato, as unidades, exemplos e a semântica obrigatória ou opcional para que a geração de parâmetros permaneça correta.
Configuração da fonte de dados de conhecimento Verifique novamente a seleção da fonte, as instruções de escopo e aterramento, e verifique o comportamento das citações.
Instruções de formatação de resposta Reafirme explicitamente a estrutura exigida, o comprimento, os avisos e os valores exatos, porque modelos mais novos mudam a verbosidade padrão.
Portões de confirmação e segurança Reafirme os requisitos explícitos de confirmação antes das ações consequentes.
Consumidores a jusante Atualize fluxos do Power Automate, placas adaptativas, integrações de canais e qualquer parser que leia a saída do agente.
O próprio conjunto de teste Adicione os novos padrões de falha descobertos durante a migração.

Fases da migração

As fases seguintes colocam as seções anteriores em ordem de execução. Use-os como plano de trabalho para a mudança de modelo de um único agente, seja proativa ou motivada por aposentadoria.

Fase 0: Preparar

  1. Confirme que o modelo candidato é válido contra os pré-requisitos: geralmente disponível ou padrão, disponível na região, postura cross-geo aceitável, habilitado pelo administrador e a categoria de uso correta para o propósito do agente.
  2. Leia as orientações de atualização do provedor de modelos e anote as instruções e mudanças de ferramenta que ela implica.
  3. Identifique os agentes afetados no inventário, ambiente de registro, proprietários e criticidade.
  4. Confirme quais métodos de teste de avaliação o harness do agente suporta.
  5. Defina e aprove os portões de aceitação da migração.

Fase 1: Referência do modelo atual

  1. Construa ou atualize o conjunto de testes de regressão para que cubra cenários críticos para o negócio e de alta frequência.
  2. Execute o conjunto de testes com o modelo de produção atual para estabelecer a linha de base. Faça isso enquanto o modelo atual ainda está no lugar, porque depois que o modelo muda, a linha de base não pode ser reconstruída.
  3. Registre a latência e o consumo de crédito do Copilot separadamente. As avaliações não os reportam.
  4. Exporte os resultados para CSV para preservar o registro além da janela de retenção.

Fase 2: Avaliar o candidato em um ambiente sem produção

  1. Prepare uma cópia não produtiva do agente, seguindo as orientações do Copilot Studio para gerenciamento do ciclo de vida da aplicação e testes de agentes. Configure o ambiente para que represente a produção:

    • Use as mesmas instruções de agente, tópicos, configuração de conhecimento, ferramentas, fluxos, conectores, linguagens e pressupostos de segurança.
    • Use identidades e conexões representativas de teste.
    • Aplique as mesmas políticas de dados e os controles administrativos relevantes.
    • Confirme a disponibilidade regional e se é necessário movimento de dados entre geográficos.
    • Registre quaisquer diferenças entre teste e produção que possam afetar o resultado.

  2. Mude o modelo. Vá até a página de Visão Geral do agente e selecione o modelo principal candidato na seção de Modelos . Existem configurações separadas para raciocínio profundo, respostas generativas e o construtor de prompts, então verifique se o agente usa essas capacidades e se elas também precisam mudar.

  3. Reexecute o mesmo conjunto de testes, inalterado, contra o modelo candidato.

  4. Compare as duas corridas com os portões de aceitação para identificar melhorias e regressões.

  5. Inspecione a orquestração qualitativamente no chat de teste, usando o mapa de atividades para confirmar quais ferramentas foram selecionadas, em que ordem e com quais parâmetros.

  6. Meça a latência e o consumo do candidato e compare com a linha de base.

Fase 3: Remediar

  1. Atualize os artefatos do agente afetados pela mudança do modelo e então execute novamente o conjunto de testes contra o agente remediado. Saiba mais em Melhorar agentes usando triagem e remediação orientadas por avaliação.
  2. Itere até que os limites de aceitação sejam cumpridos, ou conclua que o modelo candidato não é adequado e documente o motivo. Decidir não atualizar é um resultado legítimo e baseado em evidências.

Fase 4: Aprovar e implantar

  1. Obtenha aprovação dos portões de aceitação do proprietário do agente e aprovador de liberação, incluindo aprovação de segurança e conformidade quando modelos cross-geo ou externos estiverem envolvidos.
  2. Implante pelo processo estabelecido de ALM, promovendo a solução do teste à produção. Não edite manualmente o agente de produção.
  3. Faça o rollout de etapas quando o canal permitir. Publique para um público piloto ou para um único canal primeiro, observe o resultado e depois amplie.

Fase 5: Monitorar e fechar

  1. Monitore o comportamento da produção em relação às portas de aceitação.
  2. Adicione padrões de falha recém-descobertos ao conjunto de testes de regressão.
  3. Feche a migração somente depois que os critérios de aceitação forem cumpridos na produção.
  4. Preserve as evidências de avaliação e o registro de decisão de migração para auditoria e para o próximo evento do ciclo de vida.

Importante

O caminho de rollback para uma mudança de modelo é reimplantar a versão da solução previamente validada, o que é mais lento do que uma opção de configuração alternada. Essa diferença torna o portão de avaliação na fase 2 tão importante. Detectar uma regressão antes da implantação é menos custoso do que reverter uma depois.

Monitore após a migração

O trabalho do ciclo de vida do modelo continua após a implantação. Monitorar:

  • Resultados de avaliação de agentes e taxas de aprovação em cenários críticos.
  • Análise de produção, transcrições, atividade, erros e feedback dos usuários.
  • Falhas no cumprimento de instruções e na seleção de ferramentas.
  • Latência, timeouts e confiabilidade.
  • O consumo muda.
  • Preocupações com segurança, conformidade e processamento regional.

Quando o monitoramento de produção identificar um novo padrão de falha, adicione um caso representativo ao conjunto de testes de regressão. Essa prática melhora a próxima avaliação do modelo e transforma o aprendizado em produção em uma linha de base de qualidade duradoura.

A telemetria em nível ambiente emite OpenTelemetry GenAI abrange até Application Insights, incluindo o modelo usado para cada invocação de agente. Use-o para confirmar em qual modelo o tráfego de produção realmente roda e para comparar a seleção e confiabilidade das ferramentas antes e depois de uma migração.

  • Last updated on