Decida quando atualizar um modelo de IA para os agentes do Copilot Studio

Um modelo mais recente não é automaticamente um modelo melhor. Numa plataforma de orquestração, o seguimento de instruções, a seleção de ferramentas e a latência são mais importantes do que a capacidade bruta. Um modelo que lidera benchmarks públicos pode ainda ter um desempenho fraco nessas medidas.

Dois eventos colocam uma mudança de modelo na mesa e exigem respostas diferentes:

Evento do ciclo de vida do modelo O que significa
Lançamento do novo modelo Novos modelos podem ficar disponíveis em pré-visualização ou em disponibilidade geral. Avalie os modelos relevantes à medida que se tornam disponíveis para compreender a sua qualidade, seguimento das instruções, latência, fiabilidade e características de consumo antes de ser necessária uma migração.
Modelo de aposentadoria As reformações ocorrem com menos frequência, mas são mais disruptivas porque os agentes afetados têm de passar para um substituto suportado dentro de um prazo definido. As equipas precisam de identificar os agentes afetados, contactar os proprietários, realizar testes, remediar regressões e implementar o substituto.

Importante

Não espere pelo anúncio da reforma para começar a planear o ciclo de vida do modelo. As equipas que mantêm um inventário, uma linha de base de avaliação reutilizável e resultados atuais dos testes podem iniciar uma migração de reforma com evidências sobre o modelo de substituição, em vez de iniciar a análise após o anúncio da reforma.

Confirma os pré-requisitos

Verifique os seguintes pré-requisitos antes de investir na avaliação de um modelo de candidato. A maioria aplica-se a todos os modelos. Dois são condicionais e só precisam de ser verificados quando o candidato se enquadra na turma relevante. Se um pré-requisito que se aplica ao teu candidato falhar, não faças upgrade para ele. Saiba mais em Compreender o panorama dos modelos de IA.

Prerequisite Aplica-se a Como verificar
O modelo está geralmente disponível ou é o padrão Todos os modelos Verifique a etiqueta de libertação do modelo.
O modelo está disponível na sua região Todos os modelos Verifique a entrada da sua região, não apenas o nome do modelo. Alguns modelos estão limitados a ambientes de acesso antecipado.
A categoria de utilização adequa-se ao propósito do agente Todos os modelos Compare a etiqueta de profundidade, automática ou geral com o que o agente faz, não com qual modelo tem a pontuação mais alta.
A postura de segurança é aceitável Todos os modelos Revise as conclusões publicadas da avaliação de segurança e IA responsável para o modelo. Um modelo marcado como menos alinhado não é candidato à produção, independentemente da capacidade.
A postura cross-geo é aceitável Condicional: qualquer modelo etiquetado cross-geo na sua região, incluindo modelos geralmente disponíveis Obtenha aprovação de conformidade antes de migrar. Ativar dados Move entre regiões não pode ser revertido retroativamente para dados já processados, e cargas de trabalho reguladas podem não permitir isso de todo.
O administrador ativou a classe modelo Condicional: pré-visualização, experimentais e modelos externos Confirme que a definição necessária está ativada no ambiente alvo. Um modelo interno, geralmente disponível, que não está marcado entre geo na sua região, não precisa de qualquer habilitação adicional.

Bons motivos para atualizar

  • O modelo atual está a ser retirado. Esta razão é obrigatória e orientada por prazos.
  • O modelo padrão muda e o agente usa o modelo padrão. O modelo muda quer planeie ou não, por isso valide o resultado.
  • Uma lacuna de produção documentada evidenciada pela monitorização, como falhas após instruções, má seleção de ferramentas, grounding fraco, latência inaceitável ou consumo elevado.
  • Torna-se disponível uma funcionalidade de que o agente precisa , como uma orquestração mais forte de ferramentas em múltiplos passos para um agente que encadeia várias ferramentas.
  • Um modelo mais rápido ou mais barato agora cumpre o seu padrão de qualidade com menor consumo de crédito.
  • Uma melhoria regional ou de conformidade, como a possibilidade de um modelo estar disponível dentro da região e remover uma dependência entre geos.

Pobres razões para atualizar

  • O modelo é o mais recente disponível. Os benchmarks públicos não medem as tuas instruções, as tuas ferramentas ou as tuas fontes de conhecimento.
  • O modelo obteve uma pontuação mais alta numa tabela de classificação. As pontuações agregadas dos benchmarks não dizem nada sobre a adesão às instruções ou a contenção da ferramenta dentro do seu agente.
  • O agente de outra equipa melhorou com isso. Instruções diferentes e ferramentas diferentes produzem um resultado diferente.
  • A equipa quer um modelo de raciocínio. Os modelos profundos acrescentam latência e custo que a maioria dos agentes conversacionais não precisa.
  • Para corrigir um problema que é, na verdade, um problema de instrução, conhecimento ou descrição de ferramenta. Diagnostica primeiro. Uma troca de modelo não corrige uma fonte de conhecimento mal definida ou uma descrição vaga da ferramenta, e acrescenta um novo risco ao existente.

Consulte orientações específicas de atualização por modelo

Quando um novo modelo se comporta de forma significativamente diferente do modelo que substitui, o fornecedor do modelo normalmente publica orientações específicas de atualização para cada modelo. Esta orientação descreve as mudanças de comportamento que mais frequentemente afetam as aplicações existentes e as alterações de prompt que as abordam. Revê-o antes de avaliares um novo modelo no Copilot Studio e usa-o para planear as mudanças que um agente precisa.

As orientações para atualização de modelos costumam cobrir:

  • Instruções a seguir: Modelos mais recentes costumam seguir instruções de forma mais literal. Instruções que dependiam de um modelo anterior a inferir a intenção podiam precisar de declarar explicitamente o comportamento necessário.
  • Seleção de ferramentas e ações: Alterações na forma como um modelo decide chamar ferramentas, quantas ferramentas chama e como utiliza descrições de ferramentas e definições de parâmetros.
  • Formatação e duração da resposta: Diferenças na verbosidade, estrutura e formatação padrão que afetam a experiência do utilizador e o processamento a jusante.
  • Raciocínio e comportamento de planeamento: Diferenças na forma como o modelo decompõe tarefas em vários passos, que afetam agentes que orquestram várias ferramentas ou fontes de conhecimento.
  • Padrões de prompt a remover: Soluções alternativas adicionadas para as limitações de um modelo anterior podem degradar os resultados num modelo mais recente.

Traduza as recomendações aplicáveis nos artefactos de agente que controla no Copilot Studio. Saiba mais em Atualizar os artefactos do agente que uma alteração de modelo afeta.

Os exemplos seguintes mostram o tipo de modelo de orientação que os fornecedores publicam. Nem todas as recomendações se aplicam ao Copilot Studio, porque o Copilot Studio gere a invocação do modelo e não expõe todos os parâmetros do modelo. Concentre-se na instrução, descrição das ferramentas e orientação comportamental.

Exemplo de orientação Aprendizagens
Claude a incentivar boas práticas Seja explícito sobre o comportamento e o resultado necessários, adicione contexto que explique porque é que um comportamento é importante e remova soluções alternativas de prompt escritas para modelos anteriores.
Guia de prompts GPT-5 Resolver instruções conflitantes ou ambíguas, calibrar quanta ação independente o modelo deve tomar e ajustar as descrições das ferramentas e a verbosidade das respostas.

Responder a uma reforma modelo

Uma reforma é o único evento do ciclo de vida com um prazo definido, por isso o trabalho específico acontece antes de a migração começar:

  1. Confirme o modelo afetado, a substituição, o âmbito regional e o cronograma de reforma na lista de modelos publicamente disponíveis.
  2. Identificar os agentes e ambientes afetados.
  3. Contacte os proprietários do negócio e técnicos, e explique o prazo de reforma, o modelo de substituição e o trabalho de avaliação necessário.
  4. Priorize os agentes pela criticidade do negócio, impacto no utilizador e tempo restante antes da reforma.

A partir daí, cada agente afetado segue o mesmo caminho de migração de uma atualização proativa. Saiba mais em Run e valide uma migração de modelo.

Acompanhe cada agente afetado através de avaliação, remediação, aprovação, implementação e monitorização pós-migração, para que o estado da migração seja visível em todo o património em vez de ser acompanhado pelos proprietários individuais.

Use a janela do modelo reformado como tempo temporário de migração

A Copilot Studio pode permitir que um agente continue a usar um modelo primário retirado durante 30 dias após uma atualização automática. Vá à página de Definições do agente e ative Continuar a usar modelos retirados na secção de Modelos quando for necessário o período adicional de compatibilidade.

Depois de a definição estar ativada, pode alternar entre o modelo retirado e o modelo melhorado a qualquer momento durante o período de 30 dias, e a preferência aplica-se a futuras melhorias do modelo até desligar a definição.

Importante

A opção de modelo reformado de 30 dias é uma janela de compatibilidade temporária, não uma estratégia de migração a longo prazo. Conclua a avaliação e migração antes do fim da janela.

Acompanhe a utilização da definição no plano de migração, incluindo quais os agentes que a utilizam, quem a aprovou, quando termina a extensão e as ações restantes. A definição é configurada individualmente em cada agente, pelo que as organizações com muitos agentes afetados devem contabilizar o tempo e a propriedade necessários para a aplicar e acompanhar.

Passo seguinte

Quando estiver pronto para atualizar, siga o processo de migração para avaliar o modelo candidato, corrigir regressões e implementar a mudança.

Execute e valide uma migração de modelo

  • Last updated on