Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Importante
Os itens marcados como pré-visualização neste artigo estão atualmente em pré-visualização. Esta pré-visualização é fornecida sem um acordo de nível de serviço, e a Microsoft não a recomenda para cargas de trabalho de produção. Certas funcionalidades podem não ser suportadas ou podem ter capacidades limitadas. Para mais informações, consulte Termos Suplementares de Utilização para Microsoft Azure Previews.
Uma implementação de adaptador serve um adaptador de adaptação low-rank (LoRA) numa implementação de alvo de computação gerida compatível no Microsoft Foundry. As instalações de adaptadores não requerem computação adicional. Partilham a capacidade de computação fornecida pela implementação do modelo base, designada por implementação de destino. Embora as implementações de adaptadores não exijam computação adicional, vêm com o seu próprio nome de implementação, que permite encaminhar pedidos de inferência através do endpoint de inferência da conta Foundry.
Múltiplos adaptadores compatíveis podem partilhar uma implantação de destino. Esta configuração chama-se inferência multi-LoRA.
Este artigo aplica-se apenas a adaptadores LoRA produzidos como resultado do ajuste fino no Foundry. Ainda não podes importar os teus próprios adaptadores.
Como os adaptadores LoRA especializam um modelo base
A adaptação de posto reduzido é uma técnica de ajuste fino que treina um pequeno conjunto de parâmetros adicionais em vez de atualizar todos os parâmetros do modelo base. O adaptador LoRA resultante é um conjunto leve de alterações aprendidas que especializa o modelo para uma tarefa ou domínio.
Um adaptador LoRA não consegue funcionar sozinho. No momento da inferência, o runtime de serving combina o adaptador com o modelo base compatível. O modelo base exato e a versão são importantes porque as alterações aprendidas pelo adaptador aplicam-se à arquitetura e pesos desse modelo.
Recursos numa implantação de adaptador
O serving do adaptador utiliza modelos e recursos de implementação relacionados. Cada recurso tem uma responsabilidade separada.
| Term | Meaning |
|---|---|
| Modelo base | O modelo subjacente e a versão usada para criar o adaptador. Uma implementação alvo deve executar um modelo base com uma versão compatível. |
| Adaptador LoRA registado | O asset do modelo criado a partir de uma saída de ajuste fino da Foundry. O registo torna o adaptador disponível em Build > Models, mas não disponibiliza capacidade de computação nem torna o adaptador chamável. |
| Modelo de implantação | Um recurso nomeado e versionado que define como um modelo é executado, incluindo o runtime de serving e a configuração do acelerador. Para o serving de adaptadores, selecione um template que suporte LoRA. |
| Implementação do destino | Uma implementação de computação gerida que executa o modelo base compatível usando um template de implementação habilitado para LoRA. Detém os aceleradores, capacidade, réplicas e endpoint de inferência que os seus adaptadores partilham. |
| Implementação do adaptador | Uma ligação implementada entre uma versão registada do adaptador LoRA e uma implantação de destino. Tem o seu próprio nome de implementação, mas não aprovisiona computação, capacidade, réplicas ou um endpoint separados. |
| Implementação Multi-LoRA | Duas ou mais implementações de adaptadores compatíveis que utilizam a mesma implementação de destino. Cada adaptador mantém o seu próprio nome de implementação e comportamento especializado enquanto partilha a infraestrutura da implementação alvo. |
Por exemplo, uma implantação de destino denominada qwen-prod pode alojar implantações de adaptador denominadas qwen-support e qwen-finance. Ambos os adaptadores usam o modelo base, computação e endpoint fornecidos por qwen-prod. Os seus nomes de implementação separados identificam qual o comportamento afinado que uma aplicação seleciona.
Como funciona a partilha de multi-LoRA
A implementação alvo é a base de serviço partilhada. O seu template de implementação determina se o runtime suporta LoRA e define o tipo de acelerador, as instâncias do modelo e outras configurações de runtime.
Anexar um adaptador não cria outra instância de modelo nem aumenta a capacidade da implementação de destino. Cada adaptador no destino utiliza a mesma capacidade de serviço. Escalar a implementação de destino altera a capacidade disponível para o modelo base e para todos os adaptadores ligados.
Como a inferência seleciona um adaptador
O adaptador deve terminar o provisionamento antes de poder processar pedidos. Uma implantação bem-sucedida indica um Succeeded estado de aprovisionamento.
Suponha que qwen-prod é a implantação alvo do modelo base e qwen-support e qwen-finance são as suas implantações adaptadoras. Envie pedidos para o endpoint da /openai/v1/chat/completions conta Foundry. Defina model para o nome da implantação que pretende invocar:
model valor |
Comportamento selecionado |
|---|---|
qwen-support |
Modelo base com o adaptador Support. |
qwen-finance |
Modelo base com o adaptador de finanças. |
A solicitação seguinte seleciona o adaptador de assistência. Copie o endpoint da conta a partir dos detalhes de implantação do adaptador no portal. Para a autenticação do Microsoft Entra ID, adquira um token de acesso para o https://ai.azure.com/.default escopo.
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
Para invocar o adaptador financeiro, mude model para qwen-finance e use um prompt para a sua tarefa. O serviço resolve internamente a implantação alvo do adaptador.
Para instruções de autenticação e teste, consulte Testar um adaptador com completação de chat.
Requisitos de compatibilidade e capacidade
O Foundry valida o adaptador e a implantação de destino antes de disponibilizar o adaptador. A configuração deve cumprir estes requisitos:
- O adaptador é uma saída registada de um trabalho de afinação fina da Foundry.
- A implantação de destino executa o modelo base compatível e a respetiva versão.
- O destino utiliza um template de implementação que suporta LoRA.
- O adaptador encaixa-se no número de adaptadores suportados pelo template, no rank LoRA e na memória disponível.
- O destino dispõe de quota de computação gerida suficiente e capacidade para a sua família de aceleradores e região.
Ciclo de vida do adaptador e dependências
Uma implementação de adaptador e o seu adaptador LoRA registado são recursos separados. As regras seguintes descrevem como as alterações de implantação afetam o adaptador e a implantação de destino.
Uma implementação de adaptador existente refere-se a uma versão fixa do adaptador LoRA registado, não ao modelo base. Para servir uma versão diferente do adaptador, crie uma nova implantação do adaptador ou elimine e recrie a implantação existente.
Pode mover a mesma origem do adaptador para outra implementação de destino compatível atualizando o nome da implementação de destino. Espere que a atualização tenha sucesso antes de encaminhar os pedidos para o novo alvo.
Eliminar uma implementação de adaptador não apaga a versão registada do modelo ou a implementação alvo. Também não afeta outros adaptadores que partilham o alvo.
Remova implementações dependentes de adaptadores antes de eliminar uma versão registada do modelo do adaptador ou implementação de destino. Esta ordenação impede que uma implantação de adaptador se refira a uma fonte ou destino que já não existe.
Faturação, quotas e limites
A implantação de destino é cobrada à hora por acelerador. A quota de computação gerida é atribuída por família de aceleradores e região, separadamente da quota de máquinas virtuais do Azure. Para mais informações, consulte Faturação e quota de computação gerida.
As implementações de adaptadores não têm preços separados. A faturação aplica-se à capacidade computacional da implementação alvo.
Para o limite de número de adaptadores, veja Implementar adaptadores no portal.
Para taxas de computação geridas atuais, consulte a calculadora de preços do Azure.
Próximo passo
Implemente e teste um ou mais adaptadores LoRA registados numa implementação de destino compatível.