Padrão de arquitetura do Azure para cargas de trabalho de IA

Este diagrama mostra os principais componentes da carga de trabalho de aplicativo inteligente a ser incluída em seu design.

Considerações sobre o design

Ao projetar sua arquitetura de carga de trabalho de aplicativo inteligente, considere as seguintes características de design para tomar decisões informadas sobre design e interações de componentes.

Tempo de vida e estado

A API de Inteligência, a orquestração, a inferência e as camadas de conhecimento são todos serviços de longa duração executados durante o tempo de vida da carga de trabalho. Invista em disponibilidade, monitoramento e excelência operacional para cada serviço.

Cada camada evolui em um ritmo diferente, portanto, você precisa de coordenação de implantação deliberada. A API de Inteligência evolui lentamente para se manter estável e manter a compatibilidade com versões anteriores. As camadas de orquestração e agente evoluem mais rapidamente à medida que você adiciona novos recursos. A camada de inferência é atualizada quando você implanta novos modelos. A camada de conhecimento evolui continuamente conforme os dados são alterados.

Componentes sem estado podem ser alocados ou desalocados sob demanda, enquanto componentes com estado gerenciam dados que persistem entre interações.

A API de Inteligência, as camadas de orquestração e inferência são sem estado (stateless), o que facilita sua escalabilidade por meio da adição de mais instâncias. A camada de orquestração pode conter o estado efêmero durante a execução, mas não o mantém após o tratamento da solicitação. O estado efêmero reduz a complexidade operacional, mas limita as opções de recuperação de falhas; portanto, é importante projetar cuidadosamente para repetições e idempotência.

Os dados da sessão de gerenciamento de conversa podem durar de minutos a dias. Sessões mais longas permitem conversas mais avançadas, mas custam mais e aumentam o risco de privacidade. A camada de conhecimento armazena dados em índices e bancos de dados que evoluem conforme você adiciona, atualiza ou remove informações.

Compensação. As decisões de gerenciamento de tempo de vida e de estado afetam diretamente o custo, a confiabilidade e o desempenho. Componentes com estado de longo prazo exigem maior investimento em dimensionamento e resiliência, enquanto componentes efêmeros sem estado são mais econômicos, mas podem introduzir latência de inicializações a frio ou recuperação do estado externo.

Alcance e dependências

A API de Inteligência é o único ponto de extremidade exposto publicamente na arquitetura, todo o resto permanece interno. Você pode implantá-lo em várias regiões para manter os usuários próximos a um ponto de extremidade e melhorar a resiliência.

A camada de orquestração fica no centro, opera dentro de sua rede e coordena tudo, como estado da conversa, chamadas de modelo, recuperação de conhecimento e invocação de ferramentas. As falhas aqui bloqueiam todo o sistema, portanto, tornam-no altamente disponível.

A camada de inferência é executada internamente sem dependências externas. Implante-o perto do orquestrador para manter a latência baixa.

As camadas de conhecimento e ferramentas são internas, mas podem depender de sistemas externos. Essas dependências externas podem introduzir atrasos ou problemas de disponibilidade que afetam a qualidade da resposta.

Compensação. A implantação de várias regiões melhora o desempenho e a resiliência, mas aumenta o custo. A implantação de região única é mais econômica, mas pode resultar em maior latência para usuários distantes da região.

Escalabilidade e disponibilidade

Seu aplicativo inteligente tem dois padrões de dimensionamento. Camadas sem estado, como a API, a orquestração e a inferência, escalam ao adicionar mais instâncias. Camadas de dados, como gerenciamento de conversas e escalabilidade do conhecimento, são escaladas distribuindo os dados em vários repositórios por meio de mecanismos como réplicas de leitura, particionamento e fragmentação.

A API de Inteligência é expandida para lidar com mais solicitações. Implante-o em várias zonas ou regiões para melhor disponibilidade e para manter os usuários próximos a um ponto de extremidade.

A computação de orquestração e dos agentes situa-se no centro do seu sistema, portanto, falhas nesse ponto podem bloquear todo o funcionamento. Adicione mais instâncias, use o balanceamento de carga e tenha o failover pronto para que o sistema continue em execução quando as instâncias individuais falharem.

A camada de inferência é dimensionada com base no que seus modelos precisam. Adicione mais instâncias com GPUs à medida que a demanda aumenta. Use IaC (infraestrutura como código) para recriar rapidamente ambientes durante a recuperação.

O gerenciamento de conversas é dimensionado com o número de usuários simultâneos. Use cópias e backups para manter os dados de sessão disponíveis.

A camada de conhecimento é dimensionada com base na quantidade de dados que você tem e com que frequência ela é consultada. Use a indexação eficiente e o ajuste de banco de dados para manter as respostas rápidas. Configure cópias em vários locais para disponibilidade.

Compensação. Componentes sem estado podem ser dimensionados rapidamente, mas podem apresentar latência de inicialização a frio. Os componentes de dados fornecem durabilidade, mas exigem mais planejamento para dimensionamento. Balancee esses fatores com base nos requisitos de carga e negócios esperados.

Segurança e IA responsável

Cada camada em seu aplicativo inteligente traz riscos diferentes e precisa de seus próprios controles. Ferramentas podem desencadear ações no mundo real, o conhecimento molda o que sua IA sabe, e a inferência produz resultados que os usuários veem. Restrinja o acesso em cada camada, monitore o que está acontecendo e explique como as decisões são tomadas.

A camada de ferramentas traz o maior risco porque as ações podem ter consequências do mundo real que são potencialmente irreversíveis. Para operações de alto risco, adicione etapas de aprovação humana. Use autenticação estrita, acesso com menos privilégios e a imposição de privacidade de dados para evitar ações não autorizadas e exposição de PII. Avalie cada ferramenta antes de integrá-la para que a governança se estenda além do limite de carga de trabalho.

A camada de conhecimento precisa de dados imparciales e de alta qualidade para produzir saídas confiáveis. Mantenha o acesso a dados seguro com autenticação, autorização e conformidade adequadas com os requisitos de residência de dados. O acesso somente leitura e o isolamento de rede impedem a corrupção. Registre quais fontes foram recuperadas para cada resposta por meio de trilhas de auditoria, esse processo permite que você explique as decisões e investigue os problemas posteriormente.

A camada de inferência só deve ser acessível às funções de operações e à identidade da camada de orquestração. Monitore as saídas por meio de um serviço de validação que verifica se há toxicidade e outros problemas de segurança. Valide os modelos antes da implantação para capturar o viés e mantenha os mecanismos de reversão prontos se os problemas aparecerem na produção.

Este diagrama mostra os principais componentes da carga de trabalho de treinamento e ajuste fino a serem incluídos em seu design.

Considerações sobre o design

Ao criar sua arquitetura de carga de trabalho de treinamento e ajuste fino, considere as seguintes características de design para tomar decisões informadas sobre design e interações do componente.

Tempo de vida e estado

Os componentes persistentes de longo prazo permitem a análise histórica e o retreinamento de modelos em dados passados. O repositório de agregação de dados, o repositório de recursos e o registro de modelo são repositórios persistentes de longo prazo que crescem com novas importações, recursos e versões de modelo.

Os componentes efêmeros permitem a eficiência de custo, mas exigem um tratamento cuidadoso de falhas e reinicializações. A plataforma de processamento de dados e a plataforma de treinamento têm uma configuração de ambiente de longa duração, mas seus recursos de computação são efêmeros, criados e dimensionados sob demanda para trabalhos de pipeline e treinamento.

A camada de inferência é sem estado e efêmera. Implante-o sob demanda para processamento em lote ocasional ou como um ambiente de execução prolongada para pipelines frequentes. O design sem estado permite dimensionamento horizontal e recuperação simples de falhas.

Troca. Os componentes persistentes de longo prazo fornecem durabilidade e contexto histórico, mas exigem custos contínuos de manutenção e armazenamento. Componentes efêmeros sem estado são mais econômicos e escalonáveis, mas exigem tratamento robusto de falhas e podem apresentar latência a partir de inicializações a frio.

Alcance e dependências

Mantenha seus armazenamentos de dados, processamento, treinamento e inferência na mesma região para minimizar a latência e o custo. Distribua somente quando os requisitos de residência de dados o exigirem. A maioria dos componentes é apenas interna, o que reduz sua superfície de ataque, mas requer acesso seguro para desenvolvedores e operadores.

Você pode distribuir fontes de dados em diferentes ambientes e geografias. Eles são sua principal dependência para importar os dados necessários para treinamento, refinamento ou contextualização.

O repositório de agregação de dados é a principal dependência para a plataforma de processamento de dados, separando-a das fontes de dados.

A plataforma de processamento de dados acessa o repositório de recursos para armazenar recursos computados e a plataforma de treinamento acessa-a durante o treinamento. O componente de inferência também pode precisar de acesso somente leitura, dependendo do tipo de modelo e requisitos específicos.

A plataforma de treinamento depende do repositório de recursos e dos dados agregados gerados do processamento. Os modelos treinados são gravados no registro de modelos, que se torna a dependência para a inferência.

O registro de modelo é exclusivo porque precisa de acesso interno (para treinamento para gravar modelos) e acesso externo (para aplicativos de IA implantarem modelos em ambientes de inferência). Use modelos de implantação por push para minimizar o alcance externo de componentes confidenciais.

Escalabilidade e disponibilidade

Seus componentes de treinamento precisam crescer com seus dados e permanecer disponíveis quando você precisar deles. Os armazenamentos de dados, como o Repositório de Agregação de Dados, o Repositório de Recursos e o Registro de Modelo, são dimensionados por meio de particionamento, replicação e indexação eficiente à medida que mais dados, recursos e modelos são adicionados ao longo do tempo. Mantenha esses componentes altamente disponíveis com redundância, backups e estratégias de failover para que seus dados e modelos fiquem acessíveis sempre que a plataforma de treinamento ou a inferência precisarem deles.

Plataformas de computação como Processamento de Dados e Treinamento são dimensionadas de forma diferente. Eles adicionam mais recursos sob demanda à medida que seus trabalhos de processamento e treinamento precisam deles. Use IaC para automatizar a recriação do ambiente durante a recuperação de desastres e adicionar mais recursos de computação, como nós de GPU, à medida que a demanda aumenta.

Sua camada de inferência normalmente manipula o processamento em lote nesse contexto, portanto, otimize-o para taxa de transferência em vez de baixa latência. Você pode dimensionar horizontalmente com recursos de computação mais baratos, pois está processando grandes volumes de dados sem precisar de capacidade de resposta em tempo real.

Segurança e IA responsável

Abordar a segurança e a Inteligência Artificial responsável em cada camada. Use a defesa detalhada com controles de acesso, criptografia e auditoria. Siga o princípio do menor privilégio consistentemente: o ETL obtém acesso somente leitura às fontes, o treinamento grava apenas no repositório de modelos, e a inferência apenas lê. Mapeie seus fluxos de dados para manter os dados regulamentados em regiões necessárias e acompanhe quem acessou o que, quando e por quê.

As fontes de dados são o ponto de controle mais importante para a prevenção de preconceitos. Verifique se os dados importados representam todos os tipos de assunto de forma justa. Se os dados não puderem sair da região, execute o pipeline de ETL ali para manter a conformidade.

O repositório de agregação de dados e o repositório de recursos contêm informações confidenciais. Controlar quem pode acessar quais subconjuntos de dados e seguir regras de residência de dados durante todo o ciclo de vida. Acompanhe a linhagem de dados para cada atributo calculado. É sua base para explicabilidade e permite que você rastreie previsões de modelo de volta aos dados de origem.

A plataforma de processamento de dados é onde você evita ativamente o viés. Restrinja conexões de saída a serviços e armazenamentos de dados aprovados. É aí que você valida a qualidade dos dados, filtra a linguagem imprópria, ofusca informações confidenciais e equilibra a distribuição dos seus dados reduzindo o tamanho de grupos super-representados por subamostragem ou aumentando a diversidade dos grupos sub-representados.

A plataforma de treinamento precisa de isolamento para mantê-la separada da produção. Registre todos os treinamentos executados usando estruturas como o MLFlow, capturando quais dados foram usados, quais hiperparâmetros você tentou e quais foram os resultados. Executar verificações de viés, imparcialidade e explicabilidade sempre para detectar problemas antes da implantação.

O registro de modelo é o portão de governança. Utilize entidades de serviço e publique somas de verificação para poder validar modelos. Anexe metadados sobre dados de treinamento, avaliações e linhagem a cada modelo para transparência. Implantação de produção com controle de acesso usando análises responsáveis e de segurança de IA.

A camada de inferência só deve executar modelos aprovados. Mantenha-o isolado em seu ambiente de análise e monitore todas as saídas para viés, toxicidade e outros padrões nocivos.