Usar Lote do Azure para executar cargas de trabalho do FSI (Setor de Serviços Financeiros)

No Financial Services Industry (FSI), executar cargas de trabalho de computação intensiva de forma eficiente e segura é crucial. Lote do Azure oferece uma solução escalonável e econômica para gerenciar essas cargas de trabalho na nuvem. Este artigo fornece um guia abrangente sobre como usar Lote do Azure para executar cargas de trabalho FSI em Azure. Ele abrange a arquitetura, o fluxo de trabalho, os componentes e as práticas recomendadas para garantir o desempenho, a segurança e o gerenciamento de custos ideais.

Arquitetura

O diagrama a seguir mostra a arquitetura para executar cargas de trabalho FSI em Azure usando Lote do Azure.

Diagram que mostra uma arquitetura para executar cargas de trabalho FSI em Azure usando Lote do Azure.

Carrege um arquivo Visio que contém esse diagrama de arquitetura.

Workflow

Este cenário de exemplo demonstra como executar cargas de trabalho FSI em Azure usando Lote do Azure. Este é um fluxo de trabalho típico que você pode seguir:

  1. Conecte-se à rede privada usando Gateway de VPN. Como alternativa, conecte-se usando RDP (protocolo de área de trabalho remota) ou shell seguro (SSH) às máquinas virtuais (VMs) de jumpbox usando o Azure Bastion. Qualquer uma das abordagens pode ser usada para se conectar à rede privada.
  2. Carregue todos os conjuntos de dados para processamento na conta de armazenamento usando o CLI do Azure, Gerenciador de Armazenamento do Azure ou azcopy.
  3. Envie trabalhos para processar os dados no serviço Batch usando o CLI do Azure, o Batch Explorer ou outras ferramentas. Para este exemplo de implantação, desenvolvemos uma ferramenta de linha de comando personalizada que você também pode usar para enviar trabalhos.
  4. Redimensione o pool para adicionar nós de computação ao pool. Por padrão, a implantação cria um pool sem nós de computação.
  5. Baixe os resultados da conta de armazenamento. Após a conclusão do trabalho, os resultados são armazenados na conta de armazenamento. Esses resultados podem ser baixados usando o CLI do Azure, Gerenciador de Armazenamento do Azure ou azcopy.

Componentes

Essa arquitetura inclui vários serviços de Azure e é dividida em duas categorias de recursos: recursos de hub e recursos spoke. Mais detalhes sobre a topologia de rede hub e spoke serão fornecidos mais adiante neste artigo. Os serviços para cada um e suas funções são descritos nas seções a seguir.

Recursos do hub

Os recursos implantados na rede de hub são recursos compartilhados que habilitam, filtram e monitoram a comunicação entre a rede spoke e o mundo externo.

Os seguintes recursos são implantados na rede de hub:

  • Firewall do Azure fornece proteção em nível de rede para a rede. O firewall está configurado para permitir apenas tráfego específico de entrada e saída da rede. Essa configuração ajuda a proteger a rede contra ataques mal-intencionados e a monitorar o tráfego de entrada e saída da rede. As regras devem ser atualizadas com base nas regras e regulamentos específicos da sua empresa.

  • Gateway de VPN do Azure permite uma das duas maneiras de se conectar à rede hub a partir da internet pública. A outra maneira é usar Azure Bastion serviço. O gateway VPN recebe um endereço IP público para que os clientes VPN possam se conectar a ele a partir da Internet pública.

  • O Azure Bastion permite uma das duas maneiras de se conectar à jumpboxes a partir da Internet pública. A outra maneira é usar Gateway de VPN. Azure Bastion é implantado na rede do hub e recebe um endereço IP público para que os usuários possam se conectar a ele pela Internet pública.

  • Linux Jumpbox é uma VM Linux com ferramentas pré-instaladas para acessar os recursos implantados, enviar trabalhos e monitorar seu progresso. O jumpbox é implantado na rede do hub e pode ser acessado da rede local usando o gateway de VPN ou Azure Bastion.

  • Windows Jumpbox é uma VM Windows com ferramentas pré-instaladas para acessar os recursos implantados, enviar trabalhos e monitorar seu progresso. O jumpbox é implantado na rede do hub e pode ser acessado da rede local usando o gateway de VPN ou Azure Bastion.

  • Log Analytics Workspace habilita a coleta de logs. Sempre que possível, os recursos implantados são configurados para salvar logs no espaço de trabalho. Os logs são usados para monitorar os recursos e solucionar problemas. Quando combinado com Aplicativo Azure Insights, ele fornece recursos de monitoramento de desempenho e solução de problemas para os recursos implantados.

  • O Resolvedor Privado de DNS do Azure fornece um ponto de extremidade de entrada para resolver IPs de pontos de extremidade privados se consultados fora da rede virtual provisionada, por exemplo, a partir de recursos locais. O Resolvedor Privado DNS é implantado quando o gateway de VPN Azure é implantado.

Recursos spoke

Os recursos implantados na rede spoke ajudam a executar as cargas de trabalho de computação e todos os recursos de suporte.

Os seguintes recursos são implantados na rede de spoke:

  • Lote do Azure é o serviço principal no qual nossa arquitetura depende para agendamento e execução de trabalho nativo de nuvem. Lote do Azure gerencia os recursos de computação necessários, agenda as tarefas nos recursos de computação e monitora as tarefas para conclusão. O serviço Batch é implantado com dois pools: um pool chamado linux com nós de computação do Linux e um pool chamado windows com nós de computação do Windows. Os pools são configurados para executar as seguintes tarefas:

    • Use o modo de alocação do pool de assinaturas do usuário. Todos os recursos usados internamente pelo serviço em lote são alocados na mesma assinatura que a conta em lote e usam as cotas e políticas específicas da assinatura.
    • Use as sub-redes correspondentes na rede spoke. Portanto, eles recebem espaço de endereço atribuído do intervalo de endereços da sub-rede. Isso também significa que todas as regras do NSG (grupo de segurança de rede) e as regras de encaminhamento de tráfego configuradas nessas sub-redes também são aplicadas aos nós de computação.
    • Evite atribuir endereços IP públicos aos nós de computação para garantir que os nós de computação não sejam acessíveis diretamente da Internet pública.
    • Facilite a execução de cargas de trabalho em notas de computação para acessar recursos de armazenamento compartilhados, montando os recursos de armazenamento suportados nos nós de computação durante a inicialização.
    • Use uma identidade gerenciada atribuída pelo usuário para autenticar os nós de computação com a conta de armazenamento, o Registro de Contêiner e quaisquer outros recursos à medida que ingressam no pool de trabalho em lote. Isso garante que os nós de computação sejam autenticados usando certificados em vez de senhas ou chaves.
  • Azure Key Vault armazena segredos de implementação, como certificados de conta do Batch. Esses certificados são usados para autenticar recursos de nó de computação à medida que ingressam no pool de lotes. O cofre de chaves é implantado na rede spoke e é configurado para permitir acesso somente a partir do serviço em lote. Essa configuração garante que os certificados não sejam acessíveis pela Internet pública.

  • Armazenamento do Azure armazena dados de entrada e saída. A implantação cria duas contas de armazenamento: uma para armazenamento de blob e outra para armazenamento de arquivos. A conta de armazenamento de blob é montada no pool do Linux usando o sistema de arquivos de rede (NFS). A conta de armazenamento de arquivos é montada no Linux e no pool de Windows usando o SMB (bloco de mensagens do servidor).

  • Registro de Contêiner do Azure armazena imagens de contêiner usadas pelos nós de computação em lote. O uso de uma implantação privada do registro de contêiner ajuda a controlar o acesso a imagens de contêiner e também fornece uma maneira mais segura de armazenar imagens de contêiner. O registro de contêiner é implantado na rede spoke e configurado para permitir acesso exclusivamente a partir do serviço em lote. Essa configuração garante que as imagens do contêiner não sejam acessíveis pela Internet pública.

  • Azure Managed Identity é usado para autenticar os nós de computação adicionados aos pools automaticamente com o Registro de Contêiner, contas de armazenamento e outros recursos.

Alternativas

  • AKS (Serviço de Kubernetes do Azure) pode ser usado em vez de Lote do Azure serviço para uma configuração semelhante para aplicativos em contêineres.

  • Azure CycleCloud podem ser usados para gerenciar clusters de HPC (computação de alto desempenho) em Azure. Esses clusters de HPC podem ser configurados para executar cargas de trabalho semelhantes às visadas por este artigo.

Detalhes do cenário

Um padrão de computação comum no FSI é executar um grande número de simulações de computação intensiva em um conjunto de dados de entrada que caracteriza um instrumento financeiro ou uma carteira de instrumentos financeiros. As simulações são normalmente executadas em paralelo e os resultados são agregados para produzir um resumo do perfil de risco da carteira.

Essa arquitetura não está focada em uma carga de trabalho específica. Em vez disso, ele se concentra em aplicativos que desejam usar Lote do Azure para executar simulações com uso intensivo de computação. Qualquer arquitetura de implantação de produção deve ser personalizada para atender aos requisitos específicos da carga de trabalho e do ambiente de negócios. Essa arquitetura destina-se a ser usada como ponto de partida para essas personalizações para implantações de pré-produção e produção.

Casos de uso potenciais.

Essa arquitetura pode ser usada para executar uma ampla variedade de cargas de trabalho FSI. Alguns exemplos incluem:

  • Análise de risco de uma carteira de instrumentos financeiros
  • Simulações de Monte Carlo para estimar o valor de um instrumento financeiro
  • Teste retrospectivo de estratégias de negociação
  • Prova de esforço de um portfólio de instrumentos financeiros

Topologia de rede

Essa arquitetura usa uma topologia de rede hub-and-spoke. Os recursos hub e spoke são implantados em redes virtuais separadas que estão conectadas por meio de emparelhamento de rede virtual. A rede de hub contém recursos compartilhados, como firewalls, gateways VPN e caixas de atalho. A rede spoke contém o serviço em lote e os nós de computação em lote. Ele também inclui outros pontos de extremidade de serviço necessários para a carga de trabalho, como contas de armazenamento, Registro de Contêiner e assim por diante. A rede spoke é isolada da internet pública e só pode ser acessada a partir da rede hub.

Aqui estão alguns destaques da topologia da rede:

  • Recursos no spoke são isolados da internet pública e só podem ser acessados pela rede do hub, o que minimiza a exposição direta dos recursos à internet pública.
  • Todo o tráfego de saída, incluindo o dos nós de computação do pool, é roteado por meio de um firewall, que garante que todo o tráfego de saída seja filtrado, registrado e rastreado.
  • O firewall é configurado para permitir somente o tráfego permitido, o que garante que somente o tráfego permitido-listado possa sair da rede virtual.
  • O acesso aos recursos na rede spoke é habilitado por meio de Gateway de VPN ou Azure Bastion implantados opcionalmente. Ambos fornecem maneiras seguras de se conectar à rede de hub a partir da internet pública.
  • Os jumpboxes de Windows e Linux são fornecidos com ferramentas pré-instaladas para acessar os recursos implantados, submeter trabalhos e monitorar o progresso deles. Esses jumpboxes são implantados na rede do hub e podem ser acessados na rede local usando o gateway de VPN ou Azure Bastion.
  • Todos os serviços Azure usam pontos de extremidade privados para garantir que eles sejam acessados pela rede privada em vez de acessá-los por meio de pontos de extremidade públicos. Essa configuração também ajuda a garantir que os serviços não sejam acessíveis pela Internet pública.
  • As regras NSG são configuradas para permitir apenas o tráfego necessário dentro e fora da rede virtual. Essa configuração ajuda a proteger a rede contra ataques mal-intencionados e a monitorar o tráfego de entrada e saída da rede. Essas regras ainda restringem o tráfego entre os recursos na rede virtual.

Rede virtual do hub

A rede virtual de hub contém recursos que permitem ou monitoram o tráfego de entrada e saída da rede spoke. A rede virtual define as seguintes sub-redes no modelo de implantação:

  1. GatewaySubnet: Sub-rede para o gateway VPN, se implantado
  2. AzureBastionSubnet: Sub-rede para o serviço Azure Bastion, se implantada
  3. AzureFirewallSubnet: Sub-rede para o serviço Firewall do Azure
  4. sn-jumpbox: sub-rede para os jumpboxes
  5. sn-dnspr: sub-rede delegada para o resolvedor DNS do Azure

Rede virtual de spoke

A rede virtual spoke contém o serviço em lote, os nós de computação em lote e outros pontos de extremidade de serviço necessários para a carga de trabalho. A rede virtual define as seguintes sub-redes no modelo de implantação:

  1. pool-linux: Sub-rede para o pool do Linux
  2. pool-windows: sub-rede para o pool do Windows
  3. private-endpoints: Sub-rede usada para pontos de extremidade privados para serviços do Azure implantados na rede spoke

A rede spoke é emparelhada com a rede hub, o que permite que os recursos na rede spoke acessem os recursos na rede hub. As tabelas de rotas são configuradas para garantir que o tráfego entre os spoke seja roteado pelo firewall.

Acessando os recursos

Para enviar trabalhos de computação para o serviço em lote, conecte-se ao ponto de extremidade do serviço em lote para enviar trabalhos e monitorar seu progresso. Como o serviço Batch está configurado para usar endpoints privados, ele só pode ser acessado de dentro da rede.

A arquitetura fornece duas opções para se conectar à rede para que você possa enviar trabalhos para o serviço em lote:

  • Usar Gateway de VPN. Conecte-se à rede do hub usando um gateway de VPN. Depois de estar conectado à VPN, você pode enviar trabalhos para o serviço em lote diretamente da máquina local, o que também facilita o monitoramento de trabalhos usando o Batch Explorer instalado na máquina local. Essa configuração requer que o CLI do Azure, o Gerenciador de Lotes e outras ferramentas sejam instalados no computador local. Como alternativa, depois de se conectar à VPN, você pode usar os Jumpboxes Linux ou Windows para enviar trabalhos para o serviço de Batch. Isso requer que você tenha um cliente SSH ou RDP instalado na máquina local.

  • Use Azure Bastion. Em vez de usar VPN, você pode usar Azure Bastion para entrar no Linux ou Windows Jumpboxes. Entre no portal do Azure e use Azure Bastion para fazer login na jumpbox VM diretamente do navegador da web. Depois de fazer login no jumpbox, você pode enviar trabalhos para o serviço de Lote usando o CLI do Azure, o Batch Explorer e outras ferramentas instaladas no jumpbox.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Neste exemplo de fluxo de trabalho, contamos com a transferência manual de dados e o envio de trabalhos como um bom ponto de partida para cargas de trabalho que ainda não estão prontas para automação. No entanto, para cargas de trabalho de produção, recomendamos automatizar a transferência de dados e o envio de trabalho, o que pode ser feito usando Azure Data Factory ou outras ferramentas de orquestração de fluxo de trabalho.

Os pools de lotes podem ser configurados para aumentar e reduzir automaticamente a escala com base no número de trabalhos enviados ao pool. Essa configuração ajuda a reduzir o custo de execução do pool quando não há trabalhos a serem executados. Para obter mais informações, consulte Escalonar automaticamente nós de computação em um pool do Lote do Azure.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.

Para minimizar o compartilhamento de segredos, como senhas e chaves, a arquitetura usa identidades gerenciadas para autenticar os nós de computação com conta de armazenamento, Registro de Contêiner e outros recursos à medida que ingressam no pool de lotes. Essa autenticação é feita atribuindo identidades gerenciadas aos pools de lotes e, em seguida, concedendo às identidades gerenciadas acesso aos recursos. As identidades gerenciadas podem receber o privilégio mínimo necessário para acessar os recursos usando o controle de acesso baseado em função.

A arquitetura também usa pontos de extremidade privados para ajudar a garantir que os serviços não sejam acessíveis pela Internet pública. Essa configuração ajuda a minimizar a superfície de ataque e também ajuda a garantir que os serviços sejam acessados pela rede privada em vez de acessá-los por meio de pontos de extremidade públicos.

A arquitetura também usa Firewall do Azure para filtrar e monitorar o tráfego dentro e fora da rede. O firewall é configurado para permitir somente o tráfego permitido, o que garante que somente o tráfego permitido-listado possa sair da rede virtual. Essa configuração ajuda a proteger a rede contra ataques mal-intencionados e a monitora o tráfego de entrada e saída da rede.

Os nós de computação em si não são acessíveis pela Internet pública porque os endereços IP públicos não são atribuídos aos nós de computação.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.

Lote do Azure em si é um serviço gratuito e os clientes pagam apenas pelos custos subjacentes de máquina virtual, armazenamento e rede. Nessa carga de trabalho, além dos nós de computação, a conta de armazenamento, os jumpboxes, os Gateway de VPN e os Azure Bastion são os outros recursos que incorrem em custo. Como a carga de trabalho foi projetada para oferecer suporte a alternativas de acesso aos recursos, o custo de execução pode ser otimizado escolhendo um desses caminhos. Por exemplo, se Gateway de VPN for preferencial para acessar recursos, as VMs Azure Bastion e jumpbox poderão ser desabilitadas durante a implantação para reduzir o custo.

Para ajudar a reduzir os custos associados aos recursos de computação, use unidades de manutenção de estoque (SKUs) de VM que sejam mais econômicas para a carga de trabalho. Além disso, o uso de instâncias spot ou dimensionamento automático de pool pode ajudar a reduzir os custos associados aos nós de computação.

Para determinar o custo da execução dessa carga de trabalho, consulte Azure calculadora de preços.

Eficiência de desempenho

A eficiência do desempenho é a capacidade de dimensionar a carga de trabalho para atender às demandas exigidas pelos usuários de maneira eficiente. Para obter mais informações, consulte lista de verificação de design para eficiência de desempenho.

Com o Batch, a eficiência de desempenho é alcançada usando as SKUs de VM certas para a carga de trabalho. Consulte Azure unidade de computação para obter detalhes sobre como escolher as SKUs de VM corretas para a carga de trabalho. Escolher o tamanho da VM para nós de computação fornece mais orientação sobre como escolher as SKUs de VM corretas com base na região de implantação.

Implementar este cenário

O código-fonte IaC (infraestrutura como código) para essa arquitetura de referência está disponível no repositório do acelerador Lote do Azure. Os tutoriais incluídos demonstram como implantar essa arquitetura de referência e como usá-la para executar uma carga de trabalho FSI de exemplo, nomeada azfinsim. Você também pode usar o seguinte botão para implantar os recursos em sua assinatura usando Azure portal:

Implantar no Azure

Próximas etapas

Módulos de aprendizagem