Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En el sector de los servicios financieros (FSI), es fundamental ejecutar cargas de trabajo con un uso intensivo de recursos informáticos de forma eficiente y segura. Azure Batch ofrece una solución escalable y rentable para administrar estas cargas de trabajo en la nube. En este artículo se proporciona una guía completa sobre el uso de Azure Batch para ejecutar cargas de trabajo de FSI en Azure. Abarca la arquitectura, el flujo de trabajo, los componentes y los procedimientos recomendados para garantizar un rendimiento, una seguridad y una gestión de costes óptimos.
Arquitectura
En el diagrama siguiente se muestra la arquitectura para ejecutar cargas de trabajo de FSI en Azure mediante Azure Batch.
Descargar un archivo Visio que contiene este diagrama de arquitectura.
Flujo de trabajo
En este escenario de ejemplo se muestra cómo ejecutar cargas de trabajo de FSI en Azure mediante Azure Batch. A continuación, se muestra un flujo de trabajo típico que puede seguir:
- Conéctese a la red privada mediante VPN Gateway. Como alternativa, conéctese mediante el protocolo de escritorio remoto (RDP) o Secure Shell (SSH) a las máquinas virtuales (VM) jumpbox mediante Azure Bastion. Se puede utilizar cualquiera de los dos enfoques para conectarse a la red privada.
- Cargue los conjuntos de datos para su procesamiento en la cuenta de almacenamiento mediante el CLI de Azure, Explorador de Azure Storage o
azcopy. - Envíe trabajos para procesar los datos al servicio Batch mediante el CLI de Azure, Batch Explorer u otras herramientas. Para este ejemplo de implementación, hemos desarrollado una herramienta de línea de comandos personalizada que también puede utilizar para enviar trabajos.
- Cambie el tamaño del grupo para agregar nodos de proceso al grupo. De forma predeterminada, la implementación crea un grupo sin nodos de proceso.
- Descargue los resultados de la cuenta de almacenamiento. Una vez completado el trabajo, los resultados se almacenan en la cuenta de almacenamiento. Estos resultados se pueden descargar mediante el CLI de Azure, Explorador de Azure Storage o
azcopy.
Componentes
Esta arquitectura incluye varios servicios de Azure y se divide en dos categorías de recursos: recursos de concentrador y recursos de extensiones. Más adelante en este artículo se proporcionan más detalles sobre la topología de red radial. En las siguientes secciones se describen los servicios para cada uno y sus roles.
Recursos de centro
Los recursos implementados en la red de centros de conectividad son recursos compartidos que habilitan, filtran y supervisan la comunicación entre la red radial y el mundo exterior.
Los siguientes recursos se implementan en la red de centros de conectividad:
Azure Firewall proporciona protección de nivel de red para la red. El firewall está configurado para permitir solo el tráfico específico dentro y fuera de la red. Esta configuración ayuda a proteger la red de ataques malintencionados y a supervisar el tráfico que entra y sale de la red. Las reglas deben actualizarse en función de las reglas y regulaciones específicas de su negocio.
Azure VPN Gateway permite una de estas dos maneras de conectarse a la red central desde la red pública de Internet. La otra manera es usar Azure Bastion servicio. A VPN gateway se le asigna una dirección IP pública para que los clientes de VPN puedan conectarse a ella desde la red pública de Internet.
Azure Bastion permite una de estas dos maneras de conectarse a jumpboxes desde la red pública de Internet. La otra manera es usar VPN Gateway. Azure Bastion se implementa en la red del centro de conectividad y se le asigna una dirección IP pública para que los usuarios puedan conectarse a ella desde la red pública de Internet.
Linux Jumpbox es una máquina virtual Linux con herramientas preinstaladas para tener acceso a los recursos implementados, enviar trabajos y supervisar su progreso. El jumpbox se implementa en la red del centro de conectividad y se puede acceder desde la red local mediante la puerta de enlace de VPN o Azure Bastion.
Windows Jumpbox es una máquina virtual de Windows con herramientas preinstaladas para acceder a los recursos implementados, enviar trabajos y supervisar su progreso. El jumpbox se implementa en la red del centro de conectividad y se puede acceder desde la red local mediante la puerta de enlace de VPN o Azure Bastion.
Log Analytics Workspace habilita la recopilación de registros. Siempre que sea posible, los recursos implementados se configuran para guardar registros en el área de trabajo. Los registros se utilizan para supervisar los recursos y solucionar problemas. Cuando se combina con Aplicación de Azure Insights, proporciona funcionalidades de supervisión y solución de problemas de rendimiento para los recursos implementados.
Azure DNS Private Resolver proporciona un punto de conexión entrante para resolver direcciones IP de puntos de conexión privados cuando se consultan desde fuera de la red virtual aprovisionada, por ejemplo, desde recursos locales. DNS Private Resolver se despliega cuando se despliega la puerta de enlace VPN de Azure.
Recursos radiales
Los recursos implementados en la red radial ayudan a ejecutar las cargas de trabajo de cálculo y todos los recursos auxiliares.
Los siguientes recursos se implementan en la red radial:
Azure Batch es el servicio principal en el que se basa nuestra arquitectura para la programación y ejecución de trabajos nativos de la nube. Azure Batch administra los recursos de proceso necesarios, programa las tareas en los recursos de proceso y supervisa las tareas para su finalización. El servicio Batch se implementa con dos grupos: un grupo denominado
linuxcon nodos de proceso de Linux y un grupo denominadowindowscon nodos de proceso de Windows. Los grupos están configurados para realizar las siguientes tareas:- Use el modo de asignación del grupo de suscripciones de usuarios. Todos los recursos que el servicio Batch usa internamente se asignan en la misma suscripción que la cuenta Batch, y utilizan las cuotas y directivas específicas de dicha suscripción.
- Utilice las subredes correspondientes en la red radial. Por lo tanto, se les asigna espacio de direcciones del intervalo de direcciones de la subred. También significa que todas las reglas del grupo de seguridad de red (NSG) y las reglas de reenvío de tráfico configuradas en esas subredes también se aplican a los nodos de proceso.
- Evite asignar direcciones IP públicas a los nodos de proceso para asegurarse de que no se pueda tener acceso a los nodos de proceso directamente desde la red pública de Internet.
- Facilite que las cargas de trabajo que se ejecutan en notas informáticas tengan acceso a los recursos de almacenamiento compartidos, montando los recursos de almacenamiento admitidos en los nodos informáticos durante la inicialización.
- Use una identidad administrada asignada por el usuario para autenticar los nodos de cálculo con la cuenta de almacenamiento, el registro de contenedores y cualquier otro recurso cuando se unan al grupo de lotes. De este modo, se garantiza que los nodos de proceso se autentiquen mediante certificados en lugar de contraseñas o claves.
Azure Key Vault almacena secretos de implementación como certificados de cuenta de Batch. Estos certificados se usan para autenticar los recursos del nodo de cálculo a medida que se unen al grupo de Batch. El almacén de claves se implementa en la red radial y está configurado para permitir el acceso solo desde el servicio Batch. Esta configuración garantiza que no se pueda tener acceso a los certificados desde la red pública de Internet.
Azure Storage almacena los datos de entrada y salida. La implementación crea dos cuentas de almacenamiento: una para el almacenamiento de blobs y otra para el almacenamiento de archivos. La cuenta de almacenamiento Blob se monta en el conjunto de Linux mediante el sistema de archivos de red (NFS). La cuenta de almacenamiento de archivos se monta en el grupo de Linux y Windows mediante el bloque de mensajes del servidor (SMB).
Azure Container Registry almacena imágenes de contenedor usadas por los nodos de proceso por lotes. El uso de una implementación privada del registro de contenedor ayuda a controlar el acceso a las imágenes de contenedor y también proporciona una manera más segura de almacenar imágenes de contenedor. El registro de contenedor se implementa en la red de spoke y está configurado para permitir el acceso solo desde el servicio Batch. Esta configuración garantiza que no se pueda tener acceso a las imágenes de contenedor desde la red pública de Internet.
Azure Managed Identity se usa para autenticar los nodos de proceso agregados a grupos automáticamente con Container Registry, cuentas de almacenamiento y otros recursos.
Alternativas
Azure Kubernetes Service (AKS) se puede usar en lugar de Azure Batch servicio para una configuración similar para las aplicaciones en contenedor.
Azure CycleCloud se puede usar para administrar clústeres de informática de alto rendimiento (HPC) en Azure. Estos clústeres de HPC se pueden configurar para ejecutar cargas de trabajo similares a las de este artículo.
Detalles del escenario
Un patrón informático común en FSI es ejecutar un gran número de simulaciones de cálculo intensivo en un conjunto de datos de entrada que caracteriza un instrumento financiero o una cartera de instrumentos financieros. Por lo general, las simulaciones se ejecutan en paralelo y los resultados se agregan para producir un resumen del perfil de riesgo de la cartera.
Esta arquitectura no se centra en una carga de trabajo en particular. En su lugar, se centra en las aplicaciones que quieren usar Azure Batch para ejecutar simulaciones de proceso intensivo. Cualquier arquitectura de implementación de producción debe personalizarse para cumplir con los requisitos específicos de la carga de trabajo y el entorno empresarial. Esta arquitectura está pensada para usarse como punto de partida para dichas personalizaciones para implementaciones de preproducción y producción.
Posibles casos de uso
Esta arquitectura se puede utilizar para ejecutar una amplia variedad de cargas de trabajo FSI. Estos son algunos ejemplos:
- Análisis de riesgos de una cartera de instrumentos financieros
- Simulaciones Monte Carlo para estimar el valor de un instrumento financiero
- Pruebas retrospectivas de estrategias de comercio
- Prueba de esfuerzo de una cartera de instrumentos financieros
Topología de red
Esta arquitectura utiliza una topología de red radial. Los recursos radiales se implementan en redes virtuales independientes que están conectadas a través del emparejamiento de red virtual. La red del concentrador contiene recursos compartidos, como firewalls, VPN gateways y jumpboxes. La red radial contiene el servicio Batch y los nodos de proceso de Batch. También incluye otros extremos de servicio necesarios para la carga de trabajo, como cuentas de almacenamiento, Container Registry, etc. La red radial está aislada de la red pública de Internet y solo se puede tener acceso a ella desde la red del centro de conectividad.
A continuación se presentan algunos aspectos destacados de la topología de la red:
- Los recursos del spoke están aislados de Internet y solo se puede acceder a ellos desde la red del concentrador, minimizando su exposición directa a Internet.
- Todo el tráfico saliente, incluido el de los nodos de computación del grupo, se enruta a través de un firewall, que garantiza que todo el tráfico saliente sea filtrado, registrado y rastreado.
- El firewall está configurado para permitir solo el tráfico incluido en la lista de permitidos, lo que garantiza que solo el tráfico incluido en la lista de permitidos pueda salir de la red virtual.
- El acceso a recursos de la red spoke está habilitado a través de VPN Gateway o Azure Bastion implementados opcionalmente. Ambos proporcionan formas seguras de conectarse a la red del centro de conectividad desde la red pública de Internet.
- Windows y Linux jumpboxes se ofrecen con herramientas preinstaladas para acceder a los recursos desplegados, enviar trabajos y supervisar su progreso. Estos jumpboxes se implementan en la red del centro de conectividad y se puede acceder a ellos desde la red local mediante la puerta de enlace de VPN o Azure Bastion.
- Todos los servicios Azure usan puntos de conexión privados para asegurarse de que tienen acceso a través de la red privada en lugar de acceder a ellos a través de puntos de conexión públicos. Esta configuración también ayuda a garantizar que no se pueda tener acceso a los servicios desde la Internet pública.
- Las reglas de NSG están configuradas para permitir solo el tráfico necesario dentro y fuera de la red virtual. Esta configuración ayuda a proteger la red de ataques malintencionados y a supervisar el tráfico que entra y sale de la red. Estas reglas incluso restringen el tráfico entre los recursos de la red virtual.
Red virtual del centro de conectividad
La red virtual del hub contiene recursos que permiten o supervisan el tráfico de entrada y salida de la red spoke. La red virtual define las siguientes subredes en la plantilla de implementación:
-
GatewaySubnet: subred para la puerta de enlace VPN, si está implementada -
AzureBastionSubnet: subred del servicio Azure Bastion, si se implementa -
AzureFirewallSubnet: subred del servicio Azure Firewall -
sn-jumpbox: subred para los jumpboxes -
sn-dnspr: subred delegada al solucionador de Azure DNS
Red virtual radial
La red virtual radial contiene el servicio Batch, los nodos de proceso de Batch y otros extremos de servicio que la carga de trabajo necesita. La red virtual define las siguientes subredes en la plantilla de implementación:
-
pool-linux: Subred para el pool de Linux -
pool-windows: subred del grupo de Windows -
private-endpoints: Subred usada para puntos de conexión privados para servicios de Azure implementados en la Red de Satélite
La red radial está emparejada con la red concentradora, lo que permite que los recursos de la red radial tengan acceso a los recursos de la red concentradora. Las tablas de enrutamiento están configuradas para garantizar que el tráfico entre los radios se enrute a través del firewall.
Acceso a los recursos
Para enviar trabajos de cálculo al servicio Batch, conéctese con el extremo del servicio Batch para enviar trabajos y supervisar su progreso. Dado que el servicio Batch está configurado para usar extremos privados, solo se puede tener acceso al mismo desde dentro de la red.
La arquitectura proporciona dos opciones para conectarse a la red, de modo que pueda enviar trabajos al servicio Batch:
Usa VPN Gateway. Conéctese a la red del centro de conectividad mediante un VPN Gateway. Después de conectarse a la VPN, puede enviar trabajos al servicio Batch directamente desde el equipo local, lo que también facilita la supervisión de los trabajos mediante el Batch Explorer instalado en el equipo local. Esta configuración requiere que la CLI de Azure, Batch Explorer y otras herramientas estén instaladas en el equipo local. Como alternativa, después de conectarse a la VPN, puede usar Linux o Windows Jumpboxes para enviar trabajos al servicio Batch. Para ello, es necesario tener un cliente SSH o un cliente RDP instalado en el equipo local.
Usa Azure Bastion. En lugar de usar VPN, puede usar Azure Bastion para iniciar sesión en Linux o Windows Jumpboxes. Inicie sesión en el portal de Azure y, a continuación, use Azure Bastion para iniciar sesión en la máquina virtual jumpbox directamente desde el explorador web. Después de iniciar sesión en jumpbox, puede enviar trabajos al servicio Batch mediante el CLI de Azure, Batch Explorer y otras herramientas instaladas en el jumpbox.
Consideraciones
Estas consideraciones implementan los pilares del marco de Azure Well-Architected, que es un conjunto de principios rectores que se pueden usar para mejorar la calidad de una carga de trabajo. Para obtener más información, consulte Well-Architected Framework.
En este flujo de trabajo de ejemplo, nos basamos en la transferencia manual de datos y el envío de trabajos como un buen punto de partida para las cargas de trabajo que aún no están listas para la automatización. Sin embargo, para las cargas de trabajo de producción, se recomienda automatizar la transferencia de datos y el envío de trabajos, que se pueden realizar mediante Azure Data Factory u otras herramientas de orquestación de flujo de trabajo.
Los grupos de lotes se pueden configurar para escalar y reducir verticalmente automáticamente en función del número de trabajos enviados al grupo. Esta configuración ayuda a reducir el coste operativo del pool cuando no hay trabajos que ejecutar. Para obtener más información, consulte Escalar automáticamente los nodos de proceso en un grupo de Azure Batch.
Seguridad
La seguridad proporciona garantías contra ataques deliberados y el uso indebido de sus valiosos datos y sistemas. Para obtener más información, vea Lista de comprobación para la revisión de diseño de seguridad.
Para minimizar el uso compartido de secretos, como contraseñas y claves, la arquitectura usa identidades administradas para autenticar los nodos de proceso con la cuenta de almacenamiento, Container Registry y otros recursos a medida que se unen al grupo de lotes. Esta autenticación se realiza asignando identidades administradas a los grupos de lotes y, a continuación, concediendo a las identidades administradas acceso a los recursos. A las identidades administradas se les puede conceder el privilegio mínimo necesario para acceder a los recursos mediante el control de acceso basado en roles.
La arquitectura también usa puntos de conexión privados para ayudar a garantizar que no se pueda tener acceso a los servicios desde la red pública de Internet. Esta configuración ayuda a minimizar la superficie expuesta a ataques y también ayuda a garantizar que se tenga acceso a los servicios a través de una red privada en lugar de tener acceso a ellos a través de puntos de conexión públicos.
La arquitectura también usa Azure Firewall para filtrar y supervisar el tráfico dentro y fuera de la red. El firewall está configurado para permitir solo el tráfico incluido en la lista de permitidos, lo que garantiza que solo el tráfico incluido en la lista de permitidos pueda salir de la red virtual. Esta configuración ayuda a proteger la red de ataques malintencionados y a supervisar el tráfico que entra y sale de la red.
No se puede tener acceso a los nodos de proceso desde la Internet pública porque no se les asignan direcciones IP públicas.
Optimización de costos
La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costes.
Azure Batch es un servicio gratuito y los clientes solo pagan por los costos subyacentes de máquina virtual, almacenamiento y redes. En esta carga de trabajo, además de los nodos de proceso, la cuenta de almacenamiento, jumpboxes, VPN Gateway y Azure Bastion son los demás recursos que incurren en costos. Dado que la carga de trabajo está diseñada para admitir alternativas de acceso a los recursos, el coste de ejecución se puede optimizar eligiendo una de esas rutas. Por ejemplo, si se prefiere VPN Gateway para acceder a los recursos, Azure Bastion y las máquinas virtuales jumpbox se pueden deshabilitar durante la implementación para reducir el costo.
Para ayudar a reducir los costes asociados con los recursos informáticos, use unidades de mantenimiento de existencias (SKU) de máquinas virtuales que sean más rentables para la carga de trabajo. Además, el uso de instancias de acceso puntual o el escalado automático de grupos puede ayudar a reducir los costes asociados con los nodos de proceso.
Para determinar el costo de ejecutar esta carga de trabajo, consulte Azure calculadora de precios.
Eficiencia del rendimiento
La eficiencia del rendimiento es la capacidad de la carga de trabajo para escalar a fin de satisfacer las demandas que los usuarios ponen en ella de forma eficaz. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.
Con Batch, la eficiencia del rendimiento se logra mediante el uso de las SKU de máquina virtual adecuadas para la carga de trabajo. Consulte Azure unidad de proceso para obtener más información sobre cómo elegir las SKU de máquina virtual adecuadas para la carga de trabajo. La elección del tamaño de máquina virtual para los nodos de proceso proporciona más orientación sobre cómo elegir las SKU de máquina virtual adecuadas en función de la región de implementación.
Implementar este escenario
El código fuente de infraestructura como código (IaC) para esta arquitectura de referencia está disponible en el repositorio de aceleradores de Azure Batch. Los tutoriales incluidos muestran cómo implementar esta arquitectura de referencia y cómo usarla para ejecutar una carga de trabajo FSI de ejemplo, denominada azfinsim. También puede usar el botón siguiente para implementar los recursos en la suscripción mediante Azure portal:
Pasos siguientes
- ¿Qué es Azure Batch?
- ¿Qué es Azure Virtual Network?
- cuentas de Azure Storage
- Procesamiento de datos con Batch y Data Factory
Módulos de aprendizaje