Configuración de Pacemaker en SUSE Linux Enterprise Server en Azure

Uso de SBD con Azure Shared Disk

Al usar Azure Shared Disks, puedes montar el mismo disco en todas las máquinas virtuales que forman parte del clúster. Puedes alojar tu dispositivo SBD en ese disco compartido sin necesidad de infraestructura adicional.

Ventajas

• Proporciona una opción nativa de dispositivo de bloque compartido de Azure para SBD sin requerir recursos adicionales.
• Las máquinas virtuales conectan directamente el disco gestionado, reduciendo la dependencia de consideraciones adicionales de la red.

Consideraciones importantes

• Puedes usar un disco compartido de Azure con el Premium SSD SKU como dispositivo SBD.
• Revisa la lista de sistemas operativos compatibles.
• Los dispositivos SBD que utilizan un disco compartido premium Azure soportan almacenamiento redundante local (LRS) y almacenamiento redundante por zonas (ZRS).
• En función del tipo de implementación, elija el almacenamiento redundante adecuado para un disco compartido de Azure como dispositivo SBD.
  • Un dispositivo SBD que utilice LRS para el disco compartido premium de Azure (skuName: Premium_LRS) solo admite implementaciones en un conjunto de disponibilidad.
  • Se recomienda un dispositivo SBD que utilice ZRS para un disco compartido premium Azure (skuName - Premium_ZRS) para despliegues en zonas de disponibilidad.
• No es necesario que el disco compartido de Azure que use para dispositivos SBD sea grande. El valor maxShares determina cuántos nodos de clúster puede usar el disco compartido. Por ejemplo, puedes usar tamaños de disco P1 o P2 para tu dispositivo SBD en un clúster de dos nodos como SAP ASCS/ERS o SAP HANA scale-up.
  • Para clústeres con más de dos nodos, consulta el valor documentado de maxShares del disco seleccionado.
• No conectes un dispositivo SBD de disco compartido de Azure entre diferentes clústeres de Pacemakers.
• Si usa varios dispositivos SBD de disco compartido de Azure, compruebe el límite para el número máximo de discos de datos que se pueden conectar a la máquina virtual.
• Para más información sobre las limitaciones del disco compartido de Azure, repase minuciosamente la sección "Limitaciones" de la documentación del disco compartido de Azure.

Uso de SBD con destinos iSCSI

Esta solución requiere alojar objetivos de Internet Small Computer System Interface (iSCSI) en al menos una máquina virtual adicional (VM).

Ventajas

• Estos servidores anfitriones iSCSI también pueden alojar objetivos iSCSI para otros clústeres de Pacemaker en la misma región.
• Si ya los usas en las instalaciones, no requieren cambios en la forma en que operas el clúster Pacemaker.

Consideraciones importantes

• Debes usar tres servidores anfitriones iSCSI para tener el mayor nivel de resiliencia para tu clúster.
  • El uso de un único servidor introduce un punto único de fallo que impide que el clúster realice el fencing si dicho servidor está inactivo.
  • Pacemaker no permite el fencing si solo se dispone de dos destinos y uno de ellos está inactivo.
• Los servidores anfitriones objetivo de iSCSI deben estar en la misma región que tus clústeres.
• El enrutamiento de red entre tus clústeres y los servidores anfitriones iSCSI no debe atravesar ningún dispositivo de red no redundante (como un Dispositivo Virtual de Red).
  • Los eventos de mantenimiento y otros problemas con los dispositivos de red pueden afectar negativamente a la estabilidad y fiabilidad de la configuración general del clúster.

Usando el Agente de la Cerca de Azure

Al usar el agente Azure Fence Agent, el clúster puede aislar nodos llamando directamente a la API de Azure para reiniciar los nodos que hayan fallado.

Ventajas

• No hacen falta recursos adicionales.
• Las Identidades Gestionadas eliminan cualquier mantenimiento de credenciales.

Consideraciones importantes

• Utiliza Identidades Gestionadas para la autenticación. Si actualmente usas un principal de servicio, actualiza el Azure Fence Agent de SPN a MSI.
• El agente de protección de Azure requiere conectividad saliente hacia puntos de conexión públicos de Azure. Para obtener más información junto con las posibles soluciones, consulte Conectividad del punto de conexión público para las máquinas virtuales que usan el ILB estándar.
• Las operaciones de supervisión y barrera se deserializan. Como resultado, si hay una operación de supervisión más larga y un evento de barrera simultánea, no habrá ningún retraso en la conmutación por error del clúster porque la operación de supervisión ya se está ejecutando.

Despliega un disco compartido de Azure para SBD

Para crear y conectar un disco compartido de Azure usando PowerShell, ejecuta los siguientes comandos. Si quieres desplegar recursos usando la CLI de Azure o el portal de Azure, consulta Desplegar un disco ZRS.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Usar destinos iSCSI

Construir servidores host de destino iSCSI

1. Implemente tres máquinas virtuales que ejecuten una versión compatible del sistema operativo SLES. Las máquinas virtuales no necesitan ser grandes. Tamaños de VM como Standard_E2s o Standard_D2s son suficientes.

   Nota

   No necesitas usar SLES para la imagen del sistema operativo de aplicaciones SAP para el servidor objetivo iSCSI. Puedes usar una imagen estándar de SLES OS en su lugar. Sin embargo, el ciclo de vida de soporte varía entre las distintas versiones del producto del sistema operativo.

2. Instala las últimas actualizaciones y reinicia si es necesario.

   sudo zypper -n update
   

3. Instala el paquete de destino iSCSI.

   sudo zypper -n install targetcli-fb
   

4. Activa y inicia el servicio iSCSI.

   sudo systemctl start targetcli
   sudo systemctl enable targetcli
   

Crear destinos iSCSI

Para cada clúster, necesitas provisionar un disco iSCSI en cada servidor anfitrión iSCSI y luego conceder acceso a ese disco a cada nodo del clúster. En este ejemplo, creas discos para dos clústeres diferentes:

• ascsnw1: El clúster ASCS/ERS para NW1
• hdbnw1: El clúster de bases de datos HANA para NW1
• sap-cl1 y sap-cl2: Nombres de host para los nodos del clúster ASCS/ERS de NW1
• sap-db1 y sap-db2: Nombres de host para los nodos del clúster HANA de NW1

1. Cree la carpeta raíz para todos los dispositivos SBD.

   sudo mkdir /sbd
   

2. Crea el dispositivo SBD para el primer clúster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Crea el dispositivo SBD para el segundo clúster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Guarde la configuración.

   sudo targetcli saveconfig
   

5. Verifica la configuración.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Configurar Azure Fence Agent

1. Crear identidad

   • Identidad administrada
   • Entidad de servicio

   Para crear una identidad gestionada (MSI), crea una identidad gestionada asignada por el sistema para cada VM del clúster. Por ahora no se admiten identidades gestionadas asignadas por usuarios.

2. Crear un rol personalizado.

   Tu identidad necesita permisos a través de RBAC de Azure para realizar acciones de protección en tus máquinas virtuales. Para cumplir con el Modelo de Seguridad de Acceso Mínimo Privilegiado (LPA), crea un rol RBAC personalizado.

   Utiliza la siguiente definición para tu puesto, reemplazando tu(s) ID(s) de suscripción donde sea necesario:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Asigna el rol personalizado a tus identidades.

   • Identidad administrada
   • Entidad de servicio

   Para cada VM de tu clúster, asigna su identidad gestionada al rol personalizado "Linux Fence Agent" para cada VM del clúster, incluida ella misma. Para conocer los pasos detallados, consulte Asignación de acceso de una identidad administrada a un recurso mediante Azure Portal.

   Importante

   Ten en cuenta que la asignación y eliminación de autorizaciones con identidades gestionadas puede retrasarse hasta que entren en vigor.

1. [A] Habilitar el servicio SBD.

   sudo systemctl enable sbd
   

2. [A] Activar el vigilante de software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Descubre el ID del dispositivo iSCSI.
   1. Determinar el punto de montaje en función del número LUN

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Obtén el ID del dispositivo iSCSI a partir del montaje.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Cree el dispositivo SBD.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Añadir el dispositivo SBD al clúster.

   sudo crm cluster init --yes sbd -s /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617
   

6. [1] Cambiar la configuración de SBD.

   sudo crm configure property stonith-timeout=210
   sudo crm configure property stonith-enabled=true
   # For the below command, 600 is the interval, and 120 is the timeout
   sudo crm configure monitor stonith-sbd 600:120
   sudo crm configure set stonith-sbd.pcmk_delay_max 15
   

7. [A] Validar el archivo de configuración SBD.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Habilitar los servicios necesarios.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Activar el vigilante de software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Actualizar el InitiatorName para el nodo 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Actualizar el InitiatorName para el nodo 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Reinicia los servicios iSCSI.

   sudo systemctl restart iscsi iscsid
   

6. [A] Monta los destinos iSCSI desde todos los servidores host iSCSI.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Descubre los IDs de los dispositivos iSCSI.
   1. Determina los puntos de montaje de iSCSI.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Consigue los identificadores de dispositivos iSCSI.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Crear los dispositivos SBD.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Añadir los dispositivos SBD al clúster.

   sudo crm cluster init --yes sbd \
      -s /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 \
      -s /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff \
      -s /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5
   

10. [1] Cambiar la configuración de SBD.

    sudo crm configure property stonith-timeout=210
    sudo crm configure property stonith-enabled=true
    # For the below command, 600 is the interval, and 120 is the timeout
    sudo crm configure monitor stonith-sbd 600:120
    sudo crm configure set stonith-sbd.pcmk_delay_max 15
    

11. [A] Validar el archivo de configuración SBD.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configurar Azure Fence Agent.

   Nota

   Al usar Azure Government Cloud, debes especificar la cloud= opción al configurar el Agente de Cerca de Azure. Por ejemplo, cloud=usgov para la nube del gobierno de Azure en Estados Unidos.

   • Identidad administrada
   • Entidad de servicio

   sudo crm configure primitive rsc_st_azure stonith:fence_azure_arm params msi=true \ 
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configura el clúster para Azure Fence Agent.

   sudo crm configure property stonith-enabled=true
   sudo crm configure property stonith-timeout=900