Configurer Pacemaker sur Red Hat Enterprise Linux dans Azure

Utilisation de SBD avec Azure Shared Disk

En utilisant Azure Shared Disks, vous pouvez monter le même disque sur toutes les machines virtuelles faisant partie du cluster. Vous pouvez héberger votre appareil SBD sur ce disque partagé sans nécessiter d’infrastructure supplémentaire.

Avantages

• Offre une option native d’appareil à blocs partagés Azure pour SBD sans nécessiter de ressources supplémentaires.
• Les machines virtuelles connectent directement le disque géré, réduisant ainsi la dépendance à des considérations réseau supplémentaires.

Considérations importantes

• Vous pouvez utiliser un disque partagé Azure avec le Premium SSD SKU comme un périphérique SBD.
• Consultez la liste des systèmes d’exploitation pris en charge.
• Les appareils SBD utilisant un disque partagé premium Azure prennent en charge le stockage localement redondant (LRS) et le stockage redondant en zone (ZRS).
• Selon le type de votre déploiement, choisissez le stockage redondant approprié pour un disque partagé Azure comme appareil SBD.
  • Un périphérique SBD qui utilise LRS pour un disque partagé Premium Azure (skuName - Premium_LRS) prend uniquement en charge les déploiements dans un ensemble de disponibilité.
  • Un dispositif SBD utilisant ZRS pour un disque partagé premium Azure (skuName - Premium_ZRS) est recommandé pour les déploiements dans les zones de disponibilité.
• Le Azure disque partagé que vous utilisez pour les appareils SBD n'a pas besoin d'être volumineux. La valeur maxShares détermine combien de nœuds de cluster peuvent utiliser le disque partagé. Par exemple, vous pouvez utiliser des tailles de disque P1 ou P2 pour votre appareil SBD sur un cluster à deux nœuds comme SAP ASCS/ERS ou SAP HANA Scale-up.
  • Pour les clusters de plus de deux nœuds, consultez la valeur maxShares documentée pour le disque sélectionné.
• Ne connectez pas un dispositif Azure shared disk SBD entre différents clusters Pacemaker.
• Si vous utilisez plusieurs appareils SBD de disque partagé Azure, vérifiez la limite d’un nombre maximal de disques de données pouvant être attachés à une machine virtuelle.
• Pour plus d’informations sur les limitations relatives aux disques partagés Azure, consultez attentivement la section « Limitations » de Azure documentation sur les disques partagés.

Utilisation de SBD avec des cibles iSCSI

Cette solution nécessite d’héberger des cibles Internet Small Computer System Interface (iSCSI) sur au moins une machine virtuelle (VM) supplémentaire.

Avantages

• Ces serveurs hôtes iSCSI peuvent également héberger des cibles iSCSI pour d’autres clusters Pacemaker dans la même région.
• Si vous les utilisez déjà sur site, ils ne nécessitent aucun changement dans la façon dont vous utilisez le cluster Pacemaker.

Considérations importantes

• Vous devez utiliser trois serveurs hôtes iSCSI pour avoir le plus haut niveau de résilience pour votre cluster.
  • Utiliser un seul serveur crée un point de défaillance unique qui empêche votre cluster d’effectuer le fencing s’il tombe en panne.
  • Pacemaker n’autorise pas le fencing si vous n’avez que deux cibles et que l’une d’elles est hors service.
• Les serveurs hôtes cibles iSCSI doivent résider dans la même région que vos clusters.
• Le routage réseau entre vos clusters et les serveurs hôtes iSCSI ne doit pas traverser de dispositifs réseau non redondants (comme un Network Virtual Appliance).
  • Les événements de maintenance et autres problèmes liés aux dispositifs réseau peuvent nuire à la stabilité et à la fiabilité de la configuration globale du cluster.

Utilisation de l’agent de clôture Azure

En utilisant l’agent Azure Fence, votre cluster peut isoler les nœuds en appelant directement les API Azure afin de redémarrer les nœuds défaillants.

Avantages

• Aucune ressource supplémentaire n’est nécessaire.
• Les identités gérées suppriment toute maintenance des identifiants.

Considérations importantes

• Utilisez des identités gérées pour l’authentification. Si vous utilisez actuellement un principal de service, mettez à jour l'Agent Azure Fence de SPN à MSI.
• L’agent de clôture Azure nécessite une connectivité sortante vers les points de terminaison Azure publics. Pour plus d’informations et pour découvrir les solutions potentielles, consultez Connectivité de point de terminaison public pour les machines virtuelles avec ILB Standard.
• Les opérations de monitoring et d’isolation sont désérialisées. Par conséquent, si un événement d’isolation se produit en même temps qu’une opération de monitoring longue, il n’y a aucun délai pour le basculement du cluster. En effet, l’opération de monitoring est déjà en cours d’exécution.

Déploiement d’un disque partagé Azure pour SBD

Pour créer et attacher un disque partagé Azure en utilisant PowerShell, exécutez les commandes suivantes. Si vous souhaitez déployer des ressources en utilisant la interface Azure CLI ou le portail Azure, consultez Déploiement d’un disque ZRS.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Utiliser des cibles iSCSI

Construire des serveurs hôtes cibles iSCSI

1. Déployez trois machines virtuelles qui fonctionnent sur une version RHEL prise en charge. Les machines virtuelles n’ont pas besoin d’être très grandes. Les tailles de VM telles que Standard_E2s ou Standard_D2s sont suffisantes.

   Remarque

   Vous n’avez pas besoin d’utiliser RHEL pour SAP avec HA et Update Services, ni RHEL pour l’image SAP Apps OS du serveur cible iSCSI. Vous pouvez utiliser une image RHEL OS standard à la place. Toutefois, le cycle de vie de prise en charge varie selon les différentes versions du produit du système d’exploitation.

2. Installez les dernières mises à jour, et redémarrez si nécessaire.

   sudo dnf -y update
   

3. Installez le package cible iSCSI.

   sudo dnf install -y targetcli
   

4. Activez et lancez le service iSCSI.

   sudo systemctl start target
   sudo systemctl enable target
   

5. Ouvre le port dans le pare-feu.

   sudo firewall-cmd --add-port=3260/tcp --permanent
   sudo firewall-cmd --reload
   

Créer des cibles iSCSI

Pour chaque cluster, vous devez provisionner un disque iSCSI sur chaque serveur hôte iSCSI, puis accorder l’accès à chaque nœud du cluster à ce disque. Dans cet exemple, vous créez des disques pour deux clusters différents :

• ascsnw1 : Le cluster ASCS/ERS pour NW1
• hdbnw1 : Le cluster de bases de données HANA pour NW1
• sap-cl1 et sap-cl2 : noms d’hôte pour les nœuds du cluster ASCS/ERS NW1
• sap-db1 et sap-db2 : noms d’hôte pour les nœuds du cluster HANA NW1

1. Créez le dossier racine de tous les appareils SBD.

   sudo mkdir /sbd
   

2. Créez le dispositif SBD pour le premier cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Créer le périphérique SBD pour le second cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Enregistrez la configuration.

   sudo targetcli saveconfig
   

5. Vérifiez la configuration.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Configurer Azure Fence Agent

1. Créer une identité

   • Identité managée
   • Principal du service

   Pour créer une identité managée (MSI), créez une identité managée assignée par le système pour chaque VM du cluster. Les identités gérées attribuées par les utilisateurs ne sont pas prises en charge pour le moment.

2. créer un rôle personnalisé ;

   Votre identité nécessite des autorisations via RBAC Azure pour effectuer des actions d’isolation sur vos machines virtuelles. Pour se conformer au modèle de sécurité à accès minimal privilégié (LPA), créez un rôle RBAC personnalisé.

   Utilisez la définition suivante pour votre rôle, en remplaçant vos identifiants d’abonnement là où c’est nécessaire :

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Attribuez le rôle personnalisé à vos identités.

   • Identité managée
   • Principal du service

   Pour chaque VM de votre cluster, attribuez son identité gérée au rôle personnalisé « Linux Fence Agent » pour chaque VM du cluster, y compris elle-même. Pour connaître les étapes en détail, consultez Attribuer à une identité managée un accès à une ressource à l’aide du Portail Azure.

   Important

   Sachez que l’attribution et la suppression des autorisations avec des identités gérées peuvent être retardées jusqu’à leur entrée en vigueur.

1. [A] Activez le service SBD.

   sudo systemctl enable sbd
   

2. [A] Activez le watchdog logiciel.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Découvrez l’ID de l’appareil iSCSI.
   1. Déterminer le point de montage en fonction du numéro LUN

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Récupérez l’identifiant du périphérique iSCSI à partir du point de montage.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Créez l’appareil SBD.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Ajouter l’appareil SBD au cluster.

   sudo pcs stonith create sbd fence_sbd devices=/dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 op monitor interval=600 timeout=15
   

6. [1] Modifier les paramètres de configuration SBD.

   sudo pcs property set stonith-timeout=210
   sudo pcs property set stonith-enabled=true
   

7. [A] Valider le fichier de configuration SBD.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Activez les services nécessaires.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Activez le watchdog logiciel.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Mettre à jour le InitiatorName du nœud 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Mettre à jour le InitiatorName du nœud 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Redémarrez les services iSCSI.

   sudo systemctl restart iscsi iscsid
   

6. [A] Montez les cibles iSCSI depuis tous les serveurs hôtes iSCSI.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Découvrez les identifiants des appareils iSCSI.
   1. Déterminez les points de montage iSCSI.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Obtenez les identifiants des appareils iSCSI.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Créer les dispositifs SBD.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Ajoutez les appareils SBD au cluster.

   sudo pcs stonith create sbd fence_sbd \
      devices=/dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528,/dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff,/dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 \
      op monitor interval=600 timeout=120
   

10. [1] Modifier les paramètres de configuration SBD.

    sudo pcs property set stonith-timeout=210
    sudo pcs property set stonith-enabled=true
    

11. [A] Valider le fichier de configuration SBD.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configurez Azure Fence Agent.

   Remarque

   Lorsque vous utilisez Azure Government Cloud, vous devez spécifier cette cloud= option lors de la configuration de l’Azure Fence Agent. Par exemple, cloud=usgov pour le cloud Azure gouvernement américain.

   • Identité managée
   • Principal du service

   sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true \
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configurez le cluster pour Azure Fence Agent.

   sudo pcs property set stonith-enabled=true
   sudo pcs property set stonith-timeout=900