Configurare Pacemaker su Red Hat Enterprise Linux su Azure

Utilizzo di SBD con Azure Shared Disk

Utilizzando Azure Shared Disks, puoi montare lo stesso disco su tutte le macchine virtuali che fanno parte del cluster. Puoi ospitare il tuo dispositivo SBD su quel disco condiviso senza requisiti infrastrutturali aggiuntivi.

Vantaggi

• Fornisce un'opzione nativa di dispositivo a blocchi condivisi Azure per SBD senza richiedere risorse aggiuntive.
• Le macchine virtuali collegano direttamente il disco gestito, riducendo la dipendenza da ulteriori considerazioni di rete.

Considerazioni importanti

• Puoi usare un disco condiviso Azure con lo Premium SSD SKU come dispositivo SBD.
• Esamina l'elenco dei sistemi operativi supportati.
• I dispositivi SBD che utilizzano un disco condiviso premium Azure supportano la memoria ridondante locale (LRS) e la memoria ridondante a zona (ZRS).
• A seconda del tipo della distribuzione scegliere l'archiviazione ridondante appropriata per un disco condiviso Azure come dispositivo SBD.
  • Un dispositivo SBD che utilizza LRS per il disco condiviso Premium di Azure (skuName - Premium_LRS) supporta solo distribuzioni all'interno di un set di disponibilità.
  • Un dispositivo SBD che utilizza ZRS per un disco condiviso premium Azure (skuName - Premium_ZRS) è raccomandato per le implementazioni in zone di disponibilità.
• Il disco condiviso Azure usato per i dispositivi SBD non deve essere di grandi dimensioni. Il valore maxShares determina il numero di nodi del cluster che possono usare il disco condiviso. Ad esempio, puoi usare le dimensioni dei dischi P1 o P2 per il tuo dispositivo SBD su un cluster a due nodi come SAP ASCS/ERS o SAP HANA scale-up.
  • Per i cluster con più di due nodi, consulta il valore maxShares documentato del disco selezionato.
• Non collegare un dispositivo SBD su un disco condiviso di Azure tra cluster Pacemaker diversi.
• Se si usano più dispositivi SBD su disco condiviso Azure, verificare il limite per un numero massimo di dischi dati che possono essere collegati a una macchina virtuale.
• Per altre informazioni sulle limitazioni per i dischi condivisi Azure, vedere attentamente la sezione "Limitazioni" di Azure documentazione del disco condiviso.

Utilizzo di SBD con target iSCSI

Questa soluzione richiede di ospitare obiettivi Internet Small Computer System Interface (iSCSI) su almeno una macchina virtuale (VM) aggiuntiva.

Vantaggi

• Questi server host iSCSI possono ospitare bersagli iSCSI anche per altri cluster Pacemaker nella stessa regione.
• Se li stai già utilizzando in locale, non richiedono alcuna modifica al modo in cui gestisci il cluster Pacemaker.

Considerazioni importanti

• Devi utilizzare tre server host iSCSI per avere il massimo livello di resilienza per il tuo cluster.
  • L'uso di un solo server introduce un singolo punto di guasto che impedisce al cluster di eseguire il fencing se il server non è disponibile.
  • Pacemaker non consente l'isolamento se hai solo due nodi e uno è inattivo.
• I server host target iSCSI devono risiedere nella stessa regione dei tuoi cluster.
• Il routing di rete tra i tuoi cluster e i server host iSCSI non deve attraversare dispositivi di rete non ridondanti (come un Network Virtual Appliance).
  • Gli eventi di manutenzione e altri problemi con i dispositivi di rete possono influire negativamente sulla stabilità e l'affidabilità della configurazione complessiva del cluster.

Utilizzo dell'agente Azure Fence

Utilizzando l'Azure Fence Agent, il tuo cluster può fare il fence dei nodi chiamando direttamente le API di Azure per riavviare i nodi guasti.

Vantaggi

• Non servono risorse extra.
• Le Identità gestite rimuovono qualsiasi manutenzione delle credenziali.

Considerazioni importanti

• Usa le Identità Gestite per l'autenticazione. Se stai usando un principio di servizio, aggiorna l'Azure Fence Agent da SPN a MSI.
• L'agente Azure Fence richiede la connettività in uscita verso endpoint pubblici di Azure. Per altre informazioni e per le possibili soluzioni, vedere Connettività dell'endpoint pubblico per le macchine virtuali che usano il servizio di bilanciamento del carico interno standard.
• Le operazioni di monitoraggio e isolamento vengono deserializzate. Di conseguenza, in caso di simultaneità tra un evento di isolamento e un'operazione di monitoraggio più lunga, non si verifica alcun ritardo per il failover del cluster perché l'operazione di monitoraggio è già in esecuzione.

Distribuire un disco condiviso di Azure per SBD

Per creare e collegare un disco condiviso Azure usando PowerShell, esegui i seguenti comandi. Se vuoi distribuire risorse utilizzando la interfaccia della riga di comando di Azure o il portale Azure, vedi Distribuire un disco ZRS.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Usa obiettivi iSCSI

Creare server host di destinazione iSCSI

1. Distribuire tre macchine virtuali che funzionano su una versione supportata di RHEL OS. Le VM non devono essere grandi. Le dimensioni delle VM come Standard_E2s o Standard_D2s sono sufficienti.

   Note

   Non è necessario usare RHEL per SAP con HA e Update Services, né RHEL per l'immagine OS di SAP Apps per il target server iSCSI. Puoi invece usare un'immagine standard di RHEL OS. Tuttavia, il ciclo di vita del supporto varia tra le diverse versioni del prodotto del sistema operativo.

2. Installa gli ultimi aggiornamenti e riavvia se necessario.

   sudo dnf -y update
   

3. Installa il pacchetto target iSCSI.

   sudo dnf install -y targetcli
   

4. Abilita e avvia il servizio iSCSI.

   sudo systemctl start target
   sudo systemctl enable target
   

5. Apri la porta nel firewall.

   sudo firewall-cmd --add-port=3260/tcp --permanent
   sudo firewall-cmd --reload
   

Creare destinazioni iSCSI

Per ogni cluster, devi provvedere un disco iSCSI su ogni server host iSCSI, e poi concedere a ogni nodo del cluster l'accesso a quel disco. In questo esempio, crei dischi per due cluster diversi:

• ascsnw1: Il cluster ASCS/ERS di NW1
• hdbnw1: Il cluster di database HANA per NW1
• sap-cl1 e sap-cl2: nomi host per i nodi del cluster ASCS/ERS NW1
• sap-db1 e sap-db2: nomi host per i nodi del cluster HANA di NW1

1. Creare la cartella radice per tutti i dispositivi SBD.

   sudo mkdir /sbd
   

2. Crea il dispositivo SBD per il primo cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Crea il dispositivo SBD per il secondo cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Salva la configurazione.

   sudo targetcli saveconfig
   

5. Verifica la configurazione.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Configurare Azure Fence Agent

1. Crea identità

   • Identità gestita
   • Service Principal

   Per creare un'identità gestita (MSI), crea un'identità gestita assegnata dal sistema per ogni VM nel cluster. Al momento non sono supportate le identità gestite assegnate dagli utenti.

2. Creazione di un ruolo personalizzato.

   L'identità necessita di autorizzazioni tramite RBAC di Azure per eseguire azioni di isolamento verso le proprie VM. Per conformarsi al Modello di Sicurezza Accesso Minimo Privilegiato (LPA), crea un ruolo RBAC personalizzato.

   Usa la seguente definizione per il tuo ruolo, sostituendo l'ID dell'abbonamento dove necessario:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Assegna il ruolo personalizzato alle tue identità.

   • Identità gestita
   • Service Principal

   Per ogni VM nel tuo cluster, assegna la sua identità gestita al ruolo personalizzato "Linux Fence Agent" per ogni VM nel cluster, compresa se stessa. Per i passaggi dettagliati, vedere Assegnare a un'identità gestita l'accesso a una risorsa tramite il portale di Azure.

   Importante

   Tieni presente che l'assegnazione e la rimozione dell'autorizzazione con identità gestite possono essere rimandate fino a quando non entrano in vigore.

1. [A] Attiva il servizio SBD.

   sudo systemctl enable sbd
   

2. [A] Abilita il controllo software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Scopri l'ID dispositivo iSCSI.
   1. Determina il punto di montaggio in base al numero LUN

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Recupera l'ID del dispositivo iSCSI dal montaggio.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Creare il dispositivo SBD.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Aggiungi il dispositivo SBD al cluster.

   sudo pcs stonith create sbd fence_sbd devices=/dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 op monitor interval=600 timeout=15
   

6. [1] Modifica le impostazioni di configurazione SBD.

   sudo pcs property set stonith-timeout=210
   sudo pcs property set stonith-enabled=true
   

7. [A] Valida il file di configurazione SBD.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Abilita i servizi richiesti.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Abilita il controllo software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Aggiorna il InitiatorName per il nodo 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Aggiorna il InitiatorName per il nodo 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Riavvia i servizi iSCSI.

   sudo systemctl restart iscsi iscsid
   

6. [A] Monta i target iSCSI di tutti i server host iSCSI.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Scopri gli ID dei dispositivi iSCSI.
   1. Determina i punti di montaggio iSCSI.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Ottieni gli ID dei dispositivi iSCSI.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Crea i dispositivi SBD.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Aggiungi i dispositivi SBD al cluster.

   sudo pcs stonith create sbd fence_sbd \
      devices=/dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528,/dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff,/dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 \
      op monitor interval=600 timeout=120
   

10. [1] Modifica le impostazioni di configurazione SBD.

    sudo pcs property set stonith-timeout=210
    sudo pcs property set stonith-enabled=true
    

11. [A] Valida il file di configurazione SBD.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configura Azure Fence Agent.

   Note

   Quando si utilizza Azure Government Cloud, è necessario specificare questa cloud= opzione quando si configura Azure Fence Agent. Ad esempio, cloud=usgov per il cloud del governo degli Stati Uniti Azure.

   • Identità gestita
   • Service Principal

   sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true \
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configura il cluster per Azure Fence Agent.

   sudo pcs property set stonith-enabled=true
   sudo pcs property set stonith-timeout=900