Pacemaker instellen op Red Hat Enterprise Linux in Azure

Gebruik van SBD met Azure Shared Disk

Door gebruik te maken van Azure Shared Disks kun je dezelfde schijf mounten op alle virtuele machines die deel uitmaken van de cluster. Je kunt je SBD-apparaat op die gedeelde schijf hosten zonder extra infrastructuurvereisten.

Voordelen

• Biedt een native Azure shared block device-optie voor SBD zonder extra middelen te vereisen.
• Virtuele machines verbinden de beheerde schijf direct, waardoor de afhankelijkheid van extra netwerkoverwegingen wordt verminderd.

Belangrijke overwegingen

• Je kunt een gedeelde Azure-schijf met de Premium SSD SKU als SBD-apparaat gebruiken.
• Bekijk de lijst met ondersteunde besturingssystemen.
• SBD-apparaten die een Azure premium gedeelde schijf gebruiken, ondersteunen lokaal redundante opslag (LRS) en zone-redundante opslag (ZRS).
• Afhankelijk van het type van uw implementatie kiest u de juiste redundante opslag voor een Azure gedeelde schijf als uw SBD-apparaat.
  • Een SBD-apparaat dat LRS gebruikt voor Azure premium gedeelde schijf (skuName - Premium_LRS) ondersteunt alleen implementaties in een beschikbaarheidsset.
  • Een SBD-apparaat dat ZRS gebruikt voor een Azure premium gedeelde schijf (skuName - Premium_ZRS) wordt aanbevolen voor implementaties in beschikbaarheidszones.
• De Azure gedeelde schijf die u voor SBD-apparaten gebruikt, hoeft niet groot te zijn. De waarde maxShares bepaalt hoeveel clusterknooppunten de gedeelde schijf kunnen gebruiken. Je kunt bijvoorbeeld P1- of P2-schijfgroottes gebruiken voor je SBD-apparaat op een twee-knoop cluster zoals SAP ASCS/ERS of SAP HANA scale-up.
  • Voor clusters met meer dan twee knooppunten, raadpleeg de gedocumenteerde maxShares voor je geselecteerde schijf.
• Verbind geen Azure shared disk SBD-apparaat aan verschillende Pacemaker-clusters.
• Als u meerdere Azure gedeelde schijf-SBD-apparaten gebruikt, controleert u op de limiet voor een maximum aantal gegevensschijven dat kan worden gekoppeld aan een virtuele machine.
• Raadpleeg de sectie "Beperkingen" in de Azure documentatie over gedeelde schijven voor meer informatie over de beperkingen van gedeelde schijven.

SBD gebruiken met iSCSI-doelen

Deze oplossing vereist dat je Internet Small Computer System Interface (iSCSI)-doelen host op ten minste één extra virtuele machine (VM).

Voordelen

• Deze iSCSI-hostservers kunnen ook iSCSI-doelen hosten voor andere Pacemaker-clusters in dezelfde regio.
• Als je ze al on-premises gebruikt, vereisen ze geen aanpassingen aan hoe je de Pacemaker-cluster bedient.

Belangrijke overwegingen

• Je moet drie iSCSI-hostservers gebruiken om het hoogste niveau van veerkracht voor je cluster te hebben.
  • Het gebruik van slechts één server introduceert een enkel punt van falen dat voorkomt dat je cluster kan afschermen als die uitvalt.
  • Pacemaker staat geen fencing toe als je slechts twee knooppunten hebt en er één is uitgevallen.
• iSCSI-doelhostservers moeten zich in dezelfde regio bevinden als je clusters.
• Netwerkroutering tussen je clusters en iSCSI-hostservers mag niet over niet-redundante netwerkapparaten (zoals een Network Virtual Appliance) lopen.
  • Onderhoudsgebeurtenissen en andere problemen met netwerkapparaten kunnen de stabiliteit en betrouwbaarheid van de totale clusterconfiguratie negatief beïnvloeden.

Gebruik van de Azure Fence Agent

Door gebruik te maken van de Azure Fence Agent kan je cluster knooppunten afsluiten door direct de Azure API's aan te roepen om mislukte knooppunten opnieuw op te starten.

Voordelen

• Geen extra middelen nodig.
• Beheerde identiteiten verwijderen alle inloggegevensonderhoud.

Belangrijke overwegingen

• Gebruik Managed Identities voor authenticatie. Als je momenteel een service principal gebruikt, update dan de Azure Fence Agent van SPN naar MSI.
• De Azure fence agent vereist uitgaande connectiviteit naar publieke Azure-eindpunten. Zie Openbare eindpuntconnectiviteit voor VM's met behulp van standaard-ILB voor meer informatie en mogelijke oplossingen.
• De bewakings- en afschermingsbewerkingen worden gedeserialiseerd. Als er dus een langduriger actieve bewakingsbewerking en een gelijktijdige fencing-gebeurtenis is, is er geen vertraging voor de cluster-overgang omdat de bewakingsbewerking al wordt uitgevoerd.

Deploy een gedeelde Azure Disk voor SBD

Om een gedeelde Azure-schijf te maken en te koppelen met PowerShell, voer je de volgende commando's uit. Als u resources wilt implementeren met behulp van de Azure CLI of Azure Portal, raadpleegt u Een ZRS-schijf implementeren.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Gebruik iSCSI-doelen

iSCSI-targethostservers configureren

1. Zet drie virtuele machines uit die draaien op een ondersteunde RHEL-OS-versie. De VM's hoeven niet groot te zijn. VM-groottes zoals Standard_E2s of Standard_D2s zijn voldoende.

   Notitie

   Je hoeft RHEL niet te gebruiken voor SAP met HA en Update Services, of RHEL voor SAP Apps OS-image voor de iSCSI-doelserver. Je kunt in plaats daarvan een standaard RHEL OS-image gebruiken. De levenscyclus van de ondersteuning varieert echter tussen verschillende productversies van het besturingssysteem.

2. Installeer de nieuwste updates en start indien nodig opnieuw op.

   sudo dnf -y update
   

3. Installeer het iSCSI target pakket.

   sudo dnf install -y targetcli
   

4. Activeer en start de iSCSI-service.

   sudo systemctl start target
   sudo systemctl enable target
   

5. Open de poort in de firewall.

   sudo firewall-cmd --add-port=3260/tcp --permanent
   sudo firewall-cmd --reload
   

Maak iSCSI-doelen aan

Voor elke cluster moet je een iSCSI-schijf provisioneren op elke iSCSI-hostserver, en vervolgens toegang geven aan elke clusterknoop op die schijf. In dit voorbeeld maak je schijven aan voor twee verschillende clusters:

• ascsnw1: De ASCS/ERS-cluster voor NW1
• hdbnw1: De HANA Database-cluster voor NW1
• sap-cl1 en sap-cl2: Gastnamen voor de NW1 ASCS/ERS clusterknooppunten
• sap-db1 en sap-db2: Gastnamen voor de NW1 HANA-clusterknooppunten

1. Maak de hoofdmap voor alle SBD-apparaten.

   sudo mkdir /sbd
   

2. Maak het SBD-apparaat aan voor de eerste cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Maak het SBD-apparaat aan voor de tweede cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Sla de configuratie op.

   sudo targetcli saveconfig
   

5. Controleer de opstelling.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Azure Fence Agent configureren

1. Identiteit creëren

   • beheerde identiteit
   • Serviceprincipal

   Om een beheerde identiteit (MSI) te creëren, maak je voor elke VM in het cluster een door het systeem toegewezen beheerde identiteit . Door gebruikers toegewezen beheerde identiteiten worden op dit moment niet ondersteund.

2. Maak een aangepaste rol aan.

   Je identiteit heeft via Azure RBAC machtigingen nodig om fencingacties op je VM's uit te voeren. Om te voldoen aan het Least Privileged Access (LPA) Security Model, maak je een aangepaste RBAC-rol aan.

   Gebruik de volgende definitie voor je functie, waarbij je je abonnements-ID(s) vervangt waar nodig:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Wijs de aangepaste rol toe aan uw identiteiten.

   • beheerde identiteit
   • Serviceprincipal

   Voor elke VM in je cluster wijs je de beheerde identiteit toe aan de aangepaste rol "Linux Fence Agent" voor elke VM in de cluster, inclusief zichzelf. Zie Een beheerde identiteit toegang tot een resource toewijzen met behulp van Azure Portal voor gedetailleerde stappen.

   Belangrijk

   Wees je ervan bewust dat de toewijzing en verwijdering van autorisatie met beheerde identiteiten kan worden uitgesteld tot deze effectief is.

1. [A] Activeer de SBD-dienst.

   sudo systemctl enable sbd
   

2. [A] Schakel de softwarewaakhond in.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Ontdek de iSCSI-apparaat-ID.
   1. Bepaal het mountpunt op basis van het LUN-nummer

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Haal de iSCSI-apparaat-ID van mount.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Maak het SBD-apparaat.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Voeg het SBD-apparaat toe aan de cluster.

   sudo pcs stonith create sbd fence_sbd devices=/dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 op monitor interval=600 timeout=15
   

6. [1] Verander de SBD-configuratie-instellingen.

   sudo pcs property set stonith-timeout=210
   sudo pcs property set stonith-enabled=true
   

7. [A] Valideer SBD-configuratiebestand.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Schakel de benodigde diensten in.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Schakel de softwarewaakhond in.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Werk de InitiatorName voor knooppunt 1 bij.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Werk InitiatorName voor knooppunt 2 bij.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Herstart de iSCSI-diensten.

   sudo systemctl restart iscsi iscsid
   

6. [A] Plaats de iSCSI-doelen vanaf alle iSCSI-hostservers.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Ontdek de iSCSI-apparaat-ID's.
   1. Bepaal de iSCSI-mountpunten.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Haal de iSCSI-apparaat-ID's op.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Maak de SBD-apparaten.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Voeg de SBD-apparaten toe aan de cluster.

   sudo pcs stonith create sbd fence_sbd \
      devices=/dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528,/dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff,/dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 \
      op monitor interval=600 timeout=120
   

10. [1] Verander de SBD-configuratie-instellingen.

    sudo pcs property set stonith-timeout=210
    sudo pcs property set stonith-enabled=true
    

11. [A] Valideer SBD-configuratiebestand.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configureer de Azure-fence-agent.

   Notitie

   Bij het gebruik van Azure government cloud moet je de cloud= optie specificeren bij het configureren van de Azure Fence Agent. Bijvoorbeeld cloud=usgov voor de Azure cloud voor de Amerikaanse overheid.

   • beheerde identiteit
   • Serviceprincipal

   sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true \
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configureer de cluster voor Azure Fence Agent.

   sudo pcs property set stonith-enabled=true
   sudo pcs property set stonith-timeout=900