Konfigurera Pacemaker på Red Hat Enterprise Linux i Azure

Att använda SBD med Azure Shared Disk

Genom att använda Azure Shared Disks kan du montera samma disk på alla virtuella maskiner som ingår i klustret. Du kan hosta din SBD-enhet på den delade disken utan extra infrastrukturkrav.

Fördelar

• Erbjuder ett inbyggt Azure delat blockenhetsalternativ för SBD utan att behöva ytterligare resurser.
• Virtuella maskiner kopplar den hanterade disken direkt, vilket minskar beroendet av ytterligare nätverksöverväganden.

Viktiga överväganden

• Du kan använda en Azure-delad disk med Premium SSD SKU som en SBD-enhet.
• Gå igenom listan över stödda operativsystem.
• SBD-enheter som använder en Azure premium delad disk stödjer lokalt redundant lagring (LRS) och zonredundant lagring (ZRS).
• Beroende på typen för distributionen väljer du lämplig redundant lagring för en Azure delad disk som SBD-enhet.
  • En SBD-enhet som använder LRS för Azure premiumdelad disk (skuName - Premium_LRS) stöder endast distributioner i en tillgänglighetsuppsättning.
  • En SBD-enhet som använder ZRS för en Azure premium-delad disk (skuName - Premium_ZRS) rekommenderas för distributioner i tillgänglighetszoner.
• Den Azure delade disk som du använder för SBD-enheter behöver inte vara stor. Värdet maxShares avgör hur många klusternoder som kan använda den delade disken. Till exempel kan du använda diskstorlekarna P1 eller P2 för den SBD-enhet du använder i ett kluster med två noder, till exempel SAP ASCS/ERS eller SAP Hana i uppskalningskonfiguration.
  • För kluster med fler än två noder, se det dokumenterade värdet för maxShares för den valda disken.
• Koppla inte en Azure shared disk SBD-enhet över olika Pacemaker-kluster.
• Om du använder flera Azure delade SBD-enheter kontrollerar du gränsen för ett maximalt antal datadiskar som kan anslutas till en virtuell dator.
• Mer information om begränsningar för Azure delade diskar finns i avsnittet Begränsningar i Azure dokumentation om delade diskar.

Att använda SBD med iSCSI-mål

Denna lösning kräver att du hostar Internet Small Computer System Interface (iSCSI)-mål på minst en ytterligare virtuell maskin (VM).

Fördelar

• Dessa iSCSI-värdservrar kan även vara värdar för iSCSI-mål för andra Pacemaker-kluster i samma region.
• Om du redan använder dem lokalt kräver de inga förändringar i hur du använder Pacemaker-klustret.

Viktiga överväganden

• Du måste använda tre iSCSI-värdservrar för att ha högsta nivå av motståndskraft för ditt kluster.
  • Att endast använda en server skapar en enda felkälla som förhindrar att ditt kluster kan utföra fencing om servern ligger nere.
  • Pacemakern tillåter inte fäktning om du bara har två mål och ett är nere.
• iSCSI-målvärdservrar måste vara placerade i samma region som era kluster.
• Nätverksrouting mellan dina kluster och iSCSI:s värdservrar får inte passera några icke-redundanta nätverksenheter (som en Network Virtual Appliance).
  • Underhållshändelser och andra problem med nätverksenheter kan negativt påverka stabiliteten och tillförlitligheten i den övergripande klusterkonfigurationen.

Att använda Azure Fence Agent

Genom att använda Azure Fence Agent kan ditt kluster stänga noder genom att direkt anropa Azure-API:erna för att starta om misslyckade noder.

Fördelar

• Inga extra resurser behövs.
• Managed Identities eliminerar behovet av underhåll av autentiseringsuppgifter.

Viktiga överväganden

• Använd Managed Identities för autentisering. Om du för närvarande använder en tjänsteprincip, uppdatera Azure Fence Agent från SPN till MSI.
• Azure fence-agenten kräver utgående anslutning till publika Azure-endpoints. Mer information och möjliga lösningar finns i Offentlig slutpunktsanslutning för virtuella datorer med standard-ILB.
• Övervaknings- och fäktningsåtgärderna deserialiseras. Om det finns en övervakningsåtgärd som körs längre och samtidiga fäktningshändelser blir det därför ingen fördröjning i klusterredundansväxlingen eftersom övervakningsåtgärden redan körs.

Distribuera en Azure delad disk för SBD

För att skapa och bifoga en Azure-delad disk med PowerShell, kör följande kommandon. Om du vill distribuera resurser genom att använda Azure CLI eller Azure-portalen, se Deploy a ZRS disk.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Använd iSCSI-mål

Skapa iSCSI-målservrar

1. Distribuera tre virtuella maskiner som körs på en stödd RHEL OS-version. VM:arna behöver inte vara stora. VM-storlekar som Standard_E2s eller Standard_D2s är tillräckliga.

   Anteckning

   Du behöver inte använda RHEL för SAP med HA- och uppdateringstjänster, eller RHEL för SAP Apps OS-image för iSCSI-målservern. Du kan använda en standard RHEL OS-avbildning istället. Supportlivscykeln varierar dock mellan olika os-produktversioner.

2. Installera de senaste uppdateringarna och starta om om det behövs.

   sudo dnf -y update
   

3. Installera iSCSI-targetpaketet.

   sudo dnf install -y targetcli
   

4. Aktivera och starta iSCSI-tjänsten.

   sudo systemctl start target
   sudo systemctl enable target
   

5. Öppna porten i brandväggen.

   sudo firewall-cmd --add-port=3260/tcp --permanent
   sudo firewall-cmd --reload
   

Skapa iSCSI-mål

För varje kluster behöver du provisionera en iSCSI-disk på varje iSCSI-värdserver och sedan ge varje klusternod åtkomst till den disken. I detta exempel skapar du diskar för två olika kluster:

• ascsnw1: ASCS/ERS-klustret för NW1
• hdbnw1: HANA-databasklustret för NW1
• sap-cl1 och sap-cl2: Värdnamn för NW1 ASCS/ERS-klustrets noder
• sap-db1 och sap-db2: Värdnamn för NW1 HANA-klustrets noder

1. Skapa rotmappen för alla SBD-enheter.

   sudo mkdir /sbd
   

2. Skapa SBD-enheten för det första klustret (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Skapa SBD-enheten för det andra klustret (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Spara konfigurationen.

   sudo targetcli saveconfig
   

5. Kontrollera installationen.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Konfigurera Azure Fence Agent

1. Skapa identitet

   • Hanterad identitet
   • Tjänstens huvudnamn

   För att skapa en managed identity (MSI), skapa en systemtilldelad managed identity för varje VM i klustret. Användartilldelade hanterade identiteter stöds inte för närvarande.

2. Skapa en anpassad roll.

   Din identitet behöver behörigheter via Azure RBAC för att utföra fencing-åtgärder på dina virtuella datorer. För att uppfylla Least Privileged Access (LPA) säkerhetsmodellen, skapa en anpassad RBAC-roll.

   Använd följande definition för din roll och ersätt ditt prenumerations-ID(n) där det behövs:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Tilldela den anpassade rollen till dina identiteter.

   • Hanterad identitet
   • Tjänstens huvudnamn

   För varje VM i ditt kluster, tilldela dess hanterade identitet till den anpassade rollen "Linux Fence Agent" för varje VM i klustret, inklusive sig själv. Detaljerade steg finns i Tilldela en hanterad identitet åtkomst till en resurs med hjälp av Azure Portal.

   Viktigt!

   Var medveten om att tilldelning och borttagning av auktorisation med hanterade identiteter kan skjutas upp tills den träder i kraft.

1. [A] Aktivera SBD-tjänsten.

   sudo systemctl enable sbd
   

2. [A] Aktivera mjukvaruvakthund.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Upptäck iSCSI:s enhets-ID.
   1. Bestäm monteringspunkt baserat på LUN-nummer

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Få iSCSI-enhets-ID från mount.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Skapa SBD-enheten.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Lägg till SBD-enheten i klustret.

   sudo pcs stonith create sbd fence_sbd devices=/dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 op monitor interval=600 timeout=15
   

6. [1] Ändra SBD-konfigurationsinställningar.

   sudo pcs property set stonith-timeout=210
   sudo pcs property set stonith-enabled=true
   

7. [A] Validera SBD-konfigurationsfilen.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Aktivera de nödvändiga tjänsterna.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Aktivera mjukvaruvakthund.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Uppdatera InitiatorName för nod 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Uppdatera InitiatorName för nod 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Starta om iSCSI-tjänsterna.

   sudo systemctl restart iscsi iscsid
   

6. [A] Montera iSCSI-målen från alla iSCSI-värdservrar.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Upptäck iSCSI:s enhets-ID:n.
   1. Bestäm iSCSI-monteringspunkterna.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Få iSCSI-enhets-ID:n.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Skapa SBD-enheterna.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Lägg till SBD-enheterna i klustret.

   sudo pcs stonith create sbd fence_sbd \
      devices=/dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528,/dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff,/dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 \
      op monitor interval=600 timeout=120
   

10. [1] Ändra SBD-konfigurationsinställningar.

    sudo pcs property set stonith-timeout=210
    sudo pcs property set stonith-enabled=true
    

11. [A] Validera SBD-konfigurationsfilen.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configure Azure Fence Agent.

   Anteckning

   När du använder Azure government cloud måste du ange alternativet cloud= när du konfigurerar Azure Fence Agent. Till exempel cloud=usgov för det Azure amerikanska myndighetsmolnet.

   • Hanterad identitet
   • Tjänstens huvudnamn

   sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true \
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Konfigurera klustret för Azure Fence Agent.

   sudo pcs property set stonith-enabled=true
   sudo pcs property set stonith-timeout=900