Konfigurera Pacemaker på SUSE Linux Enterprise Server i Azure

Att använda SBD med Azure Shared Disk

Genom att använda Azure Shared Disks kan du montera samma disk på alla virtuella maskiner som ingår i klustret. Du kan hosta din SBD-enhet på den delade disken utan extra infrastrukturkrav.

Benefits

• Erbjuder ett inbyggt Azure delat blockenhetsalternativ för SBD utan att behöva ytterligare resurser.
• Virtuella maskiner kopplar den hanterade disken direkt, vilket minskar beroendet av ytterligare nätverksöverväganden.

Viktiga överväganden

• Du kan använda en Azure-delad disk med Premium SSD SKU som en SBD-enhet.
• Gå igenom listan över stödda operativsystem.
• SBD-enheter som använder en Azure premium delad disk stödjer lokalt redundant lagring (LRS) och zonredundant lagring (ZRS).
• Beroende på typen av distribution väljer du lämplig redundant lagring för en Delad Azure-disk som SBD-enhet.
  • En SBD-enhet som använder LRS för Azure premiumdelad disk (skuName - Premium_LRS) stöder endast distributioner i en tillgänglighetsuppsättning.
  • En SBD-enhet som använder ZRS för en Azure premium-delad disk (skuName - Premium_ZRS) rekommenderas för distributioner i tillgänglighetszoner.
• Den Delade Azure-disk som du använder för SBD-enheter behöver inte vara stor. Värdet maxShares avgör hur många klusternoder som kan använda den delade disken. Till exempel kan du använda diskstorlekarna P1 eller P2 för din SBD-enhet i ett kluster med två noder, till exempel SAP ASCS/ERS eller SAP Hana scale-up.
  • För kluster med fler än två noder, se det dokumenterade värdet för maxShares för den disk du har valt.
• Koppla inte en Azure shared disk SBD-enhet över olika Pacemaker-kluster.
• Om du använder flera SBD-enheter med delad Azure-disk kontrollerar du gränsen för ett maximalt antal datadiskar som kan anslutas till en virtuell dator.
• Mer information om begränsningar för delade Azure-diskar finns i avsnittet "Begränsningar" i dokumentationen om delade Azure-diskar.

Att använda SBD med iSCSI-mål

Denna lösning kräver att du hostar Internet Small Computer System Interface (iSCSI)-mål på minst en ytterligare virtuell maskin (VM).

Benefits

• Dessa iSCSI-värdservrar kan också hysa iSCSI-mål för andra Pacemaker-kluster i samma region.
• Om du redan använder dem lokalt kräver de inga förändringar i hur du använder Pacemaker-klustret.

Viktiga överväganden

• Du måste använda tre iSCSI-värdservrar för att ha högsta nivå av motståndskraft för ditt kluster.
  • Att endast använda en server skapar en enda felpunkt som hindrar ditt kluster från att utföra fencing om den servern ligger nere.
  • Pacemakern tillåter inte fäktning om du bara har två mål och ett är nere.
• iSCSI-målvärdsservrar måste finnas i samma region som dina kluster.
• Nätverksrouting mellan dina kluster och iSCSI:s värdservrar får inte passera några icke-redundanta nätverksenheter (som en Network Virtual Appliance).
  • Underhållshändelser och andra problem med nätverksenheter kan negativt påverka stabiliteten och tillförlitligheten i den övergripande klusterkonfigurationen.

Att använda Azure Fence Agent

Genom att använda Azure Fence Agent kan ditt kluster stänga noder genom att direkt anropa Azure-API:erna för att starta om misslyckade noder.

Benefits

• Inga extra resurser behövs.
• Hanterade identiteter eliminerar behovet av att hantera autentiseringsuppgifter.

Viktiga överväganden

• Använd Managed Identities för autentisering. Om du för närvarande använder en tjänsteprincip, uppdatera Azure Fence Agent från SPN till MSI.
• Azure fence-agenten kräver utgående anslutning till publika Azure-endpoints. Mer information och möjliga lösningar finns i Offentlig slutpunktsanslutning för virtuella datorer med standard-ILB.
• Övervaknings- och fäktningsåtgärderna deserialiseras. Om det finns en övervakningsåtgärd som körs längre och samtidiga fäktningshändelser blir det därför ingen fördröjning i klusterredundansväxlingen eftersom övervakningsåtgärden redan körs.

Distribuera en Azure delad disk för SBD

För att skapa och bifoga en Azure-delad disk med PowerShell, kör följande kommandon. Om du vill distribuera resurser genom att använda Azure CLI eller Azure-portalen, se Deploy a ZRS disk.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Använd iSCSI-mål

Skapa iSCSI-målservrar

1. Distribuera tre virtuella maskiner som körs på en stödd SLES OS-version. VM:arna behöver inte vara stora. VM-storlekar som Standard_E2s eller Standard_D2s är tillräckliga.

   Anmärkning

   Du behöver inte använda SLES för SAP Applications OS-avbildning för iSCSI-målservern. Du kan använda en standard SLES OS-avbildning istället. Supportlivscykeln varierar dock mellan olika os-produktversioner.

2. Installera de senaste uppdateringarna och starta om om det behövs.

   sudo zypper -n update
   

3. Installera iSCSI-targetpaketet.

   sudo zypper -n install targetcli-fb
   

4. Aktivera och starta iSCSI-tjänsten.

   sudo systemctl start targetcli
   sudo systemctl enable targetcli
   

Skapa iSCSI-mål

För varje kluster behöver du provisionera en iSCSI-disk på varje iSCSI-värdserver och sedan ge varje klusternod åtkomst till den disken. I detta exempel skapar du diskar för två olika kluster:

• ascsnw1: ASCS/ERS-klustret för NW1
• hdbnw1: HANA-databasklustret för NW1
• sap-cl1 och sap-cl2: Värdnamn för NW1 ASCS/ERS-klustrets noder
• sap-db1 och sap-db2: Värdnamn för NW1 HANA-klustrets noder

1. Skapa rotmappen för alla SBD-enheter.

   sudo mkdir /sbd
   

2. Skapa SBD-enheten för det första klustret (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Skapa SBD-enheten för det andra klustret (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Spara konfigurationen.

   sudo targetcli saveconfig
   

5. Kontrollera installationen.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Konfigurera Azure Fence Agent

1. Skapa identitet

   • Hanterad identitet
   • Tjänstens huvudnamn

   För att skapa en managed identity (MSI), skapa en systemtilldelad managed identity för varje VM i klustret. Användartilldelade hanterade identiteter stöds inte för närvarande.

2. Skapa en anpassad roll.

   Din identitet behöver behörigheter via Azure RBAC för att utföra fencing-åtgärder på dina virtuella datorer. För att uppfylla Least Privileged Access (LPA) säkerhetsmodellen, skapa en anpassad RBAC-roll.

   Använd följande definition för din roll och ersätt ditt prenumerations-ID(n) där det behövs:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Tilldela den anpassade rollen till dina identiteter.

   • Hanterad identitet
   • Tjänstens huvudnamn

   För varje VM i ditt kluster, tilldela dess hanterade identitet till den anpassade rollen "Linux Fence Agent" för varje VM i klustret, inklusive sig själv. Detaljerade steg finns i Tilldela en hanterad identitet åtkomst till en resurs med hjälp av Azure Portal.

   Viktigt!

   Var medveten om att tilldelning och borttagning av auktorisation med hanterade identiteter kan skjutas upp tills den träder i kraft.

1. [A] Aktivera SBD-tjänsten.

   sudo systemctl enable sbd
   

2. [A] Aktivera mjukvaruvakthund.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Upptäck iSCSI:s enhets-ID.
   1. Bestäm monteringspunkt baserat på LUN-nummer

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Få iSCSI-enhets-ID från mount.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Skapa SBD-enheten.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Lägg till SBD-enheten i klustret.

   sudo crm cluster init --yes sbd -s /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617
   

6. [1] Ändra SBD-konfigurationsinställningar.

   sudo crm configure property stonith-timeout=210
   sudo crm configure property stonith-enabled=true
   # For the below command, 600 is the interval, and 120 is the timeout
   sudo crm configure monitor stonith-sbd 600:120
   sudo crm configure set stonith-sbd.pcmk_delay_max 15
   

7. [A] Validera SBD-konfigurationsfilen.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Aktivera de nödvändiga tjänsterna.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Aktivera mjukvaruvakthund.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Uppdatera InitiatorName för nod 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Uppdatera InitiatorName för nod 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Starta om iSCSI-tjänsterna.

   sudo systemctl restart iscsi iscsid
   

6. [A] Montera iSCSI-målen från alla iSCSI-värdservrar.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Upptäck iSCSI:s enhets-ID:n.
   1. Bestäm iSCSI-monteringspunkterna.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Få iSCSI-enhets-ID:n.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Skapa SBD-enheterna.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Lägg till SBD-enheterna i klustret.

   sudo crm cluster init --yes sbd \
      -s /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 \
      -s /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff \
      -s /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5
   

10. [1] Ändra SBD-konfigurationsinställningar.

    sudo crm configure property stonith-timeout=210
    sudo crm configure property stonith-enabled=true
    # For the below command, 600 is the interval, and 120 is the timeout
    sudo crm configure monitor stonith-sbd 600:120
    sudo crm configure set stonith-sbd.pcmk_delay_max 15
    

11. [A] Validera SBD-konfigurationsfilen.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configure Azure Fence Agent.

   Anmärkning

   När du använder Azure government cloud måste du ange alternativet cloud= när du konfigurerar Azure Fence Agent. Till exempel cloud=usgov för Azure US Government-molnet.

   • Hanterad identitet
   • Tjänstens huvudnamn

   sudo crm configure primitive rsc_st_azure stonith:fence_azure_arm params msi=true \ 
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Konfigurera klustret för Azure Fence Agent.

   sudo crm configure property stonith-enabled=true
   sudo crm configure property stonith-timeout=900