Pacemaker instellen op SUSE Linux Enterprise Server in Azure

Gebruik van SBD met Azure Shared Disk

Door gebruik te maken van Azure Shared Disks kun je dezelfde schijf mounten op alle virtuele machines die deel uitmaken van de cluster. Je kunt je SBD-apparaat op die gedeelde schijf hosten zonder extra infrastructuurvereisten.

Voordelen

• Biedt een native Azure shared block device-optie voor SBD zonder extra middelen te vereisen.
• Virtuele machines verbinden de beheerde schijf direct, waardoor de afhankelijkheid van extra netwerkoverwegingen wordt verminderd.

Belangrijke overwegingen

• Je kunt een gedeelde Azure-schijf met de Premium SSD SKU als SBD-apparaat gebruiken.
• Bekijk de lijst met ondersteunde besturingssystemen.
• SBD-apparaten die een Azure premium gedeelde schijf gebruiken, ondersteunen lokaal redundante opslag (LRS) en zone-redundante opslag (ZRS).
• Afhankelijk van het type implementatie, kiest u de juiste redundante opslag voor een gedeelde Azure-schijf als uw SBD-apparaat.
  • Een SBD-apparaat dat LRS gebruikt voor Azure premium gedeelde schijf (skuName - Premium_LRS) ondersteunt alleen implementaties in een beschikbaarheidsset.
  • Een SBD-apparaat dat ZRS gebruikt voor een Azure premium gedeelde schijf (skuName - Premium_ZRS) wordt aanbevolen voor implementaties in beschikbaarheidszones.
• De gedeelde Azure-schijf die u voor SBD-apparaten gebruikt, hoeft niet groot te zijn. De waarde maxShares bepaalt hoeveel clusterknooppunten de gedeelde schijf kunnen gebruiken. Je kunt bijvoorbeeld P1- of P2-schijfgroottes gebruiken voor je SBD-apparaat op een twee-knoop cluster zoals SAP ASCS/ERS of SAP HANA scale-up.
  • Voor clusters met meer dan twee knooppunten, raadpleeg de gedocumenteerde maxShares voor je geselecteerde schijf.
• Verbind geen Azure shared disk SBD-apparaat aan verschillende Pacemaker-clusters.
• Als u meerdere gedeelde Azure-schijf-SBD-apparaten gebruikt, controleert u de limiet voor een maximum aantal gegevensschijven dat kan worden gekoppeld aan een virtuele machine.
• Raadpleeg de sectie Beperkingen van de documentatie over gedeelde Azure-schijven voor meer informatie over beperkingen voor gedeelde Azure-schijven.

SBD gebruiken met iSCSI-doelen

Deze oplossing vereist dat je Internet Small Computer System Interface (iSCSI)-doelen host op ten minste één extra virtuele machine (VM).

Voordelen

• Deze iSCSI-hostservers kunnen ook iSCSI-doelen hosten voor andere Pacemaker-clusters in dezelfde regio.
• Als je ze al on-premises gebruikt, vereisen ze geen aanpassingen aan hoe je de Pacemaker-cluster bedient.

Belangrijke overwegingen

• Je moet drie iSCSI-hostservers gebruiken om het hoogste niveau van veerkracht voor je cluster te hebben.
  • Het gebruik van slechts één server creëert één storingspunt, waardoor je cluster geen fencing kan uitvoeren als die server uitvalt.
  • Pacemaker staat geen fencing toe als je slechts twee nodes hebt en er één is uitgevallen.
• iSCSI-doelhostservers moeten zich in dezelfde regio bevinden als je clusters.
• Netwerkroutering tussen je clusters en iSCSI-hostservers mag niet over niet-redundante netwerkapparaten (zoals een Network Virtual Appliance) lopen.
  • Onderhoudsgebeurtenissen en andere problemen met netwerkapparaten kunnen de stabiliteit en betrouwbaarheid van de totale clusterconfiguratie negatief beïnvloeden.

Gebruik van de Azure Fence Agent

Door gebruik te maken van de Azure Fence Agent kan je cluster knooppunten afsluiten door direct de Azure API's aan te roepen om mislukte knooppunten opnieuw op te starten.

Voordelen

• Geen extra middelen nodig.
• Beheerde identiteiten verwijderen alle inloggegevensonderhoud.

Belangrijke overwegingen

• Gebruik Managed Identities voor authenticatie. Als je momenteel een service principal gebruikt, update dan de Azure Fence Agent van SPN naar MSI.
• De Azure fence agent vereist uitgaande connectiviteit naar publieke Azure-eindpunten. Zie Openbare eindpuntconnectiviteit voor VM's met behulp van standaard-ILB voor meer informatie en mogelijke oplossingen.
• De bewakings- en afschermingsbewerkingen worden gedeserialiseerd. Als er dus een langduriger actieve bewakingsbewerking en een gelijktijdige fencing-gebeurtenis is, is er geen vertraging voor de cluster-overgang omdat de bewakingsbewerking al wordt uitgevoerd.

Deploy een gedeelde Azure Disk voor SBD

Om een gedeelde Azure-schijf te maken en te koppelen met PowerShell, voer je de volgende commando's uit. Als u resources wilt implementeren met behulp van de Azure CLI of Azure Portal, raadpleegt u Een ZRS-schijf implementeren.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Gebruik iSCSI-doelen

iSCSI-targethostservers configureren

1. Deploy drie virtuele machines die draaien op een ondersteunde SLES OS-versie. De VM's hoeven niet groot te zijn. VM-groottes zoals Standard_E2s of Standard_D2s zijn voldoende.

   Notitie

   Je hoeft SLES niet te gebruiken voor de SAP Applications OS-image voor de iSCSI-doelserver. Je kunt in plaats daarvan een standaard SLES OS-image gebruiken. De levenscyclus van de ondersteuning varieert echter tussen verschillende productversies van het besturingssysteem.

2. Installeer de nieuwste updates en start indien nodig opnieuw op.

   sudo zypper -n update
   

3. Installeer het iSCSI target pakket.

   sudo zypper -n install targetcli-fb
   

4. Activeer en start de iSCSI-service.

   sudo systemctl start targetcli
   sudo systemctl enable targetcli
   

Maak iSCSI-doelen aan

Voor elke cluster moet je een iSCSI-schijf provisioneren op elke iSCSI-hostserver, en vervolgens toegang geven aan elke clusterknoop op die schijf. In dit voorbeeld maak je schijven aan voor twee verschillende clusters:

• ascsnw1: De ASCS/ERS-cluster voor NW1
• hdbnw1: De HANA Database-cluster voor NW1
• sap-cl1 en sap-cl2: Gastnamen voor de NW1 ASCS/ERS clusterknooppunten
• sap-db1 en sap-db2: Gastnamen voor de NW1 HANA-clusterknooppunten

1. Maak de hoofdmap voor alle SBD-apparaten.

   sudo mkdir /sbd
   

2. Maak het SBD-apparaat aan voor de eerste cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Maak het SBD-apparaat aan voor de tweede cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Sla de configuratie op.

   sudo targetcli saveconfig
   

5. Controleer de opstelling.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Azure Fence Agent configureren

1. Identiteit creëren

   • Beheerde identiteit
   • Service-principal

   Om een beheerde identiteit (MSI) te creëren, maak je voor elke VM in het cluster een door het systeem toegewezen beheerde identiteit . Door gebruikers toegewezen beheerde identiteiten worden op dit moment niet ondersteund.

2. Maak een aangepaste rol aan.

   Je identiteit heeft via Azure RBAC machtigingen nodig om fencingacties op je VM's uit te voeren. Om te voldoen aan het Least Privileged Access (LPA) Security Model, maak je een aangepaste RBAC-rol aan.

   Gebruik de volgende definitie voor je functie, waarbij je je abonnements-ID(s) vervangt waar nodig:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Wijs de aangepaste rol toe aan uw identiteiten.

   • Beheerde identiteit
   • Service-principal

   Voor elke VM in je cluster wijs je de beheerde identiteit toe aan de aangepaste rol "Linux Fence Agent" voor elke VM in de cluster, inclusief zichzelf. Zie Een beheerde identiteit toegang tot een resource toewijzen met behulp van Azure Portal voor gedetailleerde stappen.

   Belangrijk

   Wees je ervan bewust dat de toewijzing en verwijdering van autorisatie met beheerde identiteiten kan worden uitgesteld tot deze effectief is.

1. [A] Activeer de SBD-dienst.

   sudo systemctl enable sbd
   

2. [A] Schakel de softwarewaakhond in.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Ontdek de iSCSI-apparaat-ID.
   1. Bepaal het mountpunt op basis van het LUN-nummer

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Haal de iSCSI-apparaat-ID van mount.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Maak het SBD-apparaat.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Voeg het SBD-apparaat toe aan de cluster.

   sudo crm cluster init --yes sbd -s /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617
   

6. [1] Verander de SBD-configuratie-instellingen.

   sudo crm configure property stonith-timeout=210
   sudo crm configure property stonith-enabled=true
   # For the below command, 600 is the interval, and 120 is the timeout
   sudo crm configure monitor stonith-sbd 600:120
   sudo crm configure set stonith-sbd.pcmk_delay_max 15
   

7. [A] Valideer SBD-configuratiebestand.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Schakel de benodigde diensten in.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Schakel de softwarewaakhond in.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Werk de InitiatorName voor knooppunt 1 bij.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Werk InitiatorName voor knooppunt 2 bij.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Herstart de iSCSI-diensten.

   sudo systemctl restart iscsi iscsid
   

6. [A] Plaats de iSCSI-doelen vanaf alle iSCSI-hostservers.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Ontdek de iSCSI-apparaat-ID's.
   1. Bepaal de iSCSI-mountpunten.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Haal de iSCSI-apparaat-ID's op.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Maak de SBD-apparaten.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Voeg de SBD-apparaten toe aan de cluster.

   sudo crm cluster init --yes sbd \
      -s /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 \
      -s /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff \
      -s /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5
   

10. [1] Verander de SBD-configuratie-instellingen.

    sudo crm configure property stonith-timeout=210
    sudo crm configure property stonith-enabled=true
    # For the below command, 600 is the interval, and 120 is the timeout
    sudo crm configure monitor stonith-sbd 600:120
    sudo crm configure set stonith-sbd.pcmk_delay_max 15
    

11. [A] Valideer SBD-configuratiebestand.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configureer de Azure-fence-agent.

   Notitie

   Bij het gebruik van Azure government cloud moet je de cloud= optie specificeren bij het configureren van de Azure Fence Agent. Bijvoorbeeld cloud=usgov voor de Azure US Government-cloud.

   • Beheerde identiteit
   • Service-principal

   sudo crm configure primitive rsc_st_azure stonith:fence_azure_arm params msi=true \ 
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configureer de cluster voor Azure Fence Agent.

   sudo crm configure property stonith-enabled=true
   sudo crm configure property stonith-timeout=900