Einrichten von Pacemaker unter Red Hat Enterprise Linux in Azure

Verwendung von SBD mit Azure Shared Disk

Durch die Verwendung von Azure Shared Disks kann man dieselbe Festplatte auf allen virtuellen Maschinen, die Teil des Clusters sind, mounten. Du kannst dein SBD-Gerät auf dieser gemeinsamen Festplatte hosten, ohne zusätzliche Infrastrukturanforderungen.

Vorteile

• Bietet eine native Azure-Shared-Block-Geräte-Option für SBD ohne zusätzliche Ressourcen.
• Virtuelle Maschinen verbinden die verwaltete Festplatte direkt und verringern so die Abhängigkeit von zusätzlichen Netzwerküberlegungen.

Wichtige Überlegungen

• Du kannst eine Azure-Shared-Festplatte mit der Premium SSD SKU als SBD-Gerät verwenden.
• Überprüfen Sie die Liste der unterstützten Betriebssysteme.
• SBD-Geräte, die eine Azure Premium-Shared-Festplatte verwenden, unterstützen lokal redundanten Speicher (LRS) und zonenredundanten Speicher (ZRS).
• Wählen Sie abhängig vom typ Ihrer Bereitstellung den geeigneten redundanten Speicher für einen Azure freigegebenen Datenträger als SBD-Gerät aus.
  • Ein SBD-Gerät, das LRS für Azure Premium Shared Disk (skuName - Premium_LRS) verwendet, unterstützt nur Bereitstellungen in einer Verfügbarkeitsgruppe.
  • Ein SBD-Gerät, das ZRS für eine Azure Premium-Shared-Festplatte (skuName - Premium_ZRS) verwendet, wird für Bereitstellungen in Verfügbarkeitszonen empfohlen.
• Der Azure freigegebene Datenträger, den Sie für SBD-Geräte verwenden, muss nicht groß sein. Der Wert maxShares bestimmt, von wie vielen Clusterknoten der freigegebene Datenträger verwendet werden kann. Zum Beispiel können Sie für Ihr SBD-Gerät in einem Zwei-Knoten-Cluster wie SAP ASCS/ERS oder SAP HANA Scale-up P1- oder P2-Datenträgergrößen verwenden.
  • Für Cluster mit mehr als zwei Knoten beziehen Sie sich auf den dokumentierten Wert für maxShares für die ausgewählte Festplatte.
• Verbinden Sie kein Azure-Shared-Disk-SBD-Gerät über verschiedene Pacemaker-Cluster.
• Wenn Sie mehrere SBD-Geräte mit freigegebenem Azure-Datenträger verwenden, überprüfen Sie den Grenzwert für die maximale Anzahl von Datenträgern, die an eine VM angefügt werden können.
• Weitere Informationen zu Einschränkungen für Azure freigegebene Datenträger erhalten Sie, indem Sie den Abschnitt "Einschränkungen" in der Azure-Dokumentation zu freigegebenen Datenträgern sorgfältig überprüfen.

Verwendung von SBD mit iSCSI-Zielen

Diese Lösung erfordert, dass Sie Internet Small Computer System Interface (iSCSI)-Ziele auf mindestens einer weiteren virtuellen Maschine (VM) hosten.

Vorteile

• Diese iSCSI-Host-Server können auch iSCSI-Ziele für andere Pacemaker-Cluster in derselben Region hosten.
• Wenn du sie bereits vor Ort nutzt, erfordern sie keine Änderungen an der Steuerung des Pacemaker-Clusters.

Wichtige Überlegungen

• Du musst drei iSCSI-Host-Server nutzen, um die höchste Resilienz für deinen Cluster zu erreichen.
  • Die Verwendung von nur einem Server führt zu einem Single Point of Failure, der verhindert, dass Ihr Cluster Fencing durchführen kann, wenn dieser Server ausfällt.
  • Pacemaker erlaubt kein Fencing, wenn Sie nur zwei Ziele haben und eines ausgefallen ist.
• iSCSI-Zielhost-Server müssen sich in derselben Region wie deine Cluster befinden.
• Netzwerkrouting zwischen Ihren Clustern und iSCSI-Hostservern darf keine nicht-redundanten Netzwerkgeräte (wie eine Network Virtual Appliance) durchlaufen.
  • Wartungsereignisse und andere Probleme mit Netzwerkgeräten können die Stabilität und Zuverlässigkeit der gesamten Clusterkonfiguration negativ beeinflussen.

Verwendung des Azure Fence Agents

Mit dem Azure Fence Agent kann Ihr Cluster Knoten isolieren, indem es die Azure-APIs direkt aufruft, um ausgefallene Knoten neu zu starten.

Vorteile

• Keine zusätzlichen Ressourcen nötig.
• Verwaltete Identitäten machen jede Pflege von Anmeldeinformationen überflüssig.

Wichtige Überlegungen

• Verwenden Sie Managed Idententities zur Authentifizierung. Wenn Sie derzeit einen Service Principal verwenden, aktualisieren Sie den Azure Fence Agent von SPN auf MSI.
• Der Azure Fence Agent benötigt ausgehende Konnektivität zu öffentlichen Azure-Endpunkten. Weitere Informationen sowie mögliche Lösungen finden Sie unter Konnektivität öffentlicher Endpunkte für VMs, die Azure Load Balancer Standard in SAP-Hochverfügbarkeitsszenarien verwenden.
• Die Überwachungs- und Fencingvorgänge sind deserialisiert. Das bedeutet: Wenn ein länger andauernder Überwachungsvorgang und ein gleichzeitiges Fencingereignis vorliegen, kommt es zu keiner Verzögerung beim Clusterfailover, da der Überwachungsvorgang bereits ausgeführt wird.

Bereitstellen eines Azure Shared Disk für SBD

Um eine gemeinsam genutzte Azure-Festplatte mit PowerShell zu erstellen und anzuhängen, führen Sie die folgenden Befehle aus. Wenn Sie Ressourcen über die Azure CLI oder das Azure-Portal bereitstellen möchten, siehe Deploy a ZRS Disk.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Verwenden Sie iSCSI-Ziele

Baue iSCSI-Zielhost-Server

1. Bereite drei virtuelle Maschinen bereit, die auf einer unterstützten RHEL-OS-Version laufen. Die VMs müssen nicht groß sein. VM-Größen wie Standard_E2s oder Standard_D2s sind ausreichend.

   Hinweis

   Du musst RHEL nicht für SAP mit HA- und Update-Services verwenden, oder RHEL für das SAP Apps OS-Image für den iSCSI-Zielserver. Man kann stattdessen ein Standard-RHEL-OS-Image verwenden. Der Unterstützungslebenszyklus variiert jedoch zwischen verschiedenen Betriebssystem-Produktversionen.

2. Installiere die neuesten Updates und starte bei Bedarf neu.

   sudo dnf -y update
   

3. Installiere das iSCSI-Zielpaket.

   sudo dnf install -y targetcli
   

4. Aktivieren und starten Sie den iSCSI-Dienst.

   sudo systemctl start target
   sudo systemctl enable target
   

5. Öffne den Port in der Firewall.

   sudo firewall-cmd --add-port=3260/tcp --permanent
   sudo firewall-cmd --reload
   

Erstellen Sie iSCSI-Ziele

Für jeden Cluster musst du auf jedem iSCSI-Hostserver eine iSCSI-Festplatte bereitstellen und dann jedem Cluster-Knoten Zugriff auf diese Festplatte gewähren. In diesem Beispiel erstellen Sie Festplatten für zwei verschiedene Cluster:

• ascsnw1: Der ASCS/ERS-Cluster für NW1
• hdbnw1: Der HANA-Datenbankcluster für NW1
• sap-cl1 und sap-cl2: Hostnamen für die NW1 ASCS/ERS-Clusterknoten
• sap-db1 und sap-db2: Hostnamen für die NW1 HANA-Clusterknoten

1. Erstellen Sie den Stammordner für alle SBD-Geräte.

   sudo mkdir /sbd
   

2. Erstellen Sie das SBD-Gerät für den ersten Cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Erstellen Sie das SBD-Gerät für den zweiten Cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Speichern Sie die Konfiguration.

   sudo targetcli saveconfig
   

5. Überprüfe die Einrichtung.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Azure Fence Agent konfigurieren

1. Identität erstellen

   • Verwaltete Identität
   • Dienstprinzipal

   Um eine verwaltete Identität (MSI) zu erstellen, erstellen Sie für jede VM im Cluster eine systemzugewiesene verwaltete Identität . Benutzerzugewiesene verwaltete Identitäten werden derzeit nicht unterstützt.

2. Benutzerdefinierte Rolle erstellen

   Ihre Identität benötigt über Azure RBAC Berechtigungen, um Fencing-Aktionen für Ihre VMs durchzuführen. Um dem Least Privileged Access (LPA) Sicherheitsmodell zu entsprechen, erstellen Sie eine benutzerdefinierte RBAC-Rolle.

   Verwenden Sie für Ihre Rolle folgende Definition und ersetzen Sie bei Bedarf Ihre Abonnement-ID(s):

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Weise die benutzerdefinierte Rolle deinen Identitäten zu.

   • Verwaltete Identität
   • Dienstprinzipal

   Für jede VM in Ihrem Cluster weisen Sie deren verwaltete Identität der benutzerdefinierten Rolle "Linux Fence Agent" für jede VM im Cluster, einschließlich ihrer selbst, zu. Ausführliche Schritte finden Sie unter Zuweisen des Zugriffs einer verwalteten Identität auf eine Ressource über das Azure-Portal.

   Wichtig

   Beachten Sie, dass sich die Zuweisung und das Entfernen von Berechtigungen mit verwalteten Identitäten verzögern können, bis sie wirksam werden.

1. [A] Aktivieren Sie den SBD-Dienst.

   sudo systemctl enable sbd
   

2. [A] Software-Watchdog aktivieren.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Entdecken Sie die iSCSI-Geräte-ID.
   1. Bestimmen Sie den Mount-Punkt anhand der LUN-Nummer

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Rufen Sie die iSCSI-Geräte-ID von der Einbindung ab.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Erstellen Sie das SBD-Gerät.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Fügen Sie das SBD-Gerät dem Cluster hinzu.

   sudo pcs stonith create sbd fence_sbd devices=/dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 op monitor interval=600 timeout=15
   

6. [1] Ändern Sie die SBD-Konfigurationseinstellungen.

   sudo pcs property set stonith-timeout=210
   sudo pcs property set stonith-enabled=true
   

7. [A] SBD-Konfigurationsdatei validieren.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Aktivieren Sie die erforderlichen Dienste.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Software-Watchdog aktivieren.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Aktualisieren Sie den InitiatorName für Knoten 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Aktualisieren Sie den InitiatorName für Knoten 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Die iSCSI-Dienste neu starten.

   sudo systemctl restart iscsi iscsid
   

6. [A] Mounte die iSCSI-Ziele von allen iSCSI-Host-Servern.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Entdecken Sie die iSCSI-Geräte-IDs.
   1. Bestimmen Sie die iSCSI-Montagepunkte.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Hol dir die iSCSI-Geräte-IDs.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Erstellen Sie die SBD-Geräte.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Fügen Sie die SBD-Geräte dem Cluster hinzu.

   sudo pcs stonith create sbd fence_sbd \
      devices=/dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528,/dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff,/dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 \
      op monitor interval=600 timeout=120
   

10. [1] Ändern Sie die SBD-Konfigurationseinstellungen.

    sudo pcs property set stonith-timeout=210
    sudo pcs property set stonith-enabled=true
    

11. [A] SBD-Konfigurationsdatei validieren.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configure Azure Fence Agent.

   Hinweis

   Wenn Sie Azure Government Cloud verwenden, müssen Sie die cloud= Option bei der Konfiguration des Azure Fence Agents angeben. Beispiel: cloud=usgov für die Azure Government Cloud der US-Regierung.

   • Verwaltete Identität
   • Dienstprinzipal

   sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true \
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Konfigurieren Sie den Cluster für Azure Fence Agent.

   sudo pcs property set stonith-enabled=true
   sudo pcs property set stonith-timeout=900