Konfigurowanie programu Pacemaker na serwerze SUSE Linux Enterprise Server w ramach platformy Azure

Używanie SBD z Azure Shared Disk

Korzystając z Azure Shared Disks, możesz zamontować ten sam dysk na wszystkich maszynach wirtualnych należących do klastra. Możesz hostować swoje urządzenie SBD na tym współdzielonym dysku bez dodatkowych wymagań infrastrukturalnych.

Benefits

• Zapewnia natywną opcję współdzielonego urządzenia blokowego Azure dla SBD bez konieczności korzystania z dodatkowych zasobów.
• Maszyny wirtualne bezpośrednio podłączają zarządzany dysk, zmniejszając zależność od dodatkowych aspektów sieciowych.

Istotne zagadnienia

• Możesz używać współużytkowanego dysku platformy Azure o jednostce SKU Premium SSD jako urządzenia SBD.
• Przeglądaj listę obsługiwanych systemów operacyjnych.
• Urządzenia SBD korzystające z Azure premium shared disk obsługują lokalnie redundantną pamięć masową (LRS) oraz magazynowanie strefowe redundantne (ZRS).
• W zależności od typu wdrożenia wybierz odpowiedni magazyn nadmiarowy dla dysku udostępnionego platformy Azure jako urządzenie SBD.
  • Urządzenie SBD, które używa usługi LRS dla współdzielonego dysku Azure Premium (skuName - Premium_LRS), obsługuje tylko wdrożenia w ramach zestawu dostępności.
  • W przypadku wdrożeń w strefach dostępności zalecane jest urządzenie SBD, które wykorzystuje ZRS we współdzielonym dysku Azure Premium (skuName - Premium_ZRS).
• Dysk udostępniony platformy Azure używany na potrzeby urządzeń SBD nie musi być duży. Wartość maxShares określa, ile węzłów klastra może używać dysku udostępnionego. Na przykład możesz użyć rozmiarów dysków P1 lub P2 dla swojego urządzenia SBD na klastrze dwuwęzłowym, takim jak SAP ASCS/ERS lub skalowanie SAP HANA.
  • W przypadku klastrów składających się z więcej niż dwóch węzłów zapoznaj się z udokumentowaną wartością parametru maxShares dla wybranego dysku.
• Nie podłączaj urządzenia SBD z Azure na różnych klastrach Pacemaker.
• Jeśli używasz wielu urządzeń SBD dysku udostępnionego platformy Azure, sprawdź limit maksymalnej liczby dysków danych, które można dołączyć do maszyny wirtualnej.
• Aby uzyskać więcej informacji na temat ograniczeń dotyczących dysków udostępnionych platformy Azure, dokładnie zapoznaj się z sekcją "Ograniczenia" w dokumentacji dysku udostępnionego platformy Azure.

Korzystanie z SBD z obiektami docelowymi iSCSI

To rozwiązanie wymaga hostowania celów Internet Small Computer System Interface (iSCSI) na co najmniej jednej dodatkowej maszynie wirtualnej (VM).

Benefits

• Te serwery iSCSI mogą również hostować cele iSCSI dla innych klastrów Pacemakerów w tym samym regionie.
• Jeśli już korzystasz z nich lokalnie, nie wymagają żadnych zmian w sposobie obsługi klastra Pacemaker.

Istotne zagadnienia

• Aby zapewnić najwyższy poziom odporności klastra, musisz użyć trzech serwerów iSCSI.
  • Korzystanie tylko z jednego serwera wprowadza pojedynczy punkt awarii, co uniemożliwia zastosowanie mechanizmu fencing w klastrze, jeśli ten serwer stanie się niedostępny.
  • Pacemaker nie pozwala na fencing, jeśli masz tylko dwa węzły, a jeden z nich jest niedostępny.
• Docelowe serwery iSCSI muszą znajdować się w tym samym regionie co Twoje klastry.
• Trasowanie sieci między klastrami a serwerami iSCSI nie może przechodzić przez żadne urządzenia sieciowe nieredundantne (takie jak Wirtualne Urządzenie Sieciowe).
  • Zdarzenia konserwacyjne i inne problemy z urządzeniami sieciowymi mogą negatywnie wpływać na stabilność i niezawodność całej konfiguracji klastra.

Korzystanie z agenta ogrodzenia Azure

Korzystając z agenta Azure Fence, klaster może ogrodzić węzły, wywołując bezpośrednio API Azure, aby ponownie uruchomić uszkodzone węzły.

Benefits

• Nie potrzeba dodatkowych zasobów.
• Tożsamości zarządzane eliminują konieczność zarządzania poświadczeniami.

Istotne zagadnienia

• Do uwierzytelniania używaj Managed Identities. Jeśli obecnie korzystasz z service principal, zaktualizuj agenta Azure Fence z SPN na MSI.
• Agent Azure fence wymaga łączności wychodzącej do publicznych punktów końcowych Azure. Aby uzyskać więcej informacji wraz z możliwymi rozwiązaniami, zobacz Łączność z publicznym punktem końcowym dla maszyn wirtualnych korzystających ze standardowego modułu równoważenia obciążenia.
• Operacje monitorowania i ogrodzenia są deserializowane. W związku z tym, jeśli istnieje już uruchomiona operacja monitorowania i jednoczesne zdarzenie zabezpieczenia, nie ma opóźnienia w przełączaniu awaryjnym klastra, ponieważ operacja monitorowania jest już uruchomiona.

Wdróż dysk współdzielony platformy Azure dla mechanizmu SBD

Aby utworzyć i dołączyć współdzielony dysk Azure za pomocą PowerShell, wykonaj następujące polecenia. Jeśli chcesz wdrażać zasoby za pomocą Azure CLI lub portalu Azure, zobacz Deploy a ZRS disk.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Użyj obiektów docelowych iSCSI

Skonfiguruj serwery hosta docelowego iSCSI

1. Wdroż trzy maszyny wirtualne działające na obsługiwanej wersji systemu operacyjnego SLES. Maszyny wirtualne nie muszą być duże. Rozmiary maszyn wirtualnych, takie jak Standard_E2s czy Standard_D2s, są wystarczające.

   Uwaga

   Nie musisz używać obrazu systemu operacyjnego SLES for SAP Applications dla serwera docelowego iSCSI. Możesz użyć standardowego obrazu systemu operacyjnego SLES. Jednak cykl życia wsparcia różni się między różnymi wersjami produktów systemu operacyjnego.

2. Zainstaluj najnowsze aktualizacje i zrestartuj komputer, jeśli trzeba.

   sudo zypper -n update
   

3. Zainstaluj pakiet docelowy iSCSI.

   sudo zypper -n install targetcli-fb
   

4. Włącz i uruchom usługę iSCSI.

   sudo systemctl start targetcli
   sudo systemctl enable targetcli
   

Tworzenie celów iSCSI

Dla każdego klastra musisz przydzielić dysk iSCSI na każdym serwerze iSCSI, a następnie przyzwolić każdemu węzłowi klastra dostęp do tego dysku. W tym przykładzie tworzysz dyski dla dwóch różnych klastrów:

• ascsnw1: Klaster ASCS/ERS dla NW1
• hdbnw1: Klaster baz danych HANA dla NW1
• sap-cl1 i sap-cl2: Nazwy hostów dla węzłów klastrowych NW1 ASCS/ERS
• sap-db1 i sap-db2: Nazwy hostów dla węzłów klastrowych NW1 HANA

1. Utwórz folder główny dla wszystkich urządzeń SBD.

   sudo mkdir /sbd
   

2. Utwórz urządzenie SBD dla pierwszego klastra (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Utwórz urządzenie SBD dla drugiego klastra (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Zapisz konfigurację.

   sudo targetcli saveconfig
   

5. Sprawdź konfigurację.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Skonfiguruj agenta Fence dla platformy Azure

1. Tworzenie tożsamości

   • Tożsamość zarządzana
   • Tożsamość usługi

   Aby utworzyć zarządzaną tożsamość (MSI), należy utworzyć systemowo przypisaną zarządzaną tożsamość dla każdej maszyny wirtualnej w klastrze. Obecnie nie są obsługiwane tożsamości zarządzane przypisane przez użytkownika.

2. Stwórz niestandardową rolę.

   Twoja tożsamość potrzebuje uprawnień w usłudze Azure RBAC, aby wykonywać operacje odgradzania względem Twoich maszyn wirtualnych. Aby spełnić wymagania Modelu Bezpieczeństwa Najmniej Uprzywilejowanego Dostępu (LPA), stwórz niestandardową rolę RBAC.

   Użyj poniższej definicji swojej roli, zastępując identyfikator(y) subskrypcji tam, gdzie jest to potrzebne:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Przypisz własną rolę do swoich tożsamości.

   • Tożsamość zarządzana
   • Tożsamość usługi

   Dla każdej maszyny wirtualnej w klastrze przypisz jej zarządzaną tożsamość do niestandardowej roli "Linux Fence Agent" dla każdej maszyny wirtualnej w klastrze, w tym dla niej samej. Aby uzyskać szczegółowe instrukcje, zobacz Przypisywanie dostępu tożsamości zarządzanej do zasobu przy użyciu witryny Azure Portal.

   Ważne

   Pamiętaj, że przydzielenie i usunięcie autoryzacji z tożsamościami zarządzanymi może zostać opóźnione do momentu wejścia w życie.

1. [A] Włącz usługę SBD.

   sudo systemctl enable sbd
   

2. [A] Włącz system nadzorujący oprogramowanie.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Odkryj identyfikator urządzenia iSCSI.
   1. Określ punkt montażu na podstawie numeru LUN

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Pobierz identyfikator urządzenia iSCSI z mount.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Tworzenie urządzenia SBD.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Dodaj urządzenie SBD do klastra.

   sudo crm cluster init --yes sbd -s /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617
   

6. [1] Zmień ustawienia konfiguracji SBD.

   sudo crm configure property stonith-timeout=210
   sudo crm configure property stonith-enabled=true
   # For the below command, 600 is the interval, and 120 is the timeout
   sudo crm configure monitor stonith-sbd 600:120
   sudo crm configure set stonith-sbd.pcmk_delay_max 15
   

7. [A] Zweryfikowaj plik konfiguracyjny SBD.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Włącz wymagane usługi.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Włącz system nadzorujący oprogramowanie.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Zaktualizuj InitiatorName dla węzła 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Zaktualizuj InitiatorName dla węzła 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Zrestartuj usługi iSCSI.

   sudo systemctl restart iscsi iscsid
   

6. [A] Zamontuj cele iSCSI ze wszystkich serwerów hostów iSCSI.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Odkryj identyfikatory urządzeń iSCSI.
   1. Określ punkty montażowe iSCSI.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Zdobądź identyfikatory urządzeń iSCSI.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Stwórz urządzenia SBD.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Dodaj urządzenia SBD do klastra.

   sudo crm cluster init --yes sbd \
      -s /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 \
      -s /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff \
      -s /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5
   

10. [1] Zmień ustawienia konfiguracji SBD.

    sudo crm configure property stonith-timeout=210
    sudo crm configure property stonith-enabled=true
    # For the below command, 600 is the interval, and 120 is the timeout
    sudo crm configure monitor stonith-sbd 600:120
    sudo crm configure set stonith-sbd.pcmk_delay_max 15
    

11. [A] Zweryfikowaj plik konfiguracyjny SBD.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configure Azure Fence Agent.

   Uwaga

   Podczas korzystania z chmury Azure Government należy określić opcję cloud= podczas konfigurowania agenta Azure Fence Agent. Na przykład cloud=usgov dla chmury Azure dla instytucji rządowych USA.

   • Tożsamość zarządzana
   • Tożsamość usługi

   sudo crm configure primitive rsc_st_azure stonith:fence_azure_arm params msi=true \ 
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Skonfiguruj klaster dla agenta ogrodzenia platformy Azure.

   sudo crm configure property stonith-enabled=true
   sudo crm configure property stonith-timeout=900