Configurar o Pacemaker no Azure em SUSE Linux Enterprise Server

Usar SBD com o Azure Shared Disk

Ao usar Azure Shared Disks, pode montar o mesmo disco em todas as máquinas virtuais que fazem parte do cluster. Podes alojar o teu dispositivo SBD nesse disco partilhado sem requisitos adicionais de infraestrutura.

Benefits

• Fornece uma opção nativa de dispositivo de bloco partilhado Azure para SBD sem necessidade de recursos adicionais.
• As máquinas virtuais anexam diretamente o disco gerido, reduzindo a dependência de considerações adicionais de rede.

Considerações importantes

• Podes usar um disco partilhado do Azure com o Premium SSD SKU como dispositivo SBD.
• Consulte a lista de sistemas operativos suportados.
• Os dispositivos SBD que utilizam um disco partilhado premium Azure suportam armazenamento localmente redundante (LRS) e armazenamento redundante por zona (ZRS).
• Dependendo do tipo de sua implantação, escolha o armazenamento redundante apropriado para um disco compartilhado do Azure como seu dispositivo SBD.
  • Um dispositivo SBD que utiliza LRS para o disco partilhado Premium do Azure (skuName - Premium_LRS) suporta apenas implementações num conjunto de disponibilidade.
  • Recomenda-se um dispositivo SBD que utilize ZRS para um disco partilhado premium Azure (skuName - Premium_ZRS) para implementações em zonas de disponibilidade.
• O disco compartilhado do Azure que você usa para dispositivos SBD não precisa ser grande. O valor maxShares determina quantos nós de cluster podem usar o disco compartilhado. Por exemplo, pode usar tamanhos de disco P1 ou P2 para o seu dispositivo SBD num cluster de dois nós, como SAP ASCS/ERS ou SAP HANA scale-up.
  • Para clusters com mais de dois nós, consulte o valor documentado de maxShares para o disco selecionado.
• Não anexe um dispositivo SBD de disco partilhado do Azure em diferentes clusters do Pacemaker.
• Se você usar vários dispositivos SBD de disco compartilhado do Azure, verifique o limite para um número máximo de discos de dados que podem ser anexados a uma VM.
• Para obter mais informações sobre limitações para discos compartilhados do Azure, examine cuidadosamente a seção "Limitações" da documentação de disco compartilhado do Azure.

Utilizar o SBD com destinos iSCSI

Esta solução exige que aloje alvos de Internet Small Computer System Interface (iSCSI) em pelo menos uma máquina virtual adicional (VM).

Benefits

• Estes servidores anfitriões iSCSI também podem albergar destinos iSCSI para outros clusters Pacemaker que se encontrem na mesma região.
• Se já os usas localmente, não exigem alterações na forma como operas o cluster do Pacemaker.

Considerações importantes

• Deve usar três servidores host iSCSI para ter o mais alto nível de resiliência para o seu cluster.
  • A utilização de apenas um servidor introduz um ponto único de falha que impede o seu cluster de efetuar fencing se esse servidor ficar indisponível.
  • O Pacemaker não permite esgrima se só tiveres dois alvos e um estiver em baixo.
• Os servidores anfitriões de destino iSCSI devem residir na mesma região dos seus clusters.
• O roteamento de rede entre os clusters e os servidores anfitrião iSCSI não deve passar por quaisquer dispositivos de rede não redundantes (como um dispositivo virtual de rede).
  • Eventos de manutenção e outros problemas com dispositivos de rede podem afetar negativamente a estabilidade e fiabilidade da configuração global do cluster.

Utilizar o agente de vedação do Azure

Ao utilizar o Azure Fence Agent, o seu cluster pode isolar nós chamando diretamente as APIs do Azure para reiniciar nós com falha.

Benefits

• Não são necessários recursos extra.
• As Identidades Geridas removem qualquer manutenção de credenciais.

Considerações importantes

• Utilize Identidades Geridas para autenticação. Se estiver a usar atualmente um principal de serviço, atualize o Azure Fence Agent do SPN para o MSI.
• O fence agent do Azure requer conectividade de saída para os pontos finais públicos do Azure. Para obter mais informações e possíveis soluções, consulte Conectividade de ponto de extremidade público para VMs usando o ILB padrão.
• As operações de monitoramento e vedação são desserializadas. Como resultado, se houver uma operação de monitoramento em execução mais longa e um evento de vedação simultâneo, não haverá atraso para o failover de cluster porque a operação de monitoramento já está em execução.

Implementar um disco partilhado do Azure para SBD

Para criar e anexar um disco partilhado no Azure usando o PowerShell, execute os seguintes comandos. Se quiser implementar recursos utilizando a CLI do Azure ou o portal do Azure, veja Implementar um disco ZRS.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Utilizar destinos iSCSI

Construir servidores host de destino iSCSI

1. Implemente três máquinas virtuais que corram numa versão suportada do SLES OS. As VMs não precisam de ser grandes. Tamanhos de VM como Standard_E2s ou Standard_D2s são suficientes.

   Nota

   Não precisas de usar o SLES para a imagem do sistema operativo de aplicações SAP para o servidor alvo iSCSI. Podes usar uma imagem padrão do SLES OS em vez disso. No entanto, o ciclo de vida do suporte varia entre diferentes versões de produtos do sistema operacional.

2. Instala as atualizações mais recentes e reinicia se for necessário.

   sudo zypper -n update
   

3. Instale o pacote de destino iSCSI.

   sudo zypper -n install targetcli-fb
   

4. Ative e inicie o serviço iSCSI.

   sudo systemctl start targetcli
   sudo systemctl enable targetcli
   

Criar alvos iSCSI

Para cada cluster, é necessário provisionar um disco iSCSI em cada servidor anfitrião iSCSI e depois conceder acesso a cada nó do cluster a esse disco. Neste exemplo, crias discos para dois clusters diferentes:

• ascsnw1: O agrupamento ASCS/ERS de NW1
• hdbnw1: O cluster de bases de dados HANA para NW1
• sap-cl1 e sap-cl2: Nomes de host para os nós do cluster ASCS/ERS do NW1
• sap-db1 e sap-db2: Nomes de host para os nós do cluster HANA do NW1

1. Crie a pasta raiz para todos os dispositivos SBD.

   sudo mkdir /sbd
   

2. Crie o dispositivo SBD para o primeiro cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Crie o dispositivo SBD para o segundo cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Salve a configuração.

   sudo targetcli saveconfig
   

5. Verifica a configuração.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Configure Azure Fence Agent

1. Criar identidade

   • Identidade gerida
   • Principal de serviço

   Para criar uma identidade gerida (MSI), crie uma identidade gerida atribuída pelo sistema para cada VM no cluster. Identidades geridas atribuídas pelos utilizadores não são suportadas neste momento.

2. Crie um papel personalizado.

   A sua identidade precisa de permissões atribuídas através do Azure RBAC para realizar operações de isolamento nas suas VMs. Para cumprir o Modelo de Segurança de Acesso Mínimo Privilegiado (LPA), crie um papel RBAC personalizado.

   Utilize a definição seguinte para a sua função, substituindo o(s) ID(s) da subscrição conforme necessário:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Atribui o papel personalizado às tuas identidades.

   • Identidade gerida
   • Principal de serviço

   Para cada VM no seu cluster, atribua a sua identidade gerida ao papel personalizado "Linux Fence Agent" para cada VM do cluster, incluindo ela própria. Para obter etapas detalhadas, consulte Atribuir um acesso de identidade gerenciado a um recurso usando o portal do Azure.

   Importante

   Esteja ciente de que a atribuição e remoção da autorização com identidades geridas pode ser adiada até entrar em vigor.

1. [A] Ativar o serviço SBD.

   sudo systemctl enable sbd
   

2. [A] Ativar o sistema de vigilância de software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Descubra o ID do dispositivo iSCSI.
   1. Determinar o ponto de montagem com base no número LUN

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Obtenha o ID do dispositivo iSCSI do ponto de montagem.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Crie o dispositivo SBD.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Adicionar o dispositivo SBD ao cluster.

   sudo crm cluster init --yes sbd -s /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617
   

6. [1] Alterar as definições de configuração do SBD.

   sudo crm configure property stonith-timeout=210
   sudo crm configure property stonith-enabled=true
   # For the below command, 600 is the interval, and 120 is the timeout
   sudo crm configure monitor stonith-sbd 600:120
   sudo crm configure set stonith-sbd.pcmk_delay_max 15
   

7. [A] Validar ficheiro de configuração SBD.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Permitir os serviços necessários.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Ativar o sistema de vigilância de software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Atualize o nó InitiatorName 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Atualize o InitiatorName do nó 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Reiniciar os serviços iSCSI.

   sudo systemctl restart iscsi iscsid
   

6. [A] Monte os destinos iSCSI de todos os servidores anfitrião iSCSI.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Descobre os IDs dos dispositivos iSCSI.
   1. Determina os pontos de montagem do iSCSI.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Obtenha os IDs dos dispositivos iSCSI.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Criar os dispositivos SBD.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Adicionar os dispositivos SBD ao cluster.

   sudo crm cluster init --yes sbd \
      -s /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 \
      -s /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff \
      -s /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5
   

10. [1] Alterar as definições de configuração do SBD.

    sudo crm configure property stonith-timeout=210
    sudo crm configure property stonith-enabled=true
    # For the below command, 600 is the interval, and 120 is the timeout
    sudo crm configure monitor stonith-sbd 600:120
    sudo crm configure set stonith-sbd.pcmk_delay_max 15
    

11. [A] Validar ficheiro de configuração SBD.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configure o agente de vedação do Azure.

   Nota

   Ao usar o Azure Government Cloud, deve especificar essa cloud= opção ao configurar o Azure Fence Agent. Por exemplo, cloud=usgov para a Azure cloud do governo dos EUA.

   • Identidade gerida
   • Principal de serviço

   sudo crm configure primitive rsc_st_azure stonith:fence_azure_arm params msi=true \ 
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configurar o cluster para o Azure Fence Agent.

   sudo crm configure property stonith-enabled=true
   sudo crm configure property stonith-timeout=900