Configurar o Pacemaker no Red Hat Enterprise Linux no Azure

Usando SBD com o Azure Shared Disk

Ao usar Azure Shared Disks, você pode montar o mesmo disco em todas as máquinas virtuais que fazem parte do cluster. Você pode hospedar seu dispositivo SBD nesse disco compartilhado sem exigências adicionais de infraestrutura.

Benefícios

• Oferece uma opção nativa de dispositivo de bloco compartilhado do Azure para SBD sem exigir recursos adicionais.
• Máquinas virtuais conectam o disco gerenciado diretamente, reduzindo a dependência de considerações adicionais da rede.

Considerações importantes

• Você pode usar um disco compartilhado do Azure com o Premium SSD SKU como um dispositivo SBD.
• Revise a lista de sistemas operacionais suportados.
• Dispositivos SBD que utilizam disco compartilhado premium Azure suportam armazenamento redundante local (LRS) e armazenamento redundante por zona (ZRS).
• Dependendo do tipo de sua implantação, escolha o armazenamento redundante apropriado para um disco compartilhado Azure como seu dispositivo SBD.
  • Um dispositivo SBD que usa LRS para o disco compartilhado Premium do Azure (skuName - Premium_LRS) só tem suporte com a implantação no conjunto de disponibilidade.
  • Um dispositivo SBD que usa ZRS para um disco compartilhado premium Azure (skuName - Premium_ZRS) é recomendado para implantações em zonas de disponibilidade.
• O Azure disco compartilhado que você usa para dispositivos SBD não precisa ser grande. O valor maxShares determina quantos nós de cluster podem usar o disco compartilhado. Por exemplo, você pode usar tamanhos de disco P1 ou P2 para seu dispositivo SBD em um cluster de dois nós, como SAP ASCS/ERS ou SAP HANA scale-up.
  • Para clusters com mais de dois nós, consulte o valor de maxShares documentado para o disco selecionado.
• Não anexe um dispositivo SBD de disco compartilhado do Azure entre clusters diferentes do Pacemaker.
• Se você usar vários dispositivos SBD de disco compartilhado Azure, verifique o limite de um número máximo de discos de dados que podem ser anexados a uma VM.
• Para obter mais informações sobre limitações para Azure discos compartilhados, examine cuidadosamente a seção "Limitações" da documentação Azure disco compartilhado.

Usando SBD com alvos iSCSI

Essa solução exige que você hospede alvos de Internet Small Computer System Interface (iSCSI) em pelo menos uma máquina virtual (VM) adicional.

Benefícios

• Esses servidores host iSCSI também podem hospedar alvos iSCSI para outros clusters Pacemaker na mesma região.
• Se você já está usando eles no local, eles não exigem mudanças na forma como você opera o cluster Pacemaker.

Considerações importantes

• Você deve usar três servidores host iSCSI para ter o mais alto nível de resiliência para seu cluster.
  • Usar apenas um servidor cria um único ponto de falha que impede o isolamento do seu cluster se esse servidor ficar fora do ar.
  • O Pacemaker não permite isolamento se você tiver apenas dois destinos e um deles estiver indisponível.
• Os servidores host iSCSI de destino devem residir na mesma região dos seus clusters.
• O roteamento de rede entre seus clusters e servidores host iSCSI não deve atravessar nenhum dispositivo de rede não redundante (como um Appliance Virtual de Rede).
  • Eventos de manutenção e outros problemas com dispositivos de rede podem afetar negativamente a estabilidade e confiabilidade da configuração geral do cluster.

Usando o Fence Agent do Azure

Usando o Agente de isolamento do Azure, seu cluster pode isolar nós chamando diretamente as APIs do Azure para reiniciar nós com falha.

Benefícios

• Não são necessários recursos extras.
• Identidades gerenciadas removem qualquer manutenção de credencial.

Considerações importantes

• Use Identidades Gerenciadas para autenticação. Se você está usando um principal de serviço atualmente, atualize o Azure Fence Agent do SPN para o MSI.
• O fence agent do Azure requer conectividade de saída com os endpoints públicos do Azure. Para obter mais informações, além das possíveis soluções, confira Conectividade de ponto de extremidade público para VMs usando o ILB padrão.
• As operações de monitoramento e limitação são desserializadas. Como resultado, se houver uma operação de monitoramento de execução longa e um evento de limitação simultâneo, não haverá atraso no failover do cluster, porque a operação de monitoramento já estará em execução.

Implante um disco compartilhado do Azure para SBD

Para criar e anexar um disco compartilhado no Azure usando o PowerShell, execute os seguintes comandos. Se você quiser implantar recursos usando a CLI do Azure ou o portal Azure, veja Implantar um disco ZRS.

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

Uso de alvos iSCSI

Configurar servidores host de destino iSCSI

1. Implante três máquinas virtuais que rodem em uma versão suportada do RHEL OS. As VMs não precisam ser grandes. Tamanhos de VM como Standard_E2s ou Standard_D2s são suficientes.

   Observação

   Você não precisa usar o RHEL for SAP com HA e Update Services nem a imagem de sistema operacional do RHEL for SAP Apps para o servidor de destino iSCSI. Você pode usar uma imagem padrão do RHEL OS em vez disso. No entanto, o ciclo de vida de suporte varia entre diferentes versões de produtos do sistema operacional.

2. Instale as atualizações mais recentes e reinicie se necessário.

   sudo dnf -y update
   

3. Instale o pacote de destino iSCSI.

   sudo dnf install -y targetcli
   

4. Ative e inicie o serviço iSCSI.

   sudo systemctl start target
   sudo systemctl enable target
   

5. Abra a porta do firewall.

   sudo firewall-cmd --add-port=3260/tcp --permanent
   sudo firewall-cmd --reload
   

Criar alvos iSCSI

Para cada cluster, você precisa provisionar um disco iSCSI em cada servidor host iSCSI e então conceder acesso a cada nó do cluster a esse disco. Neste exemplo, você cria discos para dois clusters diferentes:

• ascsnw1: O cluster ASCS/ERS para NW1
• hdbnw1: O cluster de banco de dados HANA para NW1
• sap-cl1 e sap-cl2: Nomes de host para os nós do cluster ASCS/ERS do NW1
• sap-db1 e sap-db2: Nomes de host para os nós do cluster HANA do NW1

1. Crie a pasta raiz para todos os dispositivos SBD.

   sudo mkdir /sbd
   

2. Crie o dispositivo SBD para o primeiro cluster (ascsnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. Crie o dispositivo SBD para o segundo cluster (hdbnw1).

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. Salve a configuração.

   sudo targetcli saveconfig
   

5. Verifique a configuração.

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Configurar o agente de isolamento do Azure

1. Criar identidade

   • Identidade gerenciada
   • Entidade de serviço

   Para criar uma identidade gerenciada (MSI), crie uma identidade gerenciada atribuída pelo sistema para cada VM no cluster. Identidades gerenciadas atribuídas por usuários não são suportadas no momento.

2. Criar uma função personalizada.

   Sua identidade precisa de permissões por meio do Azure RBAC para executar ações de isolamento em relação às suas VMs. Para cumprir o Modelo de Segurança de Acesso Mínimo Privilegiado (LPA), crie um papel RBAC personalizado.

   Use a seguinte definição para seu cargo, substituindo seu(s) ID(s) de assinatura quando necessário:

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. Atribua o papel personalizado às suas identidades.

   • Identidade gerenciada
   • Entidade de serviço

   Para cada VM do seu cluster, atribua sua identidade gerenciada ao papel personalizado "Linux Fence Agent" para cada VM do cluster, incluindo ela mesma. Para obter etapas detalhadas, confira Atribuir o acesso de uma identidade gerenciada a um recurso usando o portal do Azure.

   Importante

   Esteja ciente de que a atribuição e a remoção de autorização com identidades gerenciadas podem sofrer atraso até entrarem em vigor.

1. [A] Ativem o serviço SBD.

   sudo systemctl enable sbd
   

2. [A] Ativar o watchdog de software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] Descubra o ID do dispositivo iSCSI.
   1. Determine o ponto de montagem com base no número LUN

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. Obtenha o ID do dispositivo iSCSI a partir da montagem.

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] Crie o dispositivo SBD.

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] Adicionar o dispositivo SBD ao cluster.

   sudo pcs stonith create sbd fence_sbd devices=/dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 op monitor interval=600 timeout=15
   

6. [1] Alterar as configurações do SBD.

   sudo pcs property set stonith-timeout=210
   sudo pcs property set stonith-enabled=true
   

7. [A] Validar o arquivo de configuração SBD.

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] Habilitar os serviços necessários.

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] Ativar o watchdog de software.

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] Atualize o InitiatorName do nó 1.

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] Atualize o InitiatorName do nó 2.

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] Reinicie os serviços iSCSI.

   sudo systemctl restart iscsi iscsid
   

6. [A] Monte os destinos iSCSI de todos os servidores host de iSCSI.

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] Descubra os IDs dos dispositivos iSCSI.
   1. Determine os pontos de montagem do iSCSI.

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. Obtenha os IDs dos dispositivos iSCSI.

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] Crie os dispositivos SBD.

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] Adicione os dispositivos SBD ao cluster.

   sudo pcs stonith create sbd fence_sbd \
      devices=/dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528,/dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff,/dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 \
      op monitor interval=600 timeout=120
   

10. [1] Alterar as configurações do SBD.

    sudo pcs property set stonith-timeout=210
    sudo pcs property set stonith-enabled=true
    

11. [A] Validar o arquivo de configuração SBD.

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Configurar o agente de isolamento do Azure.

   Observação

   Ao usar a nuvem governamental do Azure, você deve especificar essa cloud= opção ao configurar o Azure Fence Agent. Por exemplo, cloud=usgov para a nuvem Azure do governo dos EUA.

   • Identidade gerenciada
   • Entidade de serviço

   sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true \
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Configure o cluster para o Azure Fence Agent.

   sudo pcs property set stonith-enabled=true
   sudo pcs property set stonith-timeout=900