Azure で SUSE Linux Enterprise Server に Pacemaker をセットアップする

Azure共有ディスクでのSBD使用方法

Azure Shared Disksを使うことで、クラスター内のすべての仮想マシンに同じディスクをマウントできます。 SBDデバイスをその共有ディスク上でホストすれば、追加のインフラ要件なしで可能です。

Benefits

• 追加のリソースを必要としない、SBD向けのネイティブなAzure共有ブロックデバイスオプションを提供します。
• 仮想マシンはマネージドディスクを直接接続し、追加のネットワーク要素への依存を減らすことができます。

重要な考慮事項

• Premium SSD SKU の Azure 共有ディスクを SBD デバイスとして使用できます。
• サポートされているオペレーティングシステムの一覧を確認してください。
• Azureプレミアム共有ディスクを使用するSBDデバイスは、ローカル冗長ストレージ(LRS)およびゾーン冗長ストレージ(ZRS)をサポートします。
• デプロイの種類に応じて、Azure 共有ディスクの適切な冗長ストレージを SBD デバイスとして選択します。
  • Azure Premium Shared Disk（skuName - Premium_LRS）で LRS を使用する SBD デバイスは、可用性セットでのデプロイのみをサポートします。
  • Azureプレミアム共有ディスク(skuName - Premium_ZRS)にZRSを使用するSBDデバイスは、可用性ゾーンでの展開に推奨されます。
• SBD デバイスに使用する Azure 共有ディスクは、大きなサイズである必要はありません。 共有ディスクを使用できるクラスター ノードの数は、maxShares 値によって決まります。 例えば、SAP ASCS/ERSやSAP HANAのスケールアップのような2ノードクラスタで、SBDデバイスにP1またはP2のディスクサイズを使用できます。
  • ノードが2つ以上あるクラスタの場合は、選択したディスクの文書化された maxShares を参照してください。
• Azure共有ディスクSBDデバイスを異なるPacemakerクラスタ間に接続しないでください。
• Azure 共有ディスクの SBD デバイスを複数使用する場合は、VM にアタッチできる最大データ ディスク数の上限を確認してください。
• Azure 共有ディスクの制限事項の詳細については、Azure 共有ディスクのドキュメントの「制限事項」セクションを参照してください。

iSCSIターゲットを用いたSBDの使用

このソリューションでは、少なくとも1台の追加仮想マシン(VM)上でInternet Small Computer System Interface(iSCSI)ターゲットをホストする必要があります。

Benefits

• これらのiSCSIホストサーバーは、同じリージョン内の他のPacemakerクラスターのiSCSIターゲットもホストできます。
• すでにオンプレミスで使っている場合、Pacemakerクラスタの運用方法を変更する必要はありません。

重要な考慮事項

• クラスタのレジリエンシーを最高レベルにするには、3台のiSCSIホストサーバーを使用する必要があります。
  • サーバーを1台しか使用しないと、単一障害点が生じ、そのサーバーが停止した場合にクラスタはフェンシングできなくなります。
  • ペースメーカーは、ターゲットが2つしかなく、そのうち1人が倒れている場合はフェンシングを許可しません。
• iSCSIのターゲットホストサーバーは、クラスタと同じリージョンに存在しなければなりません。
• クラスタとiSCSIホストサーバー間のネットワークルーティングは、非冗長なネットワークデバイス( 例えばネットワーク仮想アプライアンス)を経由してはなりません。
  • ネットワーク機器のメンテナンスイベントやその他の問題は、クラスタ全体の安定性と信頼性に悪影響を及ぼすことがあります。

Azure Fence Agentの使用

Azure Fence Agentを使うことで、クラスターはAzure APIを直接呼び出してノードをフェンス化し、失敗したノードを再起動できます。

Benefits

• 追加のリソースは必要ありません。
• 管理されたIDは認証情報のメンテナンスを一切削除します。

重要な考慮事項

• 認証にはマネージドIDを使いましょう。 現在サービスプリンシパルを使っている場合は、Azure Fence AgentをSPNからMSIに更新してください。
• Azure fence agentはパブリックAzureエンドポイントへのアウトバウンド接続が必要です。 考えられる解決策と詳細については、「標準 ILB を使用した VM のパブリック エンドポイント接続」を参照してください。
• 監視およびフェンス操作は逆シリアル化されます。 その結果、長時間実行されている監視操作と同時フェンス イベントがある場合、既に実行されている監視操作により、クラスターのフェールオーバーに遅延は発生しません。

SBD 用の Azure Shared Disk をデプロイする

PowerShellを使ってAzure共有ディスクを作成・接続するには、以下のコマンドを実行します。 Azure CLIやAzureポータルを使ってリソースをデプロイしたい場合は、「ZRSディスクをデプロイする」をご覧ください。

$ResourceGroup = "<ResourceGroupName>"
$DiskSizeInGB = 4
$DiskName = "<SBDDiskName>"
# Must be Equal to or greater than the Number of Nodes in the Cluster
$ShareNodes = 2 
# Options are "Premium_LRS" or "Premium_ZRS"
$SKUName = "<DiskSKU>"
# VMs to attach the disk to
$vmNames = @("sap-cl1", "sap-cl2")
# Lun to attach the disk to. You should use the same lun on all servers in the cluster.
$lunNumber = <lunNumber>

$diskConfig = New-AzDiskConfig -Location $Location -SkuName $SkuName -CreateOption Empty -DiskSizeGB $DiskSizeInGB -MaxSharesCount $ShareNodes

$dataDisk = New-AzDisk -ResourceGroupName $ResourceGroup -DiskName $DiskName -Disk $diskConfig

# Attach SBD disk to cluster VMs
foreach ($vmName in $vmNames) 
{
  $vm = Get-AzVM -ResourceGroupName $resourceGroup -Name $vmName
  Add-AzVMDataDisk -VM $vm -Name $diskName -CreateOption Attach -ManagedDiskId $dataDisk.Id -Lun $lunNumber
  Update-AzVM -VM $vm -ResourceGroupName $resourceGroup -Verbose
}

iSCSIターゲットの使用

iSCSIターゲットホストサーバーを構築する

1. サポートされているSLES OSバージョンで動作する3台の仮想マシンを展開します。 VMは必ずしも大きくする必要はありません。 Standard_E2sやStandard_D2sなどのVMサイズで十分です。

   Note

   iSCSIターゲットサーバーのSAP Applications OSイメージにはSLESを使う必要はありません。 代わりに標準のSLES OSイメージを使うこともできます。 ただし、サポートライフサイクルは、OS 製品リリースによって異なります。

2. 最新のアップデートをインストールし、必要なら再起動してください。

   sudo zypper -n update
   

3. iSCSIターゲットパッケージをインストールしてください。

   sudo zypper -n install targetcli-fb
   

4. iSCSIサービスを有効化し、開始します。

   sudo systemctl start targetcli
   sudo systemctl enable targetcli
   

iSCSIターゲットの作成

各クラスターごとに、各iSCSIホストサーバーにiSCSIディスクをプロビジョニングし、すべてのクラスタノードにそのディスクへのアクセスを許可する必要があります。 この例では、2つの異なるクラスターごとにディスクを作成します:

• ascsnw1:NW1のASCS/ERSクラスター
• hdbnw1:NW1用のHANAデータベースクラスター
• sap-cl1およびsap-cl2:NW1 ASCS/ERSクラスタノードのホスト名
• sap-db1およびsap-db2:NW1 HANAクラスタノードのホスト名

1. すべての SBD デバイスのルート フォルダーを作成します。

   sudo mkdir /sbd
   

2. 最初のクラスタ(ascsnw1)用のSBDデバイスを作成します。

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdascsnw1 /sbd/sbdascsnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.ascsnw1.local:ascsnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/luns/ create /backstores/fileio/sbdascsnw1
   # Grant Cluster Node 1 (sap-cl1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl1.local:sap-cl1
   # Grant Cluster Node 2 (sap-cl2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.ascsnw1.local:ascsnw1/tpg1/acls/ create iqn.2006-04.sap-cl2.local:sap-cl2
   

3. 2つ目のクラスター(hdbnw1)用のSBDデバイスを作成します。

   # Create Storage Object
   sudo targetcli backstores/fileio create sbdhdbnw1 /sbd/sbdhdbnw1 50M write_back=false
   # Create iSCSI Target
   sudo targetcli iscsi/ create iqn.2006-04.hdbnw1.local:hdbnw1
   # Creates the LUN and attaches it to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/luns/ create /backstores/fileio/sbdhdbnw1
   # Grant Cluster Node 1 (sap-db1) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db1.local:sap-db1
   # Grant Cluster Node 2 (sap-db2) access to the iSCSI Target
   sudo targetcli iscsi/iqn.2006-04.hdbnw1.local:hdbnw1/tpg1/acls/ create iqn.2006-04.sap-db2.local:sap-db2
   

4. 構成を保存します。

   sudo targetcli saveconfig
   

5. セットアップを確認してください。

   sudo targetcli ls
   
   o- / ............................................................................................... [...]
     o- backstores .................................................................................... [...]
     | o- block ........................................................................ [Storage Objects: 0]
     | o- fileio ....................................................................... [Storage Objects: 2]
     | | o- sbdascsnw1 ..................................... [/sbd/sbdascsnw1 (50.0MiB) write-thru activated]
     | | | o- alua ......................................................................... [ALUA Groups: 1]
     | | |   o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | | o- sbdhdbnw1 ....................................... [/sbd/sbdhdbnw1 (50.0MiB) write-thru activated]
     | |   o- alua ......................................................................... [ALUA Groups: 1]
     | |     o- default_tg_pt_gp ............................................. [ALUA state: Active/optimized]
     | o- pscsi ........................................................................ [Storage Objects: 0]
     | o- ramdisk ...................................................................... [Storage Objects: 0]
     o- iscsi .................................................................................. [Targets: 2]
     | o- iqn.2006-04.hdbnw1.local:hdbnw1 ......................................................... [TPGs: 1]
     | | o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     | |   o- acls ................................................................................ [ACLs: 2]
     | |   | o- iqn.2006-04.sap-db1.local:sap-db1 .......................................... [Mapped LUNs: 1]
     | |   | | o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   | o- iqn.2006-04.sap-db2.local:sap-db2 .......................................... [Mapped LUNs: 1]
     | |   |   o- mapped_lun0 ..................................................... [lun0 fileio/sbdhdb (rw)]
     | |   o- luns ................................................................................ [LUNs: 1]
     | |   | o- lun0 ................................. [fileio/sbdhdbnw1 (/sbd/sbdhdbnw1) (default_tg_pt_gp)]
     | |   o- portals .......................................................................... [Portals: 1]
     | |     o- 0.0.0.0:3260 ........................................................................... [OK]
     | o- iqn.2006-04.ascsnw1.local:ascsnw1 ....................................................... [TPGs: 1]
     |   o- tpg1 ..................................................................... [no-gen-acls, no-auth]
     |     o- acls ................................................................................ [ACLs: 2]
     |     | o- iqn.2006-04.sap-cl1.local:sap-cl1 .......................................... [Mapped LUNs: 1]
     |     | | o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     | o- iqn.2006-04.sap-cl2.local:sap-cl2 .......................................... [Mapped LUNs: 1]
     |     |   o- mapped_lun0 ................................................. [lun0 fileio/sbdascsnw1 (rw)]
     |     o- luns ................................................................................ [LUNs: 1]
     |     | o- lun0 ............................... [fileio/sbdascsnw1 (/sbd/sbdascsnw1) (default_tg_pt_gp)]
     |     o- portals .......................................................................... [Portals: 1]
     |       o- 0.0.0.0:3260 ........................................................................... [OK]
     o- loopback ............................................................................... [Targets: 0]
   

Azure フェンス エージェントを構成する

1. ID の作成

   • 管理対象 ID
   • サービス プリンシパル

   マネージドアイデンティティ(MSI)を作成するには、クラスタ内の各VMごとに システム割り当てのマネージドアイデンティティを作成します 。 現時点ではユーザー割り当てのマネージドIDはサポートされていません。

2. カスタム ロールを作成する。

   あなたのアイデンティティは、VMに対してフェンシングアクションを行うためにAzure RBACの許可が必要です。 最小権限アクセス(LPA)セキュリティモデルに準拠するために、 カスタムRBACロールを作成します。

   必要に応じてサブスクリプションIDを置き換え、あなたの役割には以下の定義を用いてください。

   {
         "Name": "Linux Fence Agent",
         "description": "Allowed to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<Subscription 1 ID (GUID)>",
                 "/subscriptions/<Subscription N ID (GUID)>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }
   

3. カスタムロールをあなたのアイデンティティに割り当ててください。

   • 管理対象 ID
   • サービス プリンシパル

   クラスタ内の各VMごとに、その管理IDをクラスタ内のすべてのVM(自身も含む)のカスタム「Linux Fence Agent」ロールに割り当てます。 詳細な手順については、「Azure portal を使用してリソースにマネージド ID アクセスを割り当てる」を参照してください。

   重要

   マネージドIDでの権限の割り当ておよび解除は、有効期限まで 遅延する可能性がある ことに注意してください。

1. [A] SBDサービスを有効にする。

   sudo systemctl enable sbd
   

2. [A] ソフトウェア ウォッチドッグを有効にする。

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [A] iSCSIデバイスIDを発見。
   1. LUN番号に基づいてマウントポイントを決定します

      ls -l /dev/disk/azure/scsi1/lun1
      lrwxrwxrwx. 1 root root 12 Apr 16 20:22 /dev/disk/azure/scsi1/lun1 -> ../../../sdb
      

   2. マウントからiSCSIデバイスIDを取得してください。

      ls -l /dev/disk/by-id/scsi-3* | grep -i sdb
      lrwxrwxrwx. 1 root root  9 Apr 16 20:22 /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -> ../../sdb
      

4. [1] SBD デバイスを作成します。

   sudo sbd -d /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617 -1 60 -4 120 create
   

5. [1] SBDデバイスをクラスタに追加します。

   sudo crm cluster init --yes sbd -s /dev/disk/by-id/scsi-360022480055c9f501a24256ea0f87617
   

6. [1] SBDの設定を変更してください。

   sudo crm configure property stonith-timeout=210
   sudo crm configure property stonith-enabled=true
   # For the below command, 600 is the interval, and 120 is the timeout
   sudo crm configure monitor stonith-sbd 600:120
   sudo crm configure set stonith-sbd.pcmk_delay_max 15
   

7. [A] SBDの設定ファイルを検証してください。

   sudo vi /etc/sysconfig/sbd
   

   [...]
   SBD_DELAY_START=no
   [...]
   SBD_PACEMAKER=yes
   [...]
   SBD_STARTMODE=always
   [...]
   

1. [A] 必要なサービスを有効にしてください。

   sudo systemctl enable sbd iscsi iscsid
   

2. [A] ソフトウェアウォッチドッグを有効にする。

   echo softdog | sudo tee /etc/modules-load.d/softdog.conf
   sudo modprobe softdog
   

3. [1] ノード1の InitiatorName を更新してください。

   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl1.local:sap-cl1
   

4. [2] ノード2の InitiatorName を更新してください。

   # Node 2
   sudo vi /etc/iscsi/initiatorname.iscsi
   [...]
   InitiatorName=iqn.2006-04.sap-cl2.local:sap-cl2
   

5. [A] iSCSIサービスを再起動してください。

   sudo systemctl restart iscsi iscsid
   

6. [A] すべてのiSCSIホストサーバーからiSCSIターゲットをマウントします。

   for hostServer in sbd-iscsi1 sbd-iscsi2 sbd-iscsi3; do
      iscsiadm -m discovery --type=st --portal=${hostServer}:3260 
      iscsiadm -m node -T iqn.2006-04.ascsnw1.local:ascsnw1 --login --portal=${hostServer}:3260
      iscsiadm -m node --portal=${hostServer}:3260 -T iqn.2006-04.ascsnw1.local:ascsnw1 --op=update --name=node.startup --value=automatic
   done
   

7. [A] iSCSIデバイスIDを発見する。
   1. iSCSIのマウントポイントを特定してください。

      lsscsi
      [0:0:0:0]    disk    Msft     Virtual Disk     1.0   /dev/sda
      [1:0:0:1]    disk    Msft     Virtual Disk     1.0   /dev/sdb
      [2:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdc
      [3:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sdd
      [4:0:0:0]    disk    LIO-ORG  sbdascsnw1       4.0   /dev/sde
      

   2. iSCSIデバイスIDを取得してください。

      ls -l /dev/disk/by-id/scsi-3* | grep sd[c,d,e]
      lrwxrwxrwx 1 root root  9 Jul 21 18:02 /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -> ../../sdd
      lrwxrwxrwx 1 root root  9 Jul 21 17:50 /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -> ../../sdc
      lrwxrwxrwx 1 root root  9 Jul 21 18:04 /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -> ../../sde
      

8. [1] SBDデバイスを作成してください。

   sudo sbd -d /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff -1 60 -4 120 create
   sudo sbd -d /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5 -1 60 -4 120 create
   

9. [1] SBDデバイスをクラスタに追加します。

   sudo crm cluster init --yes sbd \
      -s /dev/disk/by-id/scsi-3600140537cf4c6d604a4ae4b58f1a528 \
      -s /dev/disk/by-id/scsi-360014056e4d07b80e1148ac973330dff \
      -s /dev/disk/by-id/scsi-360014059f135275c24647d49268123e5
   

10. [1] SBDの設定を変更してください。

    sudo crm configure property stonith-timeout=210
    sudo crm configure property stonith-enabled=true
    # For the below command, 600 is the interval, and 120 is the timeout
    sudo crm configure monitor stonith-sbd 600:120
    sudo crm configure set stonith-sbd.pcmk_delay_max 15
    

11. [A] SBDの設定ファイルを検証してください。

    sudo vi /etc/sysconfig/sbd
    

    [...]
    SBD_DELAY_START=no
    [...]
    SBD_PACEMAKER=yes
    [...]
    SBD_STARTMODE=always
    [...]
    

1. [1] Azure Fence Agent を設定します。

   Note

   政府クラウドAzure使用する場合は、Azure Fence Agentの設定時にcloud=オプションを指定する必要があります。 たとえば、Azure米国政府機関向けクラウドのcloud=usgovなどです。

   • 管理対象 ID
   • サービス プリンシパル

   sudo crm configure primitive rsc_st_azure stonith:fence_azure_arm params msi=true \ 
      resourceGroup="<ResourceGroupName>" subscriptionId="<SubscriptionID>" \
      pcmk_host_map="sap-cl1:<AzureVMNameCL1>;sap-cl2:<AzureVMNameCL2>" \
      power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 \
      pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
      meta failure-timeout=120s op monitor interval=3600 timeout=120
   

2. [1] Azure Fence Agent 用にクラスタを設定してください。

   sudo crm configure property stonith-enabled=true
   sudo crm configure property stonith-timeout=900