Wymagania wstępne dotyczące usługi Azure HPC Cache

Przed utworzeniem nowej usługi Azure HPC Cache upewnij się, że środowisko spełnia te wymagania.

Subskrypcja platformy Azure

Zalecana jest płatna subskrypcja.

Infrastruktura sieciowa

Przed użyciem pamięci podręcznej należy skonfigurować te wymagania wstępne związane z siecią:

• Dedykowana podsieć dla instancji Azure HPC Cache
• Obsługa systemu DNS, dzięki czemu pamięć podręczna może uzyskiwać dostęp do magazynu i innych zasobów
• Dostęp z podsieci do dodatkowych usług infrastruktury platformy Microsoft Azure, w tym serwerów NTP i usługi Azure Queue Storage.

Podsieć pamięci podręcznej

Usługa Azure HPC Cache wymaga dedykowanej podsieci z następującymi cechami:

• Podsieć musi mieć co najmniej 64 dostępne adresy IP.
• Komunikacja wewnątrz podsieci musi być nieograniczona. Jeśli używasz sieciowej grupy zabezpieczeń dla podsieci pamięci podręcznej, upewnij się, że zezwala ona na wszystkie usługi między wewnętrznymi adresami IP.
• Podsieć nie może hostować żadnych innych maszyn wirtualnych, nawet w przypadku powiązanych usług, takich jak maszyny klienckie.
• Jeśli używasz wielu wystąpień usługi Azure HPC Cache, każda z nich potrzebuje własnej podsieci.

Najlepszym rozwiązaniem jest utworzenie nowej podsieci dla każdej pamięci podręcznej. Możesz utworzyć nową sieć wirtualną i podsieć w ramach tworzenia pamięci podręcznej.

Podczas tworzenia tej podsieci należy zachować ostrożność, aby ustawienia zabezpieczeń zezwalały na dostęp do niezbędnych usług infrastruktury wymienionych w dalszej części tej sekcji. Możesz ograniczyć wychodzącą łączność z Internetem, ale upewnij się, że istnieją wyjątki dla elementów udokumentowanych tutaj.

Dostęp DNS

Pamięć podręczna wymaga systemu DNS, aby uzyskać dostęp do zasobów poza siecią wirtualną. W zależności od używanych zasobów może być konieczne skonfigurowanie dostosowanego serwera DNS i skonfigurowanie przekazywania między tym serwerem a serwerami Usługi Azure DNS:

• Aby uzyskać dostęp do punktów końcowych usługi Azure Blob Storage i innych zasobów wewnętrznych, potrzebny jest serwer DNS oparty na platformie Azure.
• Aby uzyskać dostęp do magazynu lokalnego, należy skonfigurować niestandardowy serwer DNS, który może rozpoznawać nazwy hostów magazynu. Należy to zrobić przed utworzeniem pamięci podręcznej.

Jeśli używasz tylko usługi Blob Storage, możesz użyć domyślnego serwera DNS dostarczonego przez platformę Azure dla pamięci podręcznej. Jeśli jednak potrzebujesz dostępu do magazynu lub innych zasobów spoza platformy Azure, należy utworzyć niestandardowy serwer DNS i skonfigurować go do przekazywania żądań rozpoznawania specyficznych dla platformy Azure do serwera usługi Azure DNS.

Aby użyć niestandardowego serwera DNS, przed utworzeniem pamięci podręcznej należy wykonać następujące kroki konfiguracji:

• Utwórz sieć wirtualną, która będzie hostować usługę Azure HPC Cache.

• Utwórz serwer DNS.

• Dodaj serwer DNS do sieci wirtualnej pamięci podręcznej.

  Wykonaj następujące kroki, aby dodać serwer DNS do sieci wirtualnej w witrynie Azure Portal:

  1. Otwórz sieć wirtualną w witrynie Azure Portal.
  2. Wybierz pozycję Serwery DNS z menu Ustawienia na pasku bocznym.
  3. Wybierz Niestandardowe
  4. Wprowadź adres IP serwera DNS w polu.

Prosty serwer DNS może również służyć do równoważenia obciążenia połączeń klientów między wszystkimi dostępnymi punktami instalacji pamięci podręcznej.

Dowiedz się więcej o sieciach wirtualnych platformy Azure i konfiguracjach serwera DNS w temacie Rozpoznawanie nazw dla zasobów w sieciach wirtualnych platformy Azure.

Dostęp do serwera NTP

Usługa HPC Cache wymaga dostępu do serwera NTP w celu regularnej operacji. Jeśli ograniczysz ruch wychodzący z sieci wirtualnych, pamiętaj, aby zezwolić na ruch do co najmniej jednego serwera NTP. Serwer domyślny to time.windows.com, a pamięć podręczna kontaktuje się z tym serwerem na porcie UDP 123.

Utwórz regułę w grupie zabezpieczeń sieci w ramach swojej sieci cache, która zezwala na ruch wychodzący do serwera NTP. Reguła może po prostu zezwalać na cały ruch wychodzący na porcie UDP 123 lub mieć więcej ograniczeń.

Ten przykład jawnie otwiera ruch wychodzący do adresu IP 168.61.215.74, który jest adresem używanym przez time.windows.com.

Upewnij się, że reguła NTP ma wyższy priorytet niż wszystkie reguły, które zasadniczo odmawiają dostępu wychodzącego.

Więcej wskazówek dotyczących dostępu NTP:

• Jeśli masz zapory sieciowe między HPC Cache a serwerem NTP, upewnij się, że te zapory umożliwiają dostęp do NTP.

• Serwer NTP używany przez usługę HPC Cache można skonfigurować na stronie Sieć . Aby uzyskać więcej informacji, zobacz Konfigurowanie dodatkowych ustawień .

Dostęp do usługi Azure Queue Storage

Pamięć podręczna musi być w stanie bezpiecznie uzyskać dostęp do usługi Azure Queue Storage z poziomu dedykowanej podsieci. Usługa Azure HPC Cache używa usługi kolejki podczas komunikowania informacji o konfiguracji i stanie.

Jeśli pamięć podręczna nie może uzyskać dostępu do usługi kolejki, podczas tworzenia pamięci podręcznej może pojawić się komunikat błędu CacheConnectivityError.

Istnieją dwa sposoby zapewniania dostępu:

• Utwórz punkt końcowy usługi Azure Storage w podsieci bufora. Przeczytaj artykuł Dodawanie podsieci sieci wirtualnej, aby uzyskać instrukcje dotyczące dodawania punktu końcowego usługi Microsoft.Storage .

• Skonfiguruj indywidualnie dostęp do domeny usługi kolejki Azure Storage w sieciowej grupie zabezpieczeń lub innych zaporach.

  Dodaj reguły zezwalania na dostęp na tych portach:

  • Port TCP 443 na potrzeby bezpiecznego ruchu do dowolnego hosta w queue.core.windows.net domeny (*.queue.core.windows.net).

  • Port TCP 80 — używany do weryfikacji certyfikatu po stronie serwera. Jest to czasami nazywane sprawdzaniem listy odwołania certyfikatów (CRL) i komunikacją protokołu OCSP (Online Certificate Status Protocol). Wszystkie pliki *.queue.core.windows.net używają tego samego certyfikatu, a tym samym serwerów CRL/OCSP. Nazwa hosta jest przechowywana w certyfikacie SSL po stronie serwera.

  Aby uzyskać więcej informacji, zapoznaj się z poradami dotyczącymi reguł zabezpieczeń w dostępie NTP .

  To polecenie wyświetla listę serwerów CRL i OCSP, które muszą mieć dozwolony dostęp. Te serwery muszą być rozpoznawane przez system DNS i osiągalne na porcie 80 z podsieci buforującej.

  
  openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
  
  

  Dane wyjściowe wyglądają mniej więcej tak i mogą ulec zmianie, jeśli certyfikat SSL zostanie zaktualizowany:

  OCSP - URI:http://ocsp.msocsp.com
  CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  

Możesz sprawdzić łączność podsieci przy użyciu tego polecenia z testowej maszyny wirtualnej wewnątrz podsieci:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Pomyślne połączenie daje następujący rezultat:

OCSP Response Status: successful (0x0)

Dostęp do serwera zdarzeń

Usługa Azure HPC Cache używa punktów końcowych serwera zdarzeń platformy Azure do monitorowania kondycji pamięci podręcznej i wysyłania informacji diagnostycznych.

Upewnij się, że pamięć podręczna może bezpiecznie uzyskać dostęp do hostów w domenie events.data.microsoft.com — czyli otwórz port TCP 443 dla ruchu do *.events.data.microsoft.com.

Permissions

Przed rozpoczęciem tworzenia pamięci podręcznej sprawdź wymagania wstępne związane z uprawnieniami.

• Instancja pamięci podręcznej musi mieć możliwość tworzenia wirtualnych interfejsów sieciowych (NIC). Użytkownik tworzący pamięć podręczną musi mieć wystarczające uprawnienia w subskrypcji, aby utworzyć interfejsy sieciowe.

• W przypadku korzystania z usługi Blob storage, usługa Azure HPC Cache wymaga autoryzacji, aby uzyskać dostęp do konta magazynowego. Użyj kontroli dostępu opartej na rolach (RBAC) platformy Azure, aby udzielić pamięci podręcznej dostępu do usługi Blob Storage. Wymagane są dwie role: Współautor konta usługi Storage i Współautor danych obiektu blob usługi Storage.

  Postępuj zgodnie z instrukcjami w temacie Dodawanie miejsc docelowych magazynu, aby dodać role.

Infrastruktura magazynu

Pamięć podręczna obsługuje kontenery obiektów blob platformy Azure, eksporty magazynów sprzętowych NFS i kontenery obiektów blob usługi ADLS zainstalowane w systemie plików NFS. Dodaj cele magazynowania po utworzeniu pamięci podręcznej.

Każdy typ magazynu ma określone wymagania wstępne.

Wymagania dotyczące usługi Blob Storage

Jeśli chcesz używać usługi Azure Blob Storage z pamięcią podręczną, potrzebujesz zgodnego konta magazynu i pustego kontenera obiektów blob lub kontenera wypełnionego sformatowanymi danymi usługi Azure HPC Cache zgodnie z opisem w temacie Przenoszenie danych do usługi Azure Blob Storage.

Przed podjęciem próby dodania miejsca docelowego magazynu utwórz konto. Podczas dodawania obiektu docelowego można utworzyć nowy kontener.

Aby utworzyć zgodne konto magazynu, użyj jednej z następujących kombinacji:

Konto magazynu musi być dostępne z prywatnej podsieci cache. Jeśli twoje konto używa prywatnego punktu końcowego lub publicznego punktu końcowego, który jest ograniczony do określonych sieci wirtualnych, upewnij się, że dostęp z podsieci pamięci podręcznej jest włączony. ( Nie zaleca się otwierania publicznego punktu końcowego).

Przeczytaj Artykuł Praca z prywatnymi punktami końcowymi , aby uzyskać porady dotyczące używania prywatnych punktów końcowych z miejscami docelowymi magazynu HPC Cache.

Dobrym rozwiązaniem jest użycie konta magazynu w tym samym regionie świadczenia usługi Azure co pamięć podręczna.

Należy również przyznać aplikacji pamięci podręcznej dostęp do konta usługi Azure Storage, jak wspomniano powyżej w sekcji Uprawnienia. Postępuj zgodnie z procedurą w temacie Dodawanie obiektów docelowych magazynu, aby przyznać cache wymagane role dostępu. Jeśli nie jesteś właścicielem konta magazynu, poproś właściciela o wykonanie tego kroku.

Wymagania dotyczące magazynu NFS

Jeśli korzystasz z systemu magazynowania NFS (na przykład lokalnego sprzętowego systemu NAS), upewnij się, że spełnia te wymagania. Aby zweryfikować te ustawienia, może być konieczna współpraca z administratorami sieci lub menedżerami zapory dla systemu przechowywania danych lub centrum danych.

Więcej informacji znajduje się w temacie Rozwiązywanie problemów z konfiguracją serwera NAS i obiektem docelowym magazynu NFS.

• Łączność sieciowa: usługa Azure HPC Cache wymaga dostępu do sieci o wysokiej przepustowości między podsiecią pamięci podręcznej a centrum danych systemu plików NFS. Zalecana jest usługa ExpressRoute lub podobny dostęp. Korzystając z VPN, może być konieczne jej skonfigurowanie, aby ustawić ograniczenie TCP MSS na poziomie 1350, aby upewnić się, że duże pakiety nie są blokowane. Przeczytaj ograniczenia dotyczące rozmiaru pakietów sieci VPN , aby uzyskać więcej pomocy w rozwiązywaniu problemów z ustawieniami sieci VPN.

• Dostęp do portów: pamięć podręczna musi mieć dostęp do określonych portów TCP/UDP w systemie przechowywania danych. Różne typy magazynów mają różne wymagania dotyczące portów.

  Aby sprawdzić ustawienia systemu pamięci masowej, wykonaj tę procedurę.

  • Wydaj polecenie rpcinfo do systemu magazynującego, aby sprawdzić potrzebne porty. Poniższe polecenie wyświetla listę portów i formatuje odpowiednie wyniki w tabeli. (Użyj adresu IP systemu zamiast <terminu storage_IP> ).

    To polecenie można wydać z dowolnego klienta systemu Linux z zainstalowaną infrastrukturą NFS. Jeśli używasz klienta wewnątrz podsieci klastra, może również pomóc zweryfikować łączność między podsiecią a systemem przechowywania danych.

    rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
    

  Upewnij się, że wszystkie porty zwrócone przez rpcinfo zapytanie zezwalają na nieograniczony ruch z podsieci usługi Azure HPC Cache.

  • Jeśli nie możesz użyć rpcinfo polecenia , upewnij się, że te powszechnie używane porty zezwalają na ruch przychodzący i wychodzący:

    Protokół	Port	Usługa
    TCP/UDP	111	rpcbind
    TCP/UDP	2049	NFS
    TCP/UDP	4045	nlockmgr
    TCP/UDP	4046	zamontowany
    TCP/UDP	4047	stan

    Niektóre systemy używają różnych numerów portów dla tych usług — zapoznaj się z dokumentacją systemu magazynowania, aby się upewnić.

  • Sprawdź ustawienia zapory, aby upewnić się, że zezwalają na ruch na wszystkich tych wymaganych portach. Pamiętaj, aby sprawdzić zapory używane na platformie Azure, a także zapory lokalne w centrum danych.

• Pamięć zaplecza NFS musi być kompatybilną platformą sprzętową i programową. Magazyn musi obsługiwać system plików NFS w wersji 3 (NFSv3). Aby uzyskać szczegółowe informacje, skontaktuj się z zespołem usługi Azure HPC Cache.

Wymagania dotyczące magazynu zainstalowanego w systemach plików NFS (ADLS-NFS)

Usługa Azure HPC Cache może również używać kontenera obiektów blob zamontowanego z protokołem NFS jako docelowego obiektu magazynu.

Dowiedz się więcej o tej funkcji w obsłudze protokołu NFS 3.0 w usłudze Azure Blob Storage.

Wymagania dotyczące konta magazynu różnią się w przypadku docelowego magazynu obiektów blob opartego na ADLS-NFS oraz standardowego magazynu obiektów blob. Postępuj dokładnie zgodnie z instrukcjami w Instalowanie usługi Blob Storage z wykorzystaniem protokołu NFS 3.0, aby utworzyć i skonfigurować konto magazynu obsługujące NFS.

Jest to ogólne omówienie kroków. Te kroki mogą ulec zmianie, dlatego zawsze zapoznaj się z ADLS-NFS instrukcjami dotyczącymi bieżących szczegółów.

1. Upewnij się, że potrzebne funkcje są dostępne w regionach, w których planujesz pracować.

2. Włącz funkcję protokołu NFS dla subskrypcji. Zrób to przed utworzeniem konta pamięci masowej.

3. Utwórz bezpieczną sieć wirtualną dla konta magazynowego. Powinieneś użyć tej samej sieci wirtualnej dla konta magazynu z obsługą systemu plików NFS oraz dla usługi Azure HPC Cache. (Nie używaj tej samej podsieci, co pamięć podręczna).

4. Utwórz konto magazynowe.

   • Zamiast używać ustawień konta magazynu dla standardowego konta usługi Blob Storage, postępuj zgodnie z instrukcjami w dokumencie. Obsługiwany typ konta magazynu może się różnić w zależności od regionu świadczenia usługi Azure.

   • W sekcji Sieć wybierz prywatny punkt końcowy w utworzonej bezpiecznej sieci wirtualnej (zalecane) lub wybierz publiczny punkt końcowy z ograniczonym dostępem z bezpiecznej sieci wirtualnej.

     Przeczytaj Artykuł Praca z prywatnymi punktami końcowymi, aby uzyskać porady dotyczące używania prywatnych punktów końcowych z celami magazynowania HPC Cache.

   • Nie zapomnij ukończyć sekcji Zaawansowane, w której włączono dostęp do systemu plików NFS.

   • Nadaj aplikacji pamięci podręcznej dostęp do konta usługi Azure Storage, zgodnie z opisem w sekcji Uprawnienia, powyżej. Możesz to zrobić przy pierwszym utworzeniu celu składowania. Postępuj zgodnie z procedurą w temacie Dodawanie obiektów docelowych magazynu, aby przyznać cache wymagane role dostępu.

     Jeśli nie jesteś właścicielem konta magazynu, poproś właściciela o wykonanie tego kroku.

Dowiedz się więcej na temat używania celów magazynowych ADLS-NFS z usługą Azure HPC Cache w Używanie magazynu obiektów blob zainstalowanych w NFS z usługą Azure HPC Cache.

Praca z prywatnymi punktami końcowymi

Usługa Azure Storage obsługuje prywatne punkty końcowe, aby umożliwić bezpieczny dostęp do danych. Prywatne punkty końcowe można używać z obiektami docelowymi magazynu obiektów blob platformy Azure lub zainstalowanymi w systemie plików NFS.

Dowiedz się więcej o prywatnych punktach końcowych

Prywatny punkt końcowy udostępnia określony adres IP, z którego korzysta HPC Cache do komunikacji z zapleczowym systemem magazynowania. Jeśli ten adres IP ulegnie zmianie, pamięć podręczna nie może automatycznie ponownie nawiązać połączenia z pamięcią masową.

Jeśli musisz zmienić konfigurację prywatnego punktu końcowego, wykonaj tę procedurę, aby uniknąć problemów z komunikacją między magazynem a pamięcią podręczną HPC:

1. Wstrzymaj cel magazynowania (lub wszystkie cele magazynowania korzystające z tego prywatnego punktu końcowego).
2. Wprowadź zmiany w prywatnym punkcie końcowym i zapisz te zmiany.
3. Przywróć docelowy magazyn do działania za pomocą polecenia "resume".
4. Odśwież ustawienie DNS miejsca docelowego magazynu.

Przeczytaj artykuł Wyświetlanie obiektów docelowych magazynu i zarządzanie nimi , aby dowiedzieć się, jak wstrzymać, wznowić i odświeżyć system DNS dla miejsc docelowych magazynu.

Konfigurowanie dostępu do interfejsu wiersza polecenia platformy Azure (opcjonalnie)

Jeśli chcesz utworzyć pamięć podręczną Azure HPC Cache lub zarządzać nią z poziomu interfejsu wiersza polecenia platformy Azure, musisz zainstalować interfejs wiersza polecenia platformy Azure i rozszerzenie hpc-cache. Postępuj zgodnie z instrukcjami w temacie Konfigurowanie interfejsu wiersza polecenia platformy Azure dla usługi Azure HPC Cache.

Następne kroki

• Utworzyć wystąpienie usługi Azure HPC Cache w portalu Azure