Użyj Data Box do migracji z Network Attached Storage (NAS) do udostępnień plików Azure

✔️ Dotyczy: klasyczne udziały plików SMB utworzone za pomocą dostawcy zasobów Microsoft.Storage

✖️ Nie dotyczy: wszystkich udziałów plików NFS, w tym udziałów plików utworzonych przy użyciu dostawcy zasobów Microsoft.FileShares lub klasycznych udziałów plików utworzonych przy użyciu dostawcy zasobów Microsoft.Storage

Ten artykuł migracyjny jest jednym z kilku dotyczących słów kluczowych NAS i Azure Data Box. Sprawdź, czy ten artykuł ma zastosowanie do twojego scenariusza:

Jeśli twój scenariusz jest inny, zapoznaj się z tabelą przewodników migracji.

W tym artykule przedstawiono kompleksowe instrukcje dotyczące planowania, wdrażania i konfiguracji sieci potrzebnych do migracji z urządzenia NAS do funkcjonalnych udziałów plików platformy Azure. Ten przewodnik wykorzystuje Azure Data Box do masowego transportu danych (offline data transport).

Cele migracji

Celem jest przeniesienie udziałów na urządzeniu NAS na platformę Azure i przeniesienie ich na natywne udziały plików platformy Azure. Możesz korzystać z natywnych udostępnień plików platformy Azure bez potrzeby używania systemu Windows Server. Ta migracja musi odbywać się w sposób gwarantujący integralność danych produkcyjnych i dostępności podczas migracji. Ten ostatni wymaga minimalnego przestoju, dzięki czemu może mieścić się w oknach obsługi lub tylko nieznacznie przekraczać regularne okna obsługi.

Omówienie migracji

Proces migracji składa się z kilku faz. Najpierw wdroż konta pamięci Azure i udostępnienia plików oraz skonfiguruj sieci. Następnie migruj swoje pliki, korzystając z Azure Data Box i RoboCopy, aby nadrobić zmiany. Na koniec przenieś użytkowników i aplikacje do nowo utworzonych udostępnień plików Azure. W poniższych sekcjach szczegółowo opisano fazy procesu migracji.

Faza 1. Identyfikowanie liczby potrzebnych udziałów plików platformy Azure

Określ, ile udziałów plików platformy Azure potrzebujesz. Być może masz więcej folderów na dyskach, które obecnie udostępniasz lokalnie użytkownikom i aplikacjom jako zasoby SMB. W zależności od liczby udostępnionych plików, które chcesz przenieść do chmury, wybierz mapowanie jeden do jednego lub grupowanie udostępnień.

Używanie mapowania 1:1

Jeśli masz niewielką liczbę udziałów, użyj mapowania jeden do jednego. Najłatwiej wyobrazić sobie ten scenariusz jako lokalny udział sieciowy, który jest odwzorowany jeden do jednego na udział plików platformy Azure.

Korzystanie z grupowania udziałów

Jeśli masz dużą liczbę udziałów dyskowych, rozważ ich grupowanie. Jeśli na przykład dział kadr (HR) ma 15 udziałów, możesz rozważyć przechowywanie wszystkich danych kadrowych w jednym udziale plików platformy Azure. Dzięki temu dla tej grupy lokalnych udziałów potrzebny jest tylko jeden udział plików Azure w chmurze.

Faza 2. Wdrażanie zasobów usługi Azure Storage

W tej fazie należy zaaranżować konta pamięci Azure oraz udostępnione pliki w ich obrębie.

Pamiętaj, że udział plików platformy Azure jest wdrażany w chmurze na koncie usługi Azure Storage. W przypadku udziałów plików HDD (w warstwie Standardowej), to rozwiązanie sprawia, że konto magazynu staje się celem skalowania wydajności pod względem liczby operacji we/wy na sekundę oraz przepływności. Jeśli umieszczasz wiele udziałów plikowych w jednym koncie magazynowym, tworzysz udostępnioną pulę operacji wejścia/wyjścia na sekundę (IOPS) i przepływność dla tych udziałów.

Ogólnie rzecz biorąc, można umieścić wiele udziałów plików platformy Azure na tym samym koncie magazynowym, jeśli masz udziały archiwalne lub spodziewasz się w nich niskiej codziennej aktywności. Jednak jeśli masz bardzo aktywne udostępnienia (udostępnione przez wielu użytkowników i aplikacje), wdroż konta pamięci masowej z jednym udziałem plików każdy. Te ograniczenia nie mają zastosowania do kont magazynu FileStorage (SSD), w których wydajność jest wyraźnie zapewniona i gwarantowana dla każdego udziału.

Kolejną kwestią podczas wdrażania konta przechowywania jest nadmiarowość. Zobacz Nadmiarowość usługi Azure Files.

Jeśli zrobisz listę swoich udziałów, przypisz je do konta pamięci, na którym je tworzysz.

Nazwy twoich zasobów są również ważne. Na przykład, jeśli grupujesz wiele udziałów dla działu HR w konto Azure, odpowiednio nazwij to konto. Podobnie, gdy nazywasz swoje udostępnione pliki Azure, używaj nazw podobnych do tych używanych dla ich lokalnych odpowiedników.

Teraz wdróż odpowiednią liczbę kont usługi Azure Storage z odpowiednią liczbą udziałów plików platformy Azure w nich, postępując zgodnie z instrukcjami w temacie Tworzenie udziału plików SMB. W większości przypadków upewnij się, że region każdego z Twoich kont magazynowych jest taki sam.

Faza 3. Określanie liczby potrzebnych urządzeń Azure Data Box

Rozpocznij ten etap dopiero po ukończeniu poprzedniej fazy. W tym momencie powinieneś mieć już utworzone zasoby pamięci Azure, w tym konta i udostępnione pliki. Podczas zamówienia Data Box musisz określić, do których kont magazynowych Data Box przenosi dane.

W tej fazie należy odwzorować wyniki planu migracji z poprzedniej fazy do limitów dostępnych opcji Data Box. Te kwestie pomagają opracować plan wyboru opcji usługi Data Box oraz określić, ilu urządzeń potrzebujesz, aby przenieść udziały NAS do udziałów plików platformy Azure.

Aby określić liczbę potrzebnych urządzeń, należy wziąć pod uwagę następujące ważne limity:

• Każdy Azure Data Box może przenosić dane do maksymalnie 10 kont pamięciowych.
• Każda opcja Data Box ma własną użyteczną pojemność. Zobacz Opcje urządzenia Data Box.

Sprawdź swój plan migracji, aby poznać liczbę kont magazynowych, które zdecydowałeś się utworzyć, oraz udziały w każdym z nich. Następnie przyjrzyj się rozmiarowi poszczególnych udziałów na serwerze NAS. Połączenie tych informacji pozwala zdecydować, które urządzenie powinno przesyłać dane do których kont pamięci masowej. Możesz mieć dwa urządzenia Data Box przenoszące pliki na to samo konto pamięci, ale nie dziel zawartości jednego udziału plików między dwa urządzenia Data Box.

Opcje urządzenia Data Box

Dla standardowej migracji wybierz jedną lub kombinację tych dwóch opcji Data Box:

• Data Box Ta opcja jest najczęściej wybierana. To wytrzymałe urządzenie Data Box, które działa podobnie jak NAS. Jest dostarczany z użytkową pojemnością 80 TiB. Aby uzyskać więcej informacji, zobacz dokumentację urządzenia Data Box.
• Data Box Heavy Ta opcja wykorzystuje wytrzymałe urządzenie Data Box na kółkach, działające podobnie jak NAS, o pojemności 1 PiB. Pojemność do wykorzystania wynosi około 20% mniej ze względu na obciążenie związane z szyfrowaniem i systemem plików. Aby uzyskać więcej informacji, zobacz dokumentację urządzenia Data Box Heavy.

Faza 4. Aprowizuj tymczasowy system Windows Server

Czekając na przybycie urządzeń Azure Data Box, możesz już wdrożyć jeden lub więcej serwerów Windows potrzebnych do uruchamiania zadań RoboCopy. Wymagania dotyczące wersji systemu operacyjnego zobacz ważną informację w sekcji RoboCopy.

• Używaj tych serwerów do kopiowania plików na Data Box.
• Używaj tych serwerów, aby nadrobić zmiany zachodzące na urządzeniu NAS podczas transportu Data Boxa. Takie podejście utrzymuje czas przestoju po stronie źródłowej na minimalnym poziomie.

Szybkość, z jaką działają Twoje zadania RoboCopy, zależy głównie od następujących czynników:

• IOPS w pamięci masowej źródłowej i docelowej
• dostępna przepustowość sieci między nimi
  Znajdź więcej szczegółowych informacji: Zagadnienia dotyczące IOPS i przepustowości
• możliwość szybkiego przetwarzania plików i folderów w przestrzeni nazw
  Znajdź więcej szczegółów: Szybkość przetwarzania
• liczba zmian między uruchomieniami RoboCopy
  Znajdź więcej szczegółów: Unikaj niepotrzebnej pracy

Miej na uwadze wspomniane szczegóły, decydując o ilości pamięci RAM oraz liczbie wątków, które przydzielasz tymczasowym serwerom z systemem Windows Server.

Faza 5: Przygotowywanie do korzystania z udziałów plików Azure

Aby zaoszczędzić czas, kontynuuj ten etap, czekając na przybycie Data Boxa. Dzięki informacjom z tej fazy możesz zdecydować, jak Twoje serwery i użytkownicy mogą korzystać z udostępnionych plików Azure. Najważniejsze decyzje to:

• Sieci: Umożliwiaj sieciom kierowanie ruchu SMB.
• Uwierzytelniania: Konfigurowanie kont usługi Azure Storage na potrzeby uwierzytelniania Kerberos. Microsoft Entra Connect oraz dołączenie konta magazynu do domeny umożliwiają aplikacjom i użytkownikom korzystanie z tożsamości AD do uwierzytelniania.
• Autoryzacja: Listy ACL na poziomie udziału dla każdego udziału plików Azure umożliwiają użytkownikom i grupom AD dostęp do danego udziału, a w obrębie udziału plików Azure zaczynają obowiązywać natywne listy ACL systemu NTFS. Autoryzacja oparta na listach kontroli dostępu (ACL) plików i folderów działa tak samo, jak w przypadku udziałów SMB w środowisku lokalnym.
• Ciągłość działalności: Integracja udostępnionych plików Azure z istniejącym środowiskiem często wiąże się z zachowaniem istniejących adresów udostępnianych. Jeśli nie używasz jeszcze przestrzeni nazw systemu plików DFS, rozważ ustanowienie go w danym środowisku. Możesz zachować adresy udostępnienia, których używają użytkownicy i skrypty, bez zmian. DFS-N można użyć jako usługi routingu przestrzeni nazw dla protokołu SMB, przekierowując cele przestrzeni nazw DFS do udostępniania plików Azure po ich migracji.

Faza 6: Skopiuj pliki do swojego Data Boxa

Gdy Twój Data Box dotrze, skonfiguruj go z niezakłóconą łącznością sieciową z urządzeniem NAS. Postępuj zgodnie z dokumentacją konfiguracji typu Data Box, który zamówiłeś.

• Konfigurowanie urządzenia Data Box
• Konfigurowanie urządzenia Data Box Disk
• Konfigurowanie urządzenia Data Box Heavy

W zależności od typu Data Box, możesz mieć dostęp do narzędzi do kopiowania DataBox. Na tym etapie nie używaj ich do migracji na Azure, ponieważ nie kopiują plików z pełną wiernością do Data Boxa. Zamiast tego użyj narzędzia RoboCopy.

Gdy Twój Data Box dotrze, ma on wstępnie skonfigurowane udziały SMB dostępne dla każdego konta dyskowego, które wybrałeś podczas zamówienia.

• Jeśli pliki trafiają do udziału plików platformy Azure na dysku SSD, na każde konto magazynu SSD „File storage” przypada jeden udział SMB.
• Jeśli pliki trafiają do konta magazynu HDD, na każde konto magazynu HDD w modelu płatności zgodnie z użyciem przypadają trzy udziały SMB. Tylko udział plików kończący się na _AzFile jest istotny na potrzeby migracji. Ignoruj udziały dotyczące blobów blokowych i stronicowych.

Jak Data Box mapuje foldery na Azure file share

W ramach udostępniania <storage-account-name>_AzFile urządzenia każdy folder pierwszego poziomu mapuje się na udostępnienie plików Azure na docelowym koncie pamięci:

• Nazwa folderu pierwszego poziomu staje się nazwą udostępnienia pliku Azure podczas pobierania. Jeśli udostępnienie o tej nazwie nie istnieje jeszcze na docelowym koncie pamięci, Data Box je tworzy. Jeśli taki udział istnieje, urządzenie Data Box kopiuje dane do tego istniejącego udziału.

• Nie kopiuj plików bezpośrednio do rootu udostępnienia _AzFile . Wszystkie dane muszą znaleźć się w folderze pierwszego poziomu.

• Aby uzyskać mapowanie jeden do jednego między źródłowymi udziałami SMB, utwórz jeden folder pierwszego poziomu dla każdego udziału źródłowego (używając żądanej nazwy udziału plików platformy Azure) i skopiuj każdy udział źródłowy do odpowiadającego mu folderu. Przykład:

  \\<DataBox-IP>\<storage-account-name>_AzFile\Share1
  \\<DataBox-IP>\<storage-account-name>_AzFile\Share2
  \\<DataBox-IP>\<storage-account-name>_AzFile\Share3
  

Więcej informacji można znaleźć w artykule Połącz się z Data Box.

Wykonaj kroki opisane w dokumentacji usługi Azure Data Box:

1. Nawiązywanie połączenia z urządzeniem Data Box
2. Kopiowanie danych na urządzenie Data Box
3. Przejrzyj plik logu RoboCopy pod kątem błędów, aby potwierdzić, że wszystkie pliki zostały skopiowane pomyślnie.
4. Przygotuj swój Data Box do odlotu do Azure

Podlinkowana dokumentacja usługi Data Box zawiera polecenie RoboCopy. Jednak polecenie to nie nadaje się do zachowania pełnej wierności pliku i folderów. To polecenie używa /MT:32, ponieważ jest to lokalna kopia LAN do urządzenia Data Box z pomijalnym opóźnieniem, więc odpowiednia jest tu większa liczba wątków niż w przypadku kopii uzupełniającej opartej na sieci WAN w fazie 7:

Robocopy /MT:32 /NP /NFL /NDL /B /MIR /IT /COPY:DATSO /DCOPY:DAT /UNILOG:<FilePathAndName> <SourcePath> <Dest.Path> 

• Aby dowiedzieć się więcej na temat szczegółów poszczególnych flag narzędzia RoboCopy, zapoznaj się z tabelą w nadchodzącej sekcji narzędzia RoboCopy.
• Aby dowiedzieć się więcej na temat odpowiedniego rozmiaru liczby /MT:nwątków, zoptymalizować szybkość narzędzia RoboCopy i uczynić narzędzie RoboCopy dobrym sąsiadem w centrum danych, zapoznaj się z sekcją rozwiązywania problemów z narzędziem RoboCopy.

Faza 7. Nadrabianie zaległości za pomocą narzędzia RoboCopy z serwera NAS

Gdy Data Box poinformuje, że umieścił wszystkie pliki i foldery w zaplanowanych udziałach plików platformy Azure, przejdź do tego etapu. Kopiowanie uzupełniające za pomocą RoboCopy jest potrzebne tylko wtedy, gdy dane na serwerze NAS mogły ulec zmianie od momentu rozpoczęcia kopiowania za pomocą urządzenia Data Box. W niektórych scenariuszach, w których używasz udziału do celów archiwizacji, może być możliwe zatrzymanie wprowadzania zmian w udziale na serwerze NAS do momentu zakończenia migracji. Możesz również mieć możliwość obsługi wymagań biznesowych, ustawiając udziały NAS na tylko do odczytu podczas migracji.

W przypadkach, gdy podczas migracji potrzebujesz udziału plików z uprawnieniami do odczytu i zapisu i możesz sobie pozwolić jedynie na krótkie okno przestoju, ten etap końcowej synchronizacji za pomocą RoboCopy należy wykonać przed przełączeniem awaryjnym dostępu użytkowników bezpośrednio na udział plików platformy Azure.

W tym kroku uruchom zadania RoboCopy, aby zsynchronizować udziały w chmurze z najnowszymi zmianami na serwerze NAS od czasu skopiowania udziałów do urządzenia Data Box. To nadrabiające kopiowanie za pomocą narzędzia RoboCopy może zakończyć się szybko albo trochę potrwać, w zależności od skali zmian, jakie zaszły w udziałach NAS.

Uruchom pierwszą kopię lokalną do folderu docelowego systemu Windows Server:

1. Zidentyfikuj pierwszą lokalizację na urządzeniu NAS.
2. Zidentyfikuj odpowiadający udostępniony zasób Azure.
3. Zainstaluj udział plików platformy Azure jako dysk sieciowy lokalny w tymczasowym systemie Windows Server.
4. Uruchom kopię przy użyciu narzędzia RoboCopy zgodnie z opisem.

Instalowanie udziału plików platformy Azure

Przed rozpoczęciem korzystania z narzędzia RoboCopy należy udostępnić udział plików platformy Azure za pośrednictwem protokołu SMB. Najprostszym sposobem jest zainstalowanie udziału jako dysku sieciowego lokalnego do systemu Windows Server, którego planujesz używać na potrzeby narzędzia RoboCopy.

Gdy wszystko będzie gotowe, zapoznaj się z artykułem Instrukcje: używanie udziału plików platformy Azure w systemie Windows i zamontuj udział plików platformy Azure, dla którego chcesz rozpocząć nadrabianie zaległości NAS za pomocą narzędzia RoboCopy.

RoboCopy

Poniższe polecenie RoboCopy kopiuje tylko różnice (zaktualizowane pliki i foldery) z pamięci NAS do udostępniania plików Azure.

robocopy <SourcePath> <Dest.Path> /MT:20 /R:2 /W:1 /B /MIR /IT /COPY:DATSO /DCOPY:DAT /NP /NFL /NDL /XD "System Volume Information" /UNILOG:<FilePathAndName> 

Przełączenie użytkownika

Po uruchomieniu polecenia RoboCopy po raz pierwszy użytkownicy i aplikacje nadal uzyskują dostęp do plików na serwerze NAS i potencjalnie je zmieniają. Możliwe, że narzędzie RoboCopy przetworzyło katalog, przechodzi do następnego, a następnie użytkownik w lokalizacji źródłowej (NAS) dodaje, zmienia lub usuwa plik, który nie będzie teraz przetwarzany w tym bieżącym uruchomieniu narzędzia RoboCopy. To zachowanie jest oczekiwane.

Pierwszy przebieg polega na przeniesieniu głównej części przetworzonych danych do udziału plików Azure. Ta pierwsza kopia może chwilę potrwać. Zapoznaj się z sekcją Rozwiązywanie problemów, aby uzyskać więcej informacji na temat tego, co może mieć wpływ na szybkość narzędzia RoboCopy.

Po zakończeniu początkowego uruchomienia wykonaj polecenie ponownie.

Przy drugim uruchomieniu RoboCopy dla tego samego zasobu sieciowego program kończy działanie szybciej, ponieważ musi przesłać tylko zmiany, które zaszły od ostatniego uruchomienia. Można uruchamiać powtarzające się zadania dla tego samego udziału.

Jeśli uznasz akceptowalny czas przestoju, musisz usunąć dostęp użytkowników do udostępnionych zasobów NAS. Można to zrobić, wykonując wszystkie kroki, które uniemożliwiają użytkownikom zmianę struktury plików i folderów oraz zawartości. Przykładem jest wskazanie DFS-Namespace lokalizacji innej niż istniejąca lub zmiana głównych list ACL w udziale.

Uruchom jedną ostatnią rundę narzędzia RoboCopy. Rejestruje wszelkie zmiany, które mogły zostać przeoczone. Czas wykonywania tego ostatniego kroku zależy od szybkości skanowania za pomocą narzędzia RoboCopy. Możesz oszacować czas (który odpowiada Twojemu przestojowi), mierząc, ile trwało poprzednie uruchomienie.

Utwórz udostępnienie w folderze na serwerze Windows i ewentualnie dostosuj wdrożenie systemu plików DFS-N, aby na niego wskazywało. Pamiętaj, aby ustawić te same uprawnienia na poziomie udziału sieciowego co w udziale SMB Twojego NAS. Jeśli masz serwer NAS przyłączony do domeny klasy przedsiębiorstwa, identyfikatory SID użytkowników będą automatycznie dopasowane, ponieważ użytkownicy istnieją w usłudze Active Directory, a RoboCopy kopiuje pliki i metadane z pełną wiernością. Jeśli używasz użytkowników lokalnych na serwerze NAS, musisz ponownie utworzyć tych użytkowników jako użytkowników lokalnych systemu Windows Server i mapować istniejące identyfikatory SID RoboCopy przeniesione do systemu Windows Server do identyfikatorów SID nowych użytkowników lokalnych systemu Windows Server.

Zakończyłeś migrację udziału lub grupy udziałów do wspólnego korzenia lub woluminu.

Możesz spróbować uruchomić kilka z tych kopii równolegle. Przetwarzaj zakres jednego udostępnienia plików Azure naraz.

Rozwiązywanie problemów

Szybkość i skuteczność uruchomienia RoboCopy zależą od kilku czynników:

• IOPS w pamięci masowej źródłowej i docelowej
• dostępna przepustowość sieci między źródłem a obiektem docelowym
• możliwość szybkiego przetwarzania plików i folderów w przestrzeni nazw
• liczba zmian między uruchomieniami narzędzia RoboCopy
• rozmiar i liczba plików, które należy skopiować

Rozważania nad IOPS i przepustowością

W tej kategorii należy wziąć pod uwagę możliwości magazynu źródłowego, magazynu docelowego i sieci łączącej je. Maksymalna możliwa przepływność jest określana przez najwolniejsze z tych trzech składników. Upewnij się, że infrastruktura sieciowa jest skonfigurowana w sposób umożliwiający obsługę optymalnych prędkości transferu w pełni swoich możliwości.

Kopiowanie tak szybko, jak to możliwe, może nie być pożądane, gdy istnieje ryzyko, że migracja może zmonopolizować dostępne zasoby.

• Zastanów się, kiedy najlepiej jest uruchamiać migracje: w ciągu dnia, poza godzinami pracy lub w weekendy.
• Należy również rozważyć użycie funkcji QoS sieci w systemie Windows Server, aby ograniczyć szybkość narzędzia RoboCopy.
• Unikaj niepotrzebnej pracy przy narzędziach migracji.

Narzędzie RoboCopy może wstawiać opóźnienia między pakietami, używając przełącznika /IPG:n, gdzie n jest mierzony w milisekundach między pakietami RoboCopy. Użycie tego przełącznika może pomóc uniknąć monopolizacji zasobów zarówno na urządzeniach ograniczonych I/O, jak i na zatłoczonych łączach sieciowych.

/IPG:n Nie można używać do precyzyjnego ograniczania przepustowości sieci do określonego Mb/s. Zamiast tego należy użyć funkcji QoS sieci systemu Windows Server. Narzędzie RoboCopy całkowicie opiera się na protokole SMB dla wszystkich potrzeb sieciowych. Użycie protokołu SMB jest powodem, dla którego narzędzie RoboCopy nie może wpływać na samą przepływność sieci, ale może spowolnić jego użycie.

Podobny sposób myślenia ma zastosowanie do wartości IOPS obserwowanych na NAS. Rozmiar klastra na woluminie NAS, rozmiar pakietów i szereg innych czynników wpływają na obserwowaną liczbę operacji we/wy na sekundę. Wprowadzenie opóźnienia między pakietami jest często najprostszym sposobem kontrolowania obciążenia na serwerze NAS. Testuj wiele wartości, na przykład od około 20 milisekund (n=20) do wielokrotności tej liczby. Po wprowadzeniu opóźnienia możesz ocenić, czy pozostałe aplikacje mogą teraz działać zgodnie z oczekiwaniami. Ta strategia optymalizacji pomaga znaleźć optymalną prędkość RoboCopy w Twoim środowisku.

Szybkość przetwarzania

RoboCopy przeszukuje przypisaną przestrzeń nazw i ocenia każdy plik oraz folder pod kątem kopiowania. Analizuje każdy plik podczas kopii początkowej oraz podczas nadrabiania zaległości. Na przykład powtarzające się uruchomienia RoboCopy /MIR na tych samych miejscach pamięci źródłowej i docelowej. Te powtarzające się uruchomienia minimalizują przestoje użytkowników i aplikacji oraz poprawiają ogólną skuteczność migracji plików.

Przepustowość jest często uważana za czynnik ograniczający migrację i może to być prawda. Jednak możliwość wyliczania przestrzeni nazw może w jeszcze większym stopniu wpływać na całkowity czas kopiowania, szczególnie w przypadku większych przestrzeni nazw z mniejszymi plikami. Należy zauważyć, że kopiowanie 1 TiB małych plików zajmuje znacznie więcej czasu niż kopiowanie 1 TiB mniej, ale większych plików, zakładając, że wszystkie pozostałe zmienne pozostają takie same. W związku z tym w przypadku migrowania dużej liczby małych plików może wystąpić powolne przesyłanie. Ta różnica jest oczekiwana.

Przyczyną tej różnicy jest moc obliczeniowa wymagana do przejścia przez przestrzeń nazw. Narzędzie RoboCopy obsługuje kopie wielowątkowe za pośrednictwem parametru /MT:n , w którym n oznacza liczbę wątków do użycia. Dlatego podczas aprowizowania maszyny specjalnie dla narzędzia RoboCopy należy wziąć pod uwagę liczbę rdzeni procesora i ich relację z liczbą wątków, które zapewniają. Najczęściej są to dwa wątki na rdzeń. Liczba rdzeni i wątków maszyny to ważny punkt danych decydujący o tym, jakie wartości wielowątkowe /MT:n należy określić. Należy również rozważyć liczbę zadań narzędzia RoboCopy, które mają być uruchamiane równolegle na danej maszynie.

Więcej wątków kopiuje przykład danych o rozmiarze 1 TiB składający się z małych plików znacznie szybciej niż mniej wątków. Jednocześnie dodatkowa inwestycja zasobów w 1 TiB większych plików może nie przynosić proporcjonalnych korzyści. Wysoka liczba wątków oznacza próbę jednoczesnego kopiowania większej liczby dużych plików przez sieć. Ta dodatkowa aktywność w sieci zwiększa prawdopodobieństwo ograniczenia przepustowości sieci lub operacji IOPS magazynu.

Podczas pierwszego narzędzia RoboCopy do pustego miejsca docelowego lub różnicowego przebiegu z dużą częścią zmienionych plików prawdopodobnie przepustowość sieci jest ograniczona. Zacznij od dużej liczby wątków dla początkowego przebiegu. Duża liczba wątków, nawet poza aktualnie dostępnymi wątkami na maszynie, pomaga usycić dostępną przepustowość sieci. Kolejne uruchomienia /MIR są stopniowo narażone na wpływ przetwarzania elementów. Mniejsza liczba zmian w różnicowym przebiegu oznacza mniej danych przesyłanych przez sieć. Szybkość jest teraz bardziej zależna od możliwości przetwarzania elementów przestrzeni nazw niż przenoszenia ich za pośrednictwem łącza sieciowego. W przypadku kolejnych uruchomień dopasuj liczbę wątków do liczby rdzeni procesora oraz liczby wątków na rdzeń. Rozważ, czy rdzenie muszą być zarezerwowane dla innych zadań, które może mieć serwer produkcyjny.

Unikaj niepotrzebnej pracy

Unikaj zmian na dużą skalę w przestrzeni nazw. Na przykład przenoszenie plików między katalogami, zmienianie właściwości na dużą skalę lub zmienianie uprawnień (listy ACL systemu plików NTFS). Szczególnie zmiany listy ACL mogą mieć duży wpływ, ponieważ często mają kaskadowy wpływ zmian na pliki niższe w hierarchii folderów. Konsekwencje mogą być następujące:

• wydłużony czas wykonywania zadania RoboCopy, ponieważ każdy plik i folder, którego dotyczy zmiana listy ACL, muszą zostać zaktualizowane
• ponowne wykorzystanie danych przeniesionych wcześniej może wymagać ich ponownego skopiowania. Na przykład więcej danych trzeba skopiować, gdy struktura folderów zmienia się po tym, jak pliki są już skopiowane. Zadanie RoboCopy nie może "odtworzyć" zmiany przestrzeni nazw. Następne zadanie musi oczyścić pliki wcześniej przeniesione do starej struktury folderów i ponownie przesłać pliki w nowej strukturze folderów.

Innym ważnym aspektem jest efektywne użycie narzędzia RoboCopy. Korzystając z zalecanego skryptu RoboCopy, tworzysz i zapisujesz plik dziennika błędów. Mogą wystąpić błędy kopiowania i to jest normalne. Te błędy często sprawiają, że konieczne jest uruchomienie wielu rund narzędzia do kopiowania, takiego jak RoboCopy. Na przykład pierwsze uruchomienie, powiedzmy z NAS do urządzenia Data Box lub z serwera do udziału plików platformy Azure, oraz jeden lub więcej dodatkowych przebiegów z przełącznikiem /MIR, aby wychwycić i ponowić próbę skopiowania plików, które nie zostały skopiowane.

Przygotuj się na wielokrotne uruchomienie narzędzia RoboCopy dla danego zakresu przestrzeni nazw. Kolejne przebiegi kończą się szybciej, ponieważ muszą kopiować mniej danych, ale są w coraz większym stopniu ograniczane przez szybkość przetwarzania przestrzeni nazw. Po uruchomieniu wielu rund można przyspieszyć każdą z nich, ograniczając starania RoboCopy, by na siłę kopiować wszystko w danym przebiegu. Te przełączniki RoboCopy mogą mieć znaczącą różnicę:

• /R:n n = częstotliwość ponawiania próby skopiowania pliku, który zakończył się niepowodzeniem
• /W:n n = ile sekund czekać między próbami

/R:5 /W:5 to rozsądne ustawienie, które można dostosować do swoich potrzeb. W tym przykładzie próba przetworzenia nieudanego pliku zostanie podjęta pięć razy, z pięciosekundowym czasem oczekiwania między kolejnymi próbami. Jeśli nadal nie można skopiować pliku, następne zadanie narzędzia RoboCopy spróbuje ponownie. Często pliki, które zakończyły się niepowodzeniem, ponieważ są w użyciu lub z powodu problemów z przekroczeniem limitu czasu, mogą zostać pomyślnie skopiowane w ten sposób.

Zobacz także

• Omówienie migracji
• Zagadnienia dotyczące sieci w zakresie bezpośredniego dostępu
• Migawki udziału plików Azure