Znane problemy z usługą Azure Data Lake Storage

W tym artykule opisano znane problemy i ograniczenia Azure Data Lake Storage dla kont z włączoną funkcją hierarchicznej przestrzeni nazw. Te informacje umożliwiają zarządzanie przepływami pracy danych i unikanie potencjalnych pułapek podczas korzystania z różnych interfejsów API i integracji.

Obsługa funkcji, usługi i platformy

Większość funkcji usługi Blob Storage, integracji Azure usług i platform typu open source jest obsługiwana na kontach, które mają hierarchiczną przestrzeń nazw. Aby uzyskać pełne listy, zobacz:

• funkcje Blob Storage dostępne w Azure Data Lake Storage
• Usługi platformy Azure obsługujące usługę Azure Data Lake Storage
• Platformy typu open source, które obsługują Azure Data Lake Storage

Interfejsy API usługi Blob Storage

Interfejsy API usługi Data Lake Storage, NFS 3.0 i Blob API mogą działać na tych samych danych.

W tej sekcji opisano problemy i ograniczenia dotyczące używania interfejsów API obiektów blob, NFS 3.0 i interfejsów API usługi Data Lake Storage do działania na tych samych danych.

• Do zapisu w tym samym wystąpieniu pliku nie można używać interfejsów API obiektów blob, NFS 3.0 i interfejsów API usługi Data Lake Storage. Jeśli zapisujesz do pliku przy użyciu interfejsów API usługi Data Lake Storage lub NFS 3.0, bloki tego pliku nie są widoczne w wywołaniach interfejsu API obiektów blob Get Block List. Jedynym wyjątkiem jest, gdy nadpisujesz. Plik lub obiekt blob można nadpisać za pomocą interfejsu API albo przy użyciu NFS 3.0 z opcją obcięcia do zera (operacja w stylu POSIX, która obcina plik do zerowej długości przed zapisem).

  Nie można zastąpić obiektów blob utworzonych przy użyciu operacji Data Lake Storage, takiej jak operacja Path — Create przy użyciu operacji PutBlock lub PutBlockList. Jednak można nadpisać te obiekty blob przy użyciu operacji PutBlob, z zastrzeżeniem maksymalnego dozwolonego rozmiaru obiektu blob określonego przez odpowiednią wersję interfejsu API używaną przez operację PutBlob.

• Jeśli używasz operacji List Blobs bez określania ogranicznika, wyniki obejmują zarówno katalogi, jak i obiekty blob. Jeśli zdecydujesz się użyć ogranicznika, użyj tylko ukośnika (/). Jest to jedyny obsługiwany ogranicznik.

• Jeśli użyjesz interfejsu API Delete Blob do usunięcia katalogu, katalog zostanie usunięty tylko wtedy, gdy będzie pusty. Ten warunek oznacza, że nie można użyć interfejsu Blob API do rekurencyjnego usuwania katalogów.

Następujące interfejsy API REST obiektów blob nie są obsługiwane:

• Umieść obiekt blob (strona)
• Dodaj stronę
• Pobierz zakresy stron
• Przyrostowe kopiowanie blobu
• Wstaw stronę z adresu URL
• Zapieczętowanie Append Blob

Niezarządzane dyski maszyn wirtualnych nie są obsługiwane na kontach, które mają hierarchiczną przestrzeń nazw. Jeśli chcesz włączyć hierarchiczną przestrzeń nazw na koncie magazynowym, umieść niezarządzane dyski maszyn wirtualnych w koncie magazynu, które nie ma włączonej funkcji hierarchicznej przestrzeni nazw.

Obsługa cyklicznego ustawiania list kontroli dostępu (ACL) w Azure Data Lake Storage

Możliwość stosowania zmian ACL w sposób rekursywny z katalogu nadrzędnego na elementy podrzędne jest ogólnie dostępna. W bieżącej wersji tej funkcjonalności można stosować zmiany na listach ACL za pomocą programu Eksplorator usługi Azure Storage, programu PowerShell, interfejsu wiersza polecenia Azure (Azure CLI) oraz zestawów SDK platform .NET, Java, Python i Node.js. Pomoc techniczna nie jest jeszcze dostępna w witrynie Azure Portal.

Listy kontroli dostępu (ACL) i anonimowy dostęp do odczytu

Jeśli anonimowy dostęp do odczytu jest udzielany kontenerowi, listy ACL nie mają wpływu na ten kontener ani pliki w tym kontenerze. To ograniczenie dotyczy tylko żądań odczytu. Żądania zapisu nadal są zgodne z listami ACL. Wymagaj autoryzacji dla wszystkich żądań dotyczących danych obiektów blob.

Prywatne punkty końcowe dla Azure Data Lake Storage

Jeśli używasz prywatnych punktów końcowych, aby uzyskać dostęp do usługi Azure Data Lake Storage (konta magazynu z włączoną hierarchiczną przestrzenią nazw), musisz utworzyć po jednym dla podzasobów blob i dfs. Operacje ukierunkowane na punkt końcowy Data Lake Storage (dfs) mogą być przekierowane do punktu końcowego usługi Blob, a niektóre operacje (takie jak zarządzanie listami ACL, tworzenie katalogów i usuwanie katalogów) wymagają prywatnego punktu końcowego DFS. Utworzenie prywatnych punktów końcowych dla obu zasobów podrzędnych gwarantuje, że wszystkie operacje zakończą się pomyślnie. Aby uzyskać więcej informacji, zobacz Używanie prywatnych punktów końcowych dla usługi Azure Storage.

AzCopy z Azure Data Lake Storage

Jeśli używasz AzCopy z kontami z włączoną hierarchiczną przestrzenią nazw, tylko AzCopy v10 obsługuje wymagane interfejsy API Data Lake Storage. Użyj tylko najnowszej wersji narzędzia AzCopy (AzCopy w wersji 10). Wcześniejsze wersje, takie jak AzCopy w wersji 8.1, nie są obsługiwane.

Eksplorator usługi Azure Storage z Azure Data Lake Storage

Jeśli używasz programu Eksplorator usługi Azure Storage w przypadku kont magazynu z włączoną hierarchiczną przestrzenią nazw, używaj wyłącznie wersji 1.6.0 lub nowszej. Wcześniejsze wersje nie obsługują hierarchicznych interfejsów API przestrzeni nazw wymaganych do zarządzania plikami i katalogami.

Przeglądarka magazynów w Azure Portal

W portalu Azure, w przeglądarce zasobów magazynowych, nie można uzyskać dostępu do pliku lub folderu poprzez określenie ścieżki. Zamiast tego należy przeglądać foldery, aby uzyskać dostęp do pliku. W związku z tym, jeśli lista kontroli dostępu (ACL) przyznaje użytkownikowi prawo odczytu pliku, ale nie przyznaje prawa odczytu wszystkich folderów w ścieżce do tego pliku, użytkownik ten nie może wyświetlić pliku w przeglądarce pamięci.

Aplikacje innych firm

Aplikacje innych firm, które używają interfejsów API REST do pracy nadal działają, jeśli używasz ich z Data Lake Storage. Aplikacje, które wywołują interfejsy API obiektów Blob, prawdopodobnie będą działać.

Sterownik Blob Storage Windows Azure (WASB)

Obecnie sterownik WASB, który został zaprojektowany do pracy tylko z interfejsem API Blob, doświadcza problemów w kilku typowych scenariuszach. W szczególności, gdy jest to klient z kontem magazynowania z włączoną przestrzenią nazw hierarchiczną. Dostęp do wielu protokołów w Data Lake Storage nie ogranicza tych problemów.

Używanie sterownika WASB jako klienta dla konta magazynowego z włączoną hierarchiczną przestrzenią nazw nie jest obsługiwane. Zamiast tego użyj sterownika Azure Blob File System (ABFS) w środowisku Hadoop. Jeśli próbujesz przeprowadzić migrację z lokalnego środowiska Hadoop z wersją starszą niż gałąź Hadoop-3, otwórz bilet pomocy technicznej Azure, aby uzyskać pomoc w ustaleniu właściwej ścieżki dla organizacji.

Usuwanie nieostateczne obiektów blob w usłudze Azure Data Lake Storage

W przypadku kont magazynu z hierarchiczną przestrzenią nazw, jeśli zmienisz nazwy katalogów nadrzędnych dla plików lub katalogów usuniętych nietrwale, portal Azure może nie wyświetlać tych elementów poprawnie. W takich przypadkach użyj PowerShell lub Azure CLI, aby wyświetlić listę elementów usuniętych programowo i je przywrócić.

Subskrypcje zdarzeń w Azure Data Lake Storage

W przypadku kont magazynowych, które mają hierarchiczną przestrzeń nazw, jeśli konto ma subskrypcję zdarzeń, operacje odczytu w pomocniczym punkcie końcowym (replice tylko do odczytu w kontach magazynowych z nadmiarowością geograficzną) kończą się błędem. Aby rozwiązać ten problem, usuń subskrypcje zdarzeń. Użycie punktu końcowego Data Lake Storage (abfss://URI) dla kont bez włączonej hierarchicznej przestrzeni nazw nie generuje zdarzeń, ale punkt końcowy usługi Blob (wasb:// URI) generuje zdarzenia.