Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ta strona zawiera przykłady zarządzania plikami w woluminach Unity Catalog dla różnych interfejsów użytkownika, narzędzi, bibliotek i języków.
Uwaga / Notatka
W wersji beta użyj typu FILE, aby odwoływać się do plików w woluminach jako do wartości w tabeli i stosować do nich mechanizmy kontroli dostępu do tabel. Zobacz typ pliku i dane niestrukturalne.
Usługa Databricks zaleca używanie woluminów do zarządzania dostępem do wszystkich danych nietabelarycznych w magazynie obiektów w chmurze oraz przechowywania plików wspierających obciążenia. Przykłady obejmują następujące elementy:
- Pliki danych do ładowania, takie jak CSV, JSON i Parquet
- Pliki tekstowe, obrazowe i audio na potrzeby obciążeń nauki o danych, uczenia maszynowego i sztucznej inteligencji
- Artefakty CSV lub JSON napisane przez usługę Azure Databricks na potrzeby integracji z systemami zewnętrznymi
- Biblioteki, skrypty inicjalizacyjne i artefakty kompilacji
Woluminy zapewniają ścieżki w stylu zgodnym z normą POSIX, które współpracują z narzędziami i strukturami zależnymi od systemu plików w przestrzeni użytkownika (FUSE). To sprawia, że są idealne dla platform uczenia maszynowego i modułów języka Python typu open source, które wymagają dostępu w stylu POSIX. Aby uzyskać szczegółowe informacje o schematach identyfikatorów URI, ścieżkach POSIX i sposobie ich powiązania z woluminami, zobacz Czy muszę podać schemat identyfikatora URI, aby uzyskać dostęp do danych?.
Metody zarządzania plikami w woluminach
Aby uzyskać krótkie przykłady każdej metody, zobacz Praca z plikami w woluminach Unity Catalog.
| Interfejs | Description |
|---|---|
| Interfejs Eksploratora katalogu | Interaktywne zarządzanie plikami za pośrednictwem obszaru roboczego usługi Azure Databricks |
| Dostęp programowy | Odczytywanie i zapisywanie plików przy użyciu platformy Apache Spark, biblioteki Pandas lub sql |
| Narzędzia Databricks | Operacje na plikach przy użyciu dbutils.fs lub poleceń magicznych (%fs, %sh) w notebookach |
| Wyświetlanie listy plików i wykonywanie zapytań | Wykonywanie zapytań dotyczących metadanych pliku przy użyciu właściwości READ_FILES i filtrowanie ich według właściwości |
| Polecenia SQL | Operacje na plikach przy użyciu słów kluczowych SQL (LIST, PUT INTO, GET, REMOVE) i łączników |
| Databricks CLI | Operacje wiersza poleceń przy użyciu databricks fs |
| SDKs | Operacje na plikach przy użyciu zestawów SDK python, Java lub Go |
| REST API | Bezpośredni dostęp do interfejsu API na potrzeby integracji niestandardowych |
Korzystanie z Eksploratora wykazu
Eksplorator katalogu oferuje opcje typowych zadań zarządzania plikami dla plików przechowywanych w woluminach Unity Catalog.
Aby wchodzić w interakcje z plikami w woluminie, wykonaj następujące czynności:
- W obszarze roboczym usługi Azure Databricks kliknij
Wykaz.
- Wyszukaj lub przeglądaj wolumin, z którym chcesz pracować, i wybierz go.
Aby uzyskać szczegółowe informacje na temat tworzenia i zarządzania woluminami, zobacz Tworzenie i zarządzanie woluminami w Unity Catalog.
Wysyłanie plików na wolumin
Możesz przesyłać ustrukturyzowane, półstrukturalne lub nieustrukturyzowane pliki dowolnego formatu do woluminu. Woluminy obsługują pliki o maksymalnym rozmiarze obsługiwanym przez bazowy magazyn w chmurze. Jednak w przypadku przekazywania plików do woluminu za pośrednictwem interfejsu użytkownika usługi Azure Databricks limit rozmiaru pliku wynosi 5 GB. Aby przesłać większe pliki, użyj Databricks SDK dla Python v0.72.0 lub wyższej. Zobacz Zarządzanie plikami w woluminach katalogu Unity. Możesz też użyć przesyłania wieloczęściowego w Files API 3.0, które jest w fazie beta.
Jeśli twoje konto Azure ma włączoną zaporę, przesyłanie plików przez Databricks SDK dla Python jest ograniczone do 5 GB.
Requirements
Przed przekazaniem do woluminu upewnij się, że masz następujące elementy:
- Obszar roboczy z włączonym Unity Catalog
-
WRITE VOLUMEna docelowym woluminie -
USE SCHEMAna schemacie nadrzędnym -
USE CATALOGna katalogu nadrzędnym
Aby uzyskać szczegółowe informacje, zobacz odwołanie do uprawnień Unity Catalog.
Kroki przesyłania
- Na pasku bocznym kliknij pozycję Nowy, a następnie dodaj lub przekaż dane.
- Kliknij Przekaż pliki do woluminu.
- W obszarze Pliki kliknij przycisk przeglądaj lub przeciągnij i upuść pliki do strefy upuszczania.
- W obszarze Wolumin docelowy wybierz wolumin lub katalog lub wklej ścieżkę woluminu.
Jeśli wolumin nie istnieje w schemacie docelowym, możesz go utworzyć, klikając pozycję Utwórz wolumin. W woluminie można utworzyć nowy katalog.
Uwaga / Notatka
Aby przesłać własne pliki bez wcześniejszego tworzenia katalogu, schematu i woluminu, możesz wybrać jako miejsce docelowe pozycję „Moje pliki”, czyli wolumin przypisany do użytkownika. Moje pliki są w wersji beta. Zobacz Przechowywanie plików w obszarze Moje pliki.
Możesz również uzyskać dostęp do interfejsu użytkownika ładowania na następujące sposoby:
- W Eksploratorze wykazu: Dodaj dane>Prześlij pliki do woluminu
- Z notatnika: Plik>Przekazywanie plików do woluminu
Dalsze kroki
Po przekazaniu do woluminu można wykonać następujące czynności:
- Utwórz tabelę zarządzaną katalogu Unity na podstawie plików. Zobacz Tworzenie tabeli na podstawie danych w woluminie.
- Używanie plików w obciążeniach uczenia maszynowego i nauki o danych
- Konfigurowanie bibliotek klastra, bibliotek o zakresie notesu lub zależności zadań przy użyciu przekazanych plików
- Pozyskiwanie danych dla potoków inżynieryjnych przy użyciu modułu ładującego automatycznego lub COPY INTO
- Przetwarzanie plików za pomocą funkcji sztucznej inteligencji , takich jak
ai_parse_document - Konfigurowanie wyzwalaczy przybycia plików w zadaniach
- Przekazywanie dokumentów do użycia z Asystentem wiedzy
Edycja plików w woluminie
Możesz otworzyć plik tekstowy zapisany w wolumenie w edytorze plików Azure Databricks i edytować go na miejscu, bez pobierania pliku i ponownego przesyłania go. Edytor automatycznie zapisuje twoje zmiany w woluminie.
Aby otworzyć plik w edytorze, potrzebujesz następujących uprawnień:
-
READ VOLUMEna woluminie -
USE SCHEMAna schemacie nadrzędnym -
USE CATALOGna katalogu nadrzędnym -
WRITE VOLUMEwolumin, aby zapisać zmiany. Aby uzyskać szczegółowe informacje, zobacz odwołanie do uprawnień Unity Catalog.
Aby edytować plik w woluminie:
W Eksploratorze katalogu przejdź do woluminu, który zawiera plik.
Kliknij
obok nazwy pliku, a następnie kliknij Otwórz w Edytorze.
Możesz też kliknąć nazwę pliku, aby otworzyć podgląd, a następnie kliknij ikonę
Otwórz w Edytorze.
Edytuj plik. Edytor automatycznie zapisuje twoje zmiany w woluminie.
Możesz też otworzyć plik woluminu z notatnika lub edytora SQL. W przeglądarce schematów najedź kursorem na plik, kliknij , a następnie kliknij Otwórz plik.
Jeśli plik zmieni się poza edytorem, gdy masz go otwarty, edytor wyświetla okno Konflikt wykryty . Kliknij Tak, chcę pobrać najnowsze zmiany, aby załadować najnowszą wersję pliku, lub kliknij Nie, nadpisz zawartość, aby zapisać swoją wersję, nadpisując istniejącą wersję.
W edytorze możesz użyć Genie Code do odczytania i edycji pliku. Genie Code może edytować tylko plik otwarty w edytorze i tylko jeśli masz WRITE VOLUME na woluminie.
Typy obsługiwanych plików
Edytor otwiera pliki z następującymi rozszerzeniami:
- Pliki tekstowe: txt, log, md
- Pliki kodu: py, scala, sql, r, sh
- Półstrukturalne pliki danych: json, ndjson, jsonl, csv, tsv, tab
- Pliki konfiguracyjne: yaml, yml, toml, ini, conf, properties, env
Pliki z nazwą stdout lub stderr także otwierają się w edytorze.
Limitations
Redaktor ma następujące ograniczenia:
- Jeśli plik jest większy niż 10 MB, nie możesz go otworzyć w edytorze. Aby edytować plik, pobierz go, edytuj lokalnie i wrzuć ponownie.
- Jeśli plik ma rozszerzenie, którego nie ma na poprzedniej liście, na przykład obraz, PDF lub plik Parquet, nie możesz go otworzyć w edytorze. Wciąż możesz przeglądać obsługiwane formaty, takie jak obrazy, pliki PDF czy pliki Parquet. Zobacz Podglądanie plików w woluminach.
- Edytor plików nie jest dostępny w regionach Azure Government ani Azure China.
Pobieranie plików z woluminu
Aby pobrać pliki z woluminu, wykonaj następujące czynności:
- Wybierz co najmniej jeden plik.
- Kliknij przycisk Pobierz , aby pobrać te pliki.
Usuwanie plików z woluminu
Aby usunąć pliki z woluminu, wykonaj następujące czynności:
- Wybierz co najmniej jeden plik.
- Kliknij przycisk Usuń.
- Kliknij przycisk Usuń , aby potwierdzić w wyświetlonym oknie dialogowym.
Tworzenie pustego katalogu
Aby utworzyć nowy katalog w woluminie, wykonaj następujące czynności:
- Na karcie Przegląd woluminu kliknij pozycję Utwórz katalog.
- Wprowadź nazwę katalogu.
- Kliknij pozycję Utwórz.
Pobieranie katalogu
Aby pobrać katalog w woluminie, wykonaj następujące czynności:
- Kliknij
menu kebab po prawej stronie katalogu.
- Kliknij pozycję Pobierz katalog.
Katalog jest pobierany jako plik ZIP.
Usuwanie katalogów z woluminu
Aby usunąć katalogi z woluminu, wykonaj następujące czynności:
- Wybierz co najmniej jeden katalog.
- Kliknij przycisk Usuń.
- Kliknij przycisk Usuń , aby potwierdzić w wyświetlonym oknie dialogowym.
Zadania zarządzania plikami interfejsu użytkownika dla woluminów
Kliknij obok nazwy pliku, aby wykonać następujące czynności:
- Otwórz w Edytorze (obsługiwane tylko pliki tekstowe). Zobacz Edytuj pliki w woluminie.
- Kopiuj ścieżkę
- Pobieranie pliku
- Usuń plik
- Tworzenie tabeli
Stwórz tabelę z danych w woluminie
Usługa Azure Databricks udostępnia interfejs użytkownika umożliwiający utworzenie tabeli zarządzanej przez Unity Catalog na podstawie pliku, plików lub katalogu plików przechowywanych w woluminie Unity Catalog.
Musisz mieć uprawnienia CREATE TABLE w schemacie docelowym i mieć dostęp do działającego magazynu SQL Warehouse.
Wybierz co najmniej jeden plik lub katalog. Pliki powinny mieć ten sam układ danych.
Kliknij pozycję Utwórz tabelę. Zostanie wyświetlone okno dialogowe Tworzenie tabeli z woluminów.
Użyj podanego okna dialogowego, aby przejrzeć podgląd danych i ukończyć następujące konfiguracje:
- Wybierz opcję Utwórz nową tabelę lub zastąp istniejącą tabelę
- Wybierz docelowy katalog i schemat.
- Określ nazwę tabeli.
- (Opcjonalnie) Zastąpij domyślne nazwy kolumn i typy lub wybierz opcję wykluczania kolumn.
Uwaga / Notatka
Kliknij pozycję Atrybuty zaawansowane , aby wyświetlić dodatkowe opcje.
Kliknij pozycję Utwórz tabelę , aby utworzyć tabelę z określonymi atrybutami. Po zakończeniu Eksplorator wykazu wyświetla szczegóły tabeli.
Programistyczna obsługa plików na woluminach
Odczytywaj i zapisuj pliki w woluminach we wszystkich obsługiwanych językach programowania i edytorach przestrzeni roboczej, korzystając z poniższego formatu:
/Volumes/catalog_name/schema_name/volume_name/path/to/files
Interakcja z plikami w woluminach jest taka sama, jak w przypadku interakcji z plikami w dowolnej lokalizacji magazynu obiektów w chmurze. Oznacza to, że jeśli obecnie zarządzasz kodem korzystającym z identyfikatorów URI chmury, ścieżek instalacji systemu plików DBFS lub ścieżek głównych systemu plików DBFS w celu interakcji z danymi lub plikami, możesz zaktualizować kod, aby zamiast tego używał woluminów.
Uwaga / Notatka
Woluminy są używane tylko w przypadku danych innych niż tabelaryczne. Databricks zaleca rejestrowanie danych tabelarycznych przy użyciu tabel w Unity Catalog, a następnie odczytywanie i zapisywanie danych przy użyciu nazw tabel.
Odczytywanie i zapisywanie danych w woluminach
Użyj platformy Apache Spark, bibliotek pandas, Spark SQL i innych bibliotek open-source do odczytywania i zapisywania plików danych w dużych ilościach.
W poniższych przykładach pokazano odczytywanie pliku CSV przechowywanego w woluminie:
Python
df = spark.read.format("csv").load("/Volumes/catalog_name/schema_name/volume_name/data.csv")
display(df)
Pandas
import pandas as pd
df = pd.read_csv('/Volumes/catalog_name/schema_name/volume_name/data.csv')
display(df)
SQL
SELECT * FROM csv.`/Volumes/catalog_name/schema_name/volume_name/data.csv`
Polecenia użytkowe dla plików w woluminach
Usługa Databricks udostępnia następujące narzędzia do zarządzania plikami w woluminach:
- Podmoduł
dbutils.fsw narzędziach Databricks Utilities. Zobacz Narzędzie systemu plików (dbutils.fs). - Magia
%fs, która jest aliasem dladbutils.fs. - Magia
%sh, która umożliwia uruchamianie poleceń bash na woluminach.
Aby zapoznać się z przykładem użycia tych narzędzi do pobierania plików z Internetu, rozpakowywania plików i przenoszenia plików z efemerycznego magazynu blokowego do woluminów, zobacz Pobieranie danych z Internetu.
Możesz również użyć pakietów systemu operacyjnego dla poleceń narzędzi plików, takich jak moduł języka Python os , jak pokazano w poniższym przykładzie:
import os
os.mkdir('/Volumes/catalog_name/schema_name/volume_name/directory_name')
Punkty kontrolne DataFrame w woluminach
Do przechowywania punktów kontrolnych DataFrame można użyć ścieżek woluminów Unity Catalog. Punkty kontrolne ramki danych obcinają plan wykonywania ramki danych i zapisują zawartość w magazynie. Może to zwiększyć wydajność algorytmów iteracyjnych i złożonych planów zapytań poprzez zapobieganie nadmiernie długim powiązaniom podczas ponownego używania ramek danych.
Przechowywanie punktów kontrolnych w woluminach Unity Catalog stosuje zarządzanie i kontrolę dostępu do danych checkpointów, co pomaga uniknąć niezarządzanych ścieżek magazynu w chmurze.
Requirements
- Databricks Runtime 18.1 lub nowszy.
- Zasoby obliczeniowe obsługujące Unity Catalog z dedykowanym lub standardowym trybem dostępu. Punkty kontrolne DataFrame w woluminach nie są obsługiwane w architekturze bezserwerowej.
Konfigurowanie katalogu punktu kontrolnego
Sposób ustawienia katalogu punktu kontrolnego zależy od trybu dostępu do zasobów obliczeniowych.
Tryb dedykowanego dostępu
W przypadku obliczeń z dedykowanym trybem dostępu użyj polecenia SparkContext.setCheckpointDir:
spark.checkpoint.dir=/Volumes/<catalog>/<schema>/<volume>/checkpoint
Tryb dostępu standardowego
W przypadku obliczeń ze standardowym trybem dostępu użyj konfiguracji platformy spark.checkpoint.dir Spark:
spark.conf.set("spark.checkpoint.dir", "/Volumes/<catalog>/<schema>/<volume>/checkpoints")
Tworzenie punktu kontrolnego ramki danych
Po skonfigurowaniu katalogu punktu kontrolnego użyj DataFrame.checkpoint(), aby obciąć plan wykonywania i zapisać dane:
df = spark.range(100).withColumn("doubled", col("id") * 2)
checkpointed_df = df.checkpoint()
Uwaga / Notatka
Punkty kontrolne ramki danych różnią się od punktów kontrolnych przesyłania strumieniowego ze strukturą. Aby uzyskać informacje na temat przechowywania danych punktu kontrolnego przesyłania strumieniowego w woluminach, zobacz Ustrukturyzowane punkty kontrolne przesyłania strumieniowego.
Wylistuj i przeszukuj pliki w woluminach za pomocą SQL.
Możesz użyć funkcji SQL typu table-valued do wyświetlenia listy plików w woluminie i zapytania o ich metadane. Jest to przydatne w przypadku odnajdywania plików, filtrowania według właściwości pliku i przygotowywania plików do przetwarzania za pomocą funkcji sztucznej inteligencji.
Przy użyciu READ_FILES razem z format => "binaryFile", funkcja zwraca tabelę z następującymi kolumnami:
-
path: Pełna ścieżka pliku -
modificationTime: Znacznik czasu ostatniej modyfikacji -
length: Rozmiar pliku w bajtach -
content: Surowa zawartość pliku jako dane binarne
Możesz również wybrać kolumnę _metadata , aby uzyskać dostęp do dodatkowych informacji o plikach, w tym file_path, file_name, file_sizei file_modification_time.
Wyświetlanie listy wszystkich plików w woluminie
W poniższym przykładzie wymieniono wszystkie pliki w woluminie z wyjątkiem zawartości binarnej:
SELECT
* EXCEPT (content),
_metadata
FROM read_files(
"/Volumes/<catalog>/<schema>/<volume>",
format => "binaryFile"
);
Filtrowanie plików według typu i rozmiaru
Poniższy przykład filtruje pliki obrazów z zakresu od 20 KB do 1 MB:
SELECT * EXCEPT (content), _metadata
FROM read_files(
"/Volumes/my_catalog/my_schema/my_volume",
format => "binaryFile",
fileNamePattern => "*.{jpg,jpeg,png,JPG,JPEG,PNG}"
)
WHERE _metadata.file_size BETWEEN 20000 AND 1000000;
Filtrowanie plików według czasu modyfikacji
Poniższy przykład umożliwia znalezienie plików PDF zmodyfikowanych w ciągu ostatniego dnia:
SELECT * EXCEPT (content), _metadata
FROM read_files(
"/Volumes/my_catalog/my_schema/my_volume",
format => "binaryFile",
fileNamePattern => "*.{pdf,PDF}"
)
WHERE modificationTime >= current_timestamp() - INTERVAL 1 DAY;
Przetwarzanie obrazów za pomocą funkcji sztucznej inteligencji
W poniższym przykładzie użyto funkcji ai_query do generowania opisów dla plików obrazów.
SELECT
path AS file_path,
ai_query(
'system.ai.llama-4-maverick',
'Describe this image in ten words or less: ',
files => content
) AS result
FROM read_files(
"/Volumes/my_catalog/my_schema/my_volume",
format => "binaryFile",
fileNamePattern => "*.{jpg,jpeg,png}"
)
WHERE _metadata.file_size < 1000000
AND _metadata.file_name LIKE '%robots%';
Analizowanie dokumentów za pomocą funkcji sztucznej inteligencji
W poniższym przykładzie
SELECT
path AS file_path,
ai_parse_document(content, map('version', '2.0')) AS result
FROM read_files(
"/Volumes/main/public/my_files/",
format => "binaryFile",
fileNamePattern => "*.{pdf,PDF}"
)
WHERE _metadata.file_name ILIKE '%receipt%';
Zarządzanie plikami w woluminach za pomocą narzędzi zewnętrznych
Usługa Databricks udostępnia zestaw narzędzi do zarządzania plikami w woluminach w sposób programowy, zarówno w środowisku lokalnym, jak i w zintegrowanych systemach.
Polecenia SQL dla plików w woluminach
Usługa Azure Databricks obsługuje następujące słowa kluczowe SQL do interakcji z plikami w woluminach:
W notatnikach usługi Azure Databricks oraz w edytorze zapytań SQL jest obsługiwane tylko polecenie LIST. Inne polecenia SQL (PUT INTO, GETi REMOVE) są dostępne za pośrednictwem następujących łączników i sterowników SQL usługi Databricks, które obsługują zarządzanie plikami w woluminach:
- Databricks SQL Connector for Python
- Databricks SQL Driver for Go
- Databricks SQL Driver for Node.js
- Sterownik JDBC Databricks
- Sterownik ODBC Databricks
Zarządzanie plikami w woluminach za pomocą interfejsu wiersza polecenia usługi Databricks
Użyj podpolecenia w pliku databricks fs. Zobacz fs grupę poleceń.
Uwaga / Notatka
Interfejs wiersza polecenia usługi Databricks wymaga, aby schemat dbfs:/ poprzedzał wszystkie ścieżki woluminów. Na przykład dbfs:/Volumes/catalog_name/schema_name/volume_name/path/to/data.
Zarządzanie plikami w woluminach przy użyciu zestawów SDK
Następujące zestawy SDK obsługują zarządzanie plikami w woluminach:
- Zestaw SDK usługi Databricks dla języka Python. Użyj dostępnych metod w pliku WorkspaceClient.files. Aby zapoznać się z przykładami, zobacz Manage files in Unity Catalog volumes.
- Zestaw SDK usługi Databricks dla języka Java. Użyj dostępnych metod w pliku WorkspaceClient.files. Aby zapoznać się z przykładami, zobacz Manage files in Unity Catalog volumes.
- Zestaw SDK usługi Databricks dla języka Go. Użyj dostępnych metod w pliku WorkspaceClient.files. Aby zapoznać się z przykładami, zobacz Manage files in Unity Catalog volumes.
Zarządzaj plikami w woluminach przy użyciu interfejsu REST API
Użyj interfejsu API plików do zarządzania plikami w woluminach.
Przykłady REST API dla plików w woluminach
Poniższe przykłady wykorzystują curl oraz interfejs API Files 3.0 do wykonywania zadań zarządzania plikami w woluminach.
Important
API Files 3.0 jest w fazie beta. Aby z niego korzystać, administrator przestrzeni roboczej musi włączyć Files API V3 z obsługą przesyłania dużych plików na stronie Previews. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
-
REGIONAL_WORKSPACE_HOSTto regionalna nazwa hosta twojego obszaru roboczego. Zobacz Wysyłanie żądań do regionalnej nazwy hosta. - API plików 3.0 wymaga łączności sieciowej z usługą Azure Databricks oraz z Twoją pamięcią masową. Zobacz Konfiguruj łączność sieciową.
Poniższy przykład tworzy pusty folder o nazwie my-folder w określonym woluminie.
curl --request PUT "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/directories/Volumes/main/default/my-volume/my-folder/" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}"
Poniższy przykład tworzy plik o nazwie data.csv z określonymi danymi w określonej ścieżce w woluminie.
curl --request PUT "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/files/Volumes/main/default/my-volume/my-folder/data.csv?overwrite=true" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
--header "Content-Type: application/octet-stream" \
--data-binary $'id,Text\n1,Hello World!'
Poniższy przykład zawiera listę zawartości woluminu w określonej ścieżce. W tym przykładzie użyto języka jq do sformatowania kodu JSON treści odpowiedzi w celu ułatwienia odczytywania.
curl --request GET "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/directories/Volumes/main/default/my-volume/" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}" | jq .
Poniższy przykład zawiera listę zawartości folderu w woluminie w określonej ścieżce. W tym przykładzie użyto języka jq do sformatowania kodu JSON treści odpowiedzi w celu ułatwienia odczytywania.
curl --request GET "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/directories/Volumes/main/default/my-volume/my-folder" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}" | jq .
Poniższy przykład wyświetla zawartość pliku w określonej ścieżce w woluminie.
curl --request GET "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/files/Volumes/main/default/my-volume/my-folder/data.csv" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}"
Poniższy przykład usuwa plik w określonej ścieżce z woluminu.
curl --request DELETE "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/files/Volumes/main/default/my-volume/my-folder/data.csv" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}"
Poniższy przykład usuwa folder z określonego woluminu.
curl --request DELETE "https://${REGIONAL_WORKSPACE_HOST}/api/3.0/fs/directories/Volumes/main/default/my-volume/my-folder/" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}"
Ograniczenia pracy z plikami w woluminach
Przed rozpoczęciem pracy z plikami w woluminach należy wziąć pod uwagę następujące ograniczenia:
Zapisy bezpośrednie lub niesekwencyjne (losowe) nie są obsługiwane. Ma to wpływ na operacje, takie jak zapisywanie plików Zip i Excel. W przypadku tych obciążeń:
- Najpierw wykonaj operacje na dysku lokalnym
- Skopiuj wyniki do woluminu
Przykład:
# python import xlsxwriter from shutil import copyfile workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx') worksheet = workbook.add_worksheet() worksheet.write(0, 0, "Key") worksheet.write(0, 1, "Value") workbook.close() copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')Eksplorator katalogu nie może podglądać plików arkuszy kalkulacyjnych (xls, xlsx) większych niż 1 MB lub korzystających z formatu ZIP64. Zobacz Podglądanie plików w woluminach.
Pliki rzadkie nie są obsługiwane. Aby skopiować pliki rzadkie, użyj
cp --sparse=never:$ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file error writing '/dbfs/sparse.file': Operation not supported $ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file