O que são volumes?

Os volumes são objetos do Unity Catalog que controlam o acesso a dados não tabulares. Eles fornecem uma camada lógica sobre o armazenamento de objetos na nuvem para que você possa armazenar, organizar e gerenciar arquivos com governança centralizada.

Para obter documentação abrangente sobre volumes, consulte O que são volumes do Catálogo Unity?.

O Unity Catalog suporta dois tipos de volumes:

• Volumes gerenciados: O Azure Databricks gerencia o ciclo de vida e o local de armazenamento em nuvem
• Volumes externos: Você controla o local e o ciclo de vida do armazenamento na nuvem

O que você pode fazer com os volumes do Catálogo Unity?

Você pode executar operações de gerenciamento de arquivos com volumes usando várias interfaces e ferramentas:

• Carregue, descarregue e navegue pelos ficheiros no Explorador de Catálogos. Consulte O que é o Catalog Explorer?.
  • Para carregar ficheiros locais para um volume, consulte Trabalhar com ficheiros em volumes do Catálogo Unity.
  • Para descarregar ficheiros da internet para um volume, veja Download data from the internet.
  • Para armazenar os seus próprios ficheiros sem primeiro criar um catálogo, esquema e volume, use o My Files, um volume por utilizador. O My Files está em Beta. Veja Armazenar ficheiros nos Meus Ficheiros.
• Leia e escreva dados programaticamente usando Apache Spark, pandas ou SQL. Veja trabalho programático com ficheiros em volumes.
• Gerencie arquivos usando dbutils.fs, comandos mágicos ou comandos de shell bash. Veja comandos utilitários para ficheiros em volumes.
• Gerir ficheiros via HTTP com a API de Ficheiros. Veja Usar a API de Ficheiros com volumes do Catálogo Unity.

Podes usar volumes com funcionalidades do Databricks que requerem um caminho no sistema de ficheiros. Os volumes dão-te um caminho governado que funciona de forma consistente entre utilizadores e espaços de trabalho. Por exemplo:

• Ingestão de dados: Use volumes como localização de origem para a ingestão de dados. Comece a partir de ficheiros num volume e ingira-os em tabelas usando:
  • COPY INTO: Carregar ficheiros de um volume para uma tabela usando SQL. Consulte COPY INTO.
  • Auto Loader: Ingerir incrementalmente novos ficheiros que chegam a um diretório de volume numa tabela. Veja O que é o Auto Loader?.
  • APIs de leitura do Spark: Utilize as APIs de leitura do Spark (por exemplo, spark.read.load) para carregar ficheiros de um caminho de volume para um DataFrame e gravá-los numa tabela. Veja trabalho programático com ficheiros em volumes.
  • Interface de Databricks: Crie uma tabela diretamente a partir de ficheiros armazenados num volume. Consulte Criar uma tabela a partir de dados em um volume.
• Entrega de registos de cálculo: Configure a entrega de registos de cálculo para escrever registos num caminho de volume, de modo a que o acesso aos registos seja governado pelo Catálogo Unity. Consulte a entrega de logs de computação em .
• Gatilhos de chegada de ficheiros: Use gatilhos de chegada de ficheiros para iniciar Lakeflow Jobs quando novos ficheiros chegam num volume. Consulte Acionar trabalhos quando novos arquivos chegam.
• Bibliotecas de cluster: Instale bibliotecas de cluster a partir de um volume (JARs, rodas, requirements.txt), para que o acesso às bibliotecas seja governado pelo Unity Catalog. Consulte Instalar bibliotecas a partir de um volume.
• Scripts de inicialização: Armazene e execute scripts de inicialização com âmbito de cluster a partir de um volume, de modo que o acesso aos scripts de inicialização seja governado pelo Unity Catalog. Consulte os Scripts de inicialização com escopo de cluster.
• Artefactos de experiências de ML: Armazene artefactos de experiências de ML (modelos, métricas e ficheiros de saída) num volume para que o acesso às saídas das suas experiências MLflow seja governado pelo Unity Catalog. Consulte Organize treinos com experimentos do MLflow.