Trabalhar com dados não estruturados

Armazene, governe e processe arquivos não estruturados, como documentos, imagens, áudio e vídeo, junto com dados estruturados no Unity Catalog.

Introdução

Tente um exemplo de ponta a ponta para ver como as peças se encaixam.

Guide Descrição
Guia rápido das funções FILE Crie uma tabela com uma FILE coluna e trabalhe com arquivos usando FILE funções.
Tutorial de dados não estruturados Armazene, consulte, processe e compartilhe arquivos não estruturados usando volumes do Unity Catalog.

Armazenar e referenciar arquivos

Escolha como armazenar e referenciar arquivos dependendo se você os acessa por caminho ou como valores em uma tabela.

Approach Descrição
Volumes de Catálogo do Unity Controle o armazenamento para arquivos não tabulares. Faça upload de arquivos em um volume, organize-os e acesse-os usando o caminho.
Tipo de arquivo Arquivos de referência e seus metadados como valores de primeira classe em uma tabela, governados pelo acesso às linhas que os referenciam. Para a definição de tipo, veja a referência do tipo FILE.
Fonte de dados binária Armazene os bytes brutos de um arquivo em uma BINARY coluna.
Fonte de dados da imagem Leia arquivos de imagem em um DataFrame.

Arquivos de processo

Depois de armazenar seus arquivos no Unity Catalog, extraia o conteúdo, execute código personalizado e construa pipelines.

Tarefa Descrição
Analisar documentos Extraia conteúdo estruturado de documentos com ai_parse_document e outras funções de IA.
Processe arquivos com UDFs Leia metadados e bytes de arquivos, e gere novos arquivos, usando seu próprio código em UDFs.
Importe arquivos como referências FILE Carregue os arquivos em tabelas como referências FILE.
Construa um pipeline de arquivos Processe os arquivos de ponta a ponta em um pipeline.
Pesquisar arquivos em um volume Indexe os arquivos em um volume para que usuários e agentes possam pesquisá-los.

Gerenciar arquivos

Controle quem pode acessar arquivos e gerencie seu ciclo de vida com o Unity Catalog.

Capability Descrição
Controle de acesso a volume Conceda permissões nos volumes para controlar quem pode ler e gravar arquivos com base no caminho.
CICLO DE VIDA GERENCIADO DE ARQUIVOS Deixe o Azure Databricks gerenciar o armazenamento e o ciclo de vida dos arquivos referenciados por uma tabela.
Filtros por linha em colunas de arquivo Restringa o acesso aos arquivos aplicando filtros de linha às linhas que os referenciam.
  • Last updated on