Requisitos para pipelines independentes

A criação e a atualização de visões materializadas independentes e de tabelas de streaming exigem um workspace sem servidor habilitado e com o Catálogo do Unity habilitado, além de um SQL warehouse ou um notebook em computação geral sem servidor.

Você pode criar e atualizar exibições materializadas autônomas e tabelas de streaming usando um SQL Warehouse. Para enviar instruções SQL CREATE e REFRESH, use o editor SQL na interface do Azure Databricks, a CLI do Databricks SQL ou a API do Databricks SQL.

Você também pode criar e atualizar visualizações materializadas independentes e tabelas de streaming a partir de um notebook rodando em computação geral serverless (Beta). Consulte Notebooks.

Requirements

Os requisitos a seguir se aplicam a todos os pipelines autônomos.

Você deve ter:

• Uma conta do Azure Databricks sem servidor habilitada. Consulte Configurar os sql warehouses sem servidor.
• Um espaço de trabalho com o Catálogo do Unity habilitado. Consulte Introdução ao Catálogo do Unity.

Permissões para criar ou atualizar

O proprietário (o usuário que cria a tabela) deve ter as seguintes permissões:

• Privilégio SELECT nas tabelas de base.
• Privilégios USE CATALOG e USE SCHEMA sobre o catálogo e o esquema contendo as tabelas de origem.
• Privilégios USE CATALOG e USE SCHEMA no catálogo e esquema de destino.
• Privilégio CREATE MATERIALIZED VIEW no esquema contendo a exibição materializada.
• Privilégio CREATE TABLE no esquema que contém a tabela de streaming. Pipelines que usam o modo de publicação herdado também exigem o privilégio CREATE TABLE para exibições materializadas.

Para atualizar uma exibição materializada autônoma ou uma tabela de streaming:

• Você deve estar no espaço de trabalho em que isso foi criado.
• Você precisa ter o privilégio REFRESH na tabela. Os proprietários têm esse privilégio implicitamente.

Requisitos da tabela de origem

Para a atualização incremental de exibições materializadas de tabelas Delta, as tabelas de origem devem ter o controle de linha habilitado.

Armazenamentos SQL

Para criar ou atualizar visões materializadas independentes e tabelas de streaming usando um warehouse SQL, você deve ter um warehouse SQL Pro ou sem servidor com o Unity Catalog habilitado.

• Seu workspace deve estar em uma região que dê suporte a SQL warehouses sem servidor.

Notebooks

Você pode criar e atualizar exibições materializadas autônomas e tabelas de streaming de um notebook com computação geral sem servidor.

Computação geral sem servidor

Você pode criar e atualizar visões materializadas independentes e tabelas de streaming a partir de um notebook conectado à computação geral sem servidor. Essa opção é útil quando você deseja definir e executar exibições materializadas ou tabelas de streaming ao lado de outros fluxos de trabalho baseados em notebook sem provisionar um SQL Warehouse.

Para criar e atualizar exibições materializadas independentes e tabelas de streaming com Python de um notebook, confira Usar o Python com pipelines independentes.

Requisitos gerais de computação sem servidor

• Um notebook anexado à computação geral sem servidor.
• Databricks Runtime 18.1 ou superior. Notebooks interativos atendem automaticamente a esse requisito; tarefas vinculadas a uma versão mais antiga não o fazem.
• Seu espaço de trabalho deve estar em uma região que suporte computação serverless.

Limitações

• Somente o proprietário da tabela pode atualizar a tabela. Para permitir que outro usuário atualize, altere o proprietário. Confira Alterar o proprietário de uma tabela de streaming e Alterar o proprietário de uma visão materializada.
• Não há suporte para atualizações assíncronas. Em vez disso, use uma atualização síncrona.
• Não há suporte para o canal de visualização. As tabelas criadas na computação geral sem servidor usam o current canal.
• Uma tabela só pode ser atualizada usando o tipo de computação com o qual foi criada. Uma tabela criada em um SQL Warehouse deve ser atualizada em um SQL Warehouse e uma tabela criada na computação geral sem servidor deve ser atualizada na computação geral sem servidor. Para verificar o tipo de computação, exiba a tabela no Gerenciador de Catálogos.
• A atribuição de custos e o controle de custos não estão disponíveis. Use um SQL Warehouse se precisar de atribuição de custo por tabela.
• O dimensionamento automático vertical para erros de falta de memória não está disponível.
• Não há repetições disponíveis para atualizações de esquema.
• A seleção do modo de desempenho na atualização não está disponível. Consulte Selecionar um modo de desempenho para atualizações agendadas.

Requisitos de consulta

Para consultar uma exibição materializada independente ou uma tabela de streaming, você deve ser o proprietário ou ter SELECT na tabela junto com USE CATALOG e USE SCHEMA nos pais.

Você precisa usar um dos seguintes recursos de computação:

• SQL Warehouse
• Interfaces de pipelines do Lakeflow
• Computação no modo de acesso padrão (anteriormente modo de acesso compartilhado)
• Computação com modo de acesso dedicado (anteriormente, modo de acesso de usuário único) no Databricks Runtime 15.4 ou superior, se o espaço de trabalho estiver habilitado para computação sem servidor. Consulte o controle de acesso refinado na computação dedicada. Se você for o proprietário, poderá usar a computação de modo de acesso dedicado executando o Databricks Runtime 14.3 ou superior.

Para tabelas de streaming no Databricks Runtime 15.3 e abaixo, você pode usar a computação dedicada para consultar uma tabela de streaming somente se você a tiver. O Databricks Runtime 15.4 LTS e acima dão suporte à consulta de tabelas geradas por pipeline na computação dedicada, mesmo se você não for o proprietário. Você pode ser cobrado por recursos de computação sem servidor ao usar a computação dedicada para executar operações de filtragem de dados. Consulte o controle de acesso refinado na computação dedicada.

Disponibilidade regional

As tabelas criadas e atualizadas usando um Databricks SQL warehouse estão disponíveis em todas as regiões que oferecem suporte a Databricks SQL warehouses sem servidor.

A criação e a atualização de views materializadas autônomas e tabelas de streaming na computação geral sem servidor estão disponíveis em todas as regiões que oferecem suporte à computação sem servidor.

Para obter a lista de regiões com suporte para ambas as opções de computação, consulte a disponibilidade sem servidor.