Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Quando você exclui um objeto protegível do Catálogo do Unity (via Catalog Explorer, SQL DROP, etc.), o que acontece depende do tipo de objeto e do tipo de armazenamento. Esta página descreve o ciclo de vida do arquivo de dados, a cobrança de armazenamento e as opções de recuperação após a exclusão.
O tipo de armazenamento determina o que acontece com os arquivos de dados
Para tabelas e volumes, o que acontece com os arquivos de dados subjacentes depende se o ativo é gerenciado ou externo. Para obter mais informações sobre essa distinção, consulte Ativos gerenciados versus externos no Catálogo do Unity.
Tabelas e volumes gerenciados: o Catálogo do Unity controla o local de armazenamento e o ciclo de vida do arquivo de dados. Os arquivos de dados residem no local de armazenamento gerenciado definido no nível de metastore, catálogo ou esquema. Quando você exclui uma tabela gerenciada ou um volume, o Catálogo do Unity exclui os arquivos de dados subjacentes por meio de um ciclo de vida de várias fases. Os locais de armazenamento gerenciado vêm em dois tipos:
- Azure Databricks armazenamento padrão: armazenamento de objetos que Azure Databricks provisiona e gerencia em sua conta Azure Databricks.
- Armazenamento gerenciado fornecido pelo cliente: um local de armazenamento em nuvem em sua conta de nuvem, configurado no nível de metastore, catálogo ou esquema, que Azure Databricks grava e gerencia dados.
Ambas as variantes compartilham o mesmo ciclo de vida do arquivo de dados, mas o faturamento e a retenção do arquivo após a exclusão diferem. Consulte Objetos gerenciados no armazenamento padrão do Azure Databricks em comparação com o armazenamento fornecido pelo cliente.
Tabelas e volumes externos: você controla o local de armazenamento e o ciclo de vida. Quando você exclui uma tabela ou volume externo, o Catálogo do Unity remove os metadados do metastore, mas os arquivos de dados permanecem no local de armazenamento em nuvem.
Catálogos externos e federados: os dados residem em outra fonte de dados (como um banco de dados federado por meio do Lakehouse Federation ou um metastore do Hive por meio da federação do metastore do Hive). O Catálogo do Unity contém apenas os metadados de conexão. Quando você exclui um catálogo estrangeiro, o Catálogo do Unity remove os metadados de conexão. Os dados no sistema de origem não são afetados.
Para outros objetos protegíveis (catálogos, esquemas, exibições, funções, modelos), a exclusão remove apenas metadados — não há arquivos de dados associados para o Catálogo do Unity gerenciar. Remover um catálogo ou esquema com CASCADE remove as tabelas e volumes contidos, cada um de acordo com seu próprio comportamento gerenciado ou externo acima.
Recuperar um objeto excluído
A forma como você recupera um objeto excluído depende do tipo de objeto.
| Tipo de objeto | Recuperação |
|---|---|
| Tabelas, exibições materializadas, tabelas de streaming | Use UNDROP dentro de 7 dias após a exclusão. Visões materializadas e tabelas de streaming devem ter sido criadas a partir de um pipeline ETL, e esse pipeline ainda deve existir. |
| Catálogos, esquemas, volumes, exibições, funções, modelos | Não é possível recuperar após a exclusão. |
Aviso
A recuperação tem tempo limitado e é feita em regime de melhor esforço. Exclua um objeto somente depois de confirmar que você não precisa mais dos dados. Use a opção RESTRICT (o padrão) em DROP CATALOG e DROP SCHEMA para evitar a exclusão recursiva acidental de objetos não vazios.
Ciclo de vida dos dados gerenciados após uma exclusão
Excluir uma tabela gerenciada ou volume não exclui imediatamente os arquivos de dados do armazenamento em nuvem. Os arquivos de dados são retidos durante uma janela de recuperação e excluídos permanentemente posteriormente.
Fase 1: Janela de recuperação
Por 7 dias após a exclusão, o Catálogo do Unity retém os dados excluídos suavemente para que você possa recuperar o objeto. Durante esta janela:
- Use o comando SQL UNDROP para recuperar tabelas, exibições materializadas e tabelas de streaming.
- O Catálogo do Unity retém os metadados do objeto descartado e a cobrança de armazenamento continua.
Fase 2: Limpar
Quando a janela de recuperação de 7 dias termina, o objeto não pode mais ser recuperado. O Catálogo do Unity exclui permanentemente os arquivos de dados dentro de 48 horas. Para obter detalhes do faturamento de armazenamento de cada fase, consulte Faturamento de armazenamento após uma exclusão.
Objetos gerenciados em Azure Databricks armazenamento padrão versus armazenamento fornecido pelo cliente
Os objetos gerenciados podem usar dois tipos de armazenamento gerenciado. O ciclo de vida de dados e o comportamento de limpeza do Catálogo do Unity são os mesmos, mas a cobrança e a retenção de arquivos pós-limpeza diferem.
| Tipo de armazenamento | Limpeza de arquivo |
|---|---|
| Azure Databricks armazenamento padrão (gerenciado por Azure Databricks em seu nome) | O Catálogo do Unity exclui permanentemente os arquivos de dados dentro de 48 horas após o término da janela de recuperação. |
| Armazenamento gerenciado fornecido pelo cliente (um local de armazenamento em nuvem configurado no metastore, catálogo ou esquema) | O Catálogo do Unity exclui permanentemente os arquivos de dados dentro de 48 horas após o término da janela de recuperação. Suas políticas de armazenamento em nuvem (controle de versão de objeto, exclusão reversível, regras de ciclo de vida) podem reter arquivos além desse ponto. Seu provedor de nuvem cobra você pelo armazenamento de acordo com essas políticas. |
Para obter mais informações sobre Azure Databricks armazenamento padrão, consulte o armazenamento padrão no Databricks. Para configurar o armazenamento gerenciado fornecido pelo cliente, consulte Especificar um local de armazenamento gerenciado no Catálogo do Unity.
Tabelas e volumes externos
Quando você exclui uma tabela externa ou um volume externo, o Catálogo do Unity remove os metadados do metastore. Os arquivos de dados no armazenamento em nuvem não são excluídos. Seu provedor de nuvem continua cobrando pelo armazenamento de acordo com as políticas do bucket.
Para remover os arquivos, exclua-os diretamente do armazenamento em nuvem.
Catálogos estrangeiros e federados
Um catálogo estrangeiro contém metadados que fazem referência a uma fonte de dados externa. Quando você exclui um catálogo estrangeiro, o Catálogo do Unity remove os metadados de conexão. Os dados no sistema de origem não são afetados. O Azure Databricks não cobra de você pelo armazenamento no sistema de origem; a cobrança do sistema de origem se aplica.
Cobrança de armazenamento após exclusão
A tabela a seguir resume como o Azure Databricks e seu provedor de nuvem cobram pelo armazenamento em cada fase. O Azure Databricks cobra apenas pelo armazenamento no armazenamento padrão do Azure Databricks, e somente durante a janela de recuperação — a cobrança pelo armazenamento é interrompida quando a janela de recuperação de 7 dias termina. Para armazenamento gerenciado fornecido pelo cliente e armazenamento externo, seu provedor de nuvem cobra você diretamente.
| Tipo de armazenamento | Janela de recuperação | Limpeza da fase 2 | Após a purga |
|---|---|---|---|
| Gerenciado no armazenamento padrão Azure Databricks | Azure Databricks faturado | Não cobrável do cliente (a cobrança é encerrada quando a janela de recuperação expira) | Não aplicável |
| Gerenciado no armazenamento fornecido pelo cliente | Provedor de nuvem faturado | Provedor de nuvem faturado | Cobrado pelo provedor de nuvem (de acordo com as políticas do seu bucket) |
| Tabelas e volumes externos | Cobrança do provedor de nuvem (os arquivos não são excluídos) | Provedor de nuvem faturado | Provedor de nuvem faturado |
| Catálogos estrangeiros e federados | Não aplicável | Não aplicável | Não aplicável |
Depois de excluir um objeto gerenciado no armazenamento fornecido pelo cliente, você ainda poderá ver os encargos de armazenamento do seu provedor de nuvem. Para reduzir esses encargos, verifique as políticas de controle de versão, exclusão reversível e ciclo de vida do objeto do bucket.
Excluir um objeto do Catalog Explorer
Você pode excluir objetos do Unity Catalog no Catalog Explorer, na interface do usuário do espaço de trabalho. O ciclo de vida de dados descrito neste artigo aplica-se se você excluir um objeto do Catalog Explorer ou executar uma instrução SQL DROP .
- Excluir um catálogo: consulte Excluir um catálogo.
- Excluir um esquema: consulte Gerenciar esquemas.
- Excluir um volume: consulte Excluir um volume.
O que acontece quando você exclui um workspace
Por padrão, excluir um espaço de trabalho não exclui automaticamente o catálogo padrão do Unity Catalog do espaço de trabalho. Se o catálogo for mantido, suas tabelas e volumes gerenciados permanecerão e a cobrança de armazenamento continuará até que o catálogo seja descartado.
O Azure Databricks oferece uma opção de exclusão forçada que remove o catálogo do espaço de trabalho e seus dados como parte da exclusão desse espaço de trabalho. Veja Excluir forçadamente o catálogo de espaços de trabalho. Se o catálogo do espaço de trabalho não for excluído à força, ele será mantido após a exclusão do espaço de trabalho e deverá ser removido manualmente.
Para obter detalhes sobre a exclusão do workspace, consulte Excluir um workspace.