O que é o Azure Databricks Clean Rooms?

Esta página apresenta o Clean Rooms, um recurso de Azure Databricks que usa o OpenSharing e a computação sem servidor para fornecer um ambiente seguro e de proteção de privacidade, em que várias partes podem trabalhar juntas em dados corporativos confidenciais sem acesso direto aos dados uns dos outros.

Requisitos

Para ser qualificado para usar salas limpas, você deve ter:

Se os dados de um participante estiverem em um armazenamento protegido por um firewall ou por um ponto de extremidade privado, ative o SecureConnect para que a computação sem servidor de sala limpa possa acessá-los sem precisar incluir a rede de computação de sala limpa na lista de permissões, mesmo para colaboradores em outras regiões ou nuvens. Consulte Habilitar o SecureConnect para uma sala limpa.

Como funciona o Clean Rooms?

Ao criar um clean room, você cria o seguinte:

  • Um objeto de clean room seguro em seu metastore do Catálogo do Unity.
  • A clean room central, que é um ambiente efêmero e isolado gerenciado por Databricks.
  • Um objeto de clean room seguro no metastore do Catálogo do Unity do seu colaborador.

Tabelas, volumes (dados não tabulares), exibições e blocos de anotações que ambos os colaboradores compartilham na sala limpa são compartilhados apenas com a sala limpa central, usando o OpenSharing.

Os colaboradores não podem ver os dados em tabelas, exibições ou volumes de outros colaboradores, mas podem ver nomes de coluna e tipos de coluna e podem executar código de notebook aprovado que opera nos ativos de dados. O código do notebook é executado no clean room central. Os notebooks também podem gerar tabelas de saída que permitem que seu colaborador salve temporariamente a saída somente para leitura no metastore do Unity Catalog, para que ele possa trabalhar com ela nos espaços de trabalho dele.

Arquitetura e fluxo simples das Clean Rooms, com tabelas de saída

Como o Clean Rooms garante um ambiente de confiança zero?

O modelo do Databricks Clean Rooms é de confiança zero. Todos os colaboradores em um clean room sem confiança têm privilégios iguais, inclusive o criador do clean room. O Clean Rooms foi projetado para impedir a execução de código não autorizado e o compartilhamento não autorizado de dados. Essa confiança é assegurada explicitamente ao exigir que todos os colaboradores aprovem um notebook antes que ele possa ser executado. Embora você possa carregar um notebook para você mesmo, ele precisa ser aprovado pelos outros colaboradores antes de ser executado. Consulte Aprovar um notebook em uma clean room.

Observação

As salas limpas modulares são uma exceção a esse modelo. Eles usam um modelo provedor-consumidor no qual os colaboradores não têm privilégios iguais. Consulte salas limpas modulares.

Proteções ou restrições adicionais

As seguintes proteções estão em vigor, além do processo explícito de aprovação de notebooks mencionado acima:

  • Depois que a clean room é criada, ela é bloqueada para impedir que novos colaboradores ingressem na clean room.

  • Se algum colaborador excluir a sala limpa, a sala limpa central será invalidada e nenhuma tarefa da sala limpa poderá ser executada por qualquer usuário.

  • Cada sala limpa é limitada a dez colaboradores.

  • Não é possível renomear o clean room.

    O nome da sala limpa deve ser exclusivo no metastore de cada colaborador, para que todos os colaboradores possam se referir à mesma sala limpa de forma inequívoca.

  • Quando um colaborador adiciona comentários a uma clean room protegida em seu workspace, esses comentários não são propagados para outros colaboradores.

O que é compartilhado com outros colaboradores?

  • Nome do clean room.
  • Nuvem e região do clean room central.
  • O nome da sua organização (que pode ser qualquer nome que você escolher).
  • O seu identificador de compartilhamento de sala limpa (ID do metastore global + ID do workspace + endereço de email do usuário).
  • Aliases de tabelas, exibições ou volumes compartilhados.
  • Metadados da coluna (nome da coluna ou alias e tipo).
  • Cadernos (somente leitura).
  • Tabelas de saída (somente leitura, temporárias).
  • Tabela do sistema de eventos de clean room.
  • Histórico de execuções, incluindo:
    • O nome do notebook que está sendo executado
    • Colaborador que executou o notebook (não o usuário).
    • O estado da execução do notebook.
    • A hora de início da execução do notebook.

O que é compartilhado com o clean room central?

  • Tudo o que está listado na seção anterior.

  • Tabelas, volumes, visualizações e blocos de anotações somente leitura.

    Tabelas, exibições e volumes são registrados no metastore da clean room central com todos os aliases fornecidos. Os ativos de dados são compartilhados durante todo o ciclo de vida da sala limpa.

Perguntas frequentes sobre salas limpas

As perguntas a seguir são frequentes sobre salas limpas.

Como meus dados são gerenciados em uma sala limpa?

A sala de limpeza central é gerenciada pelo Azure Databricks. Na sala de limpeza central:

  • Nenhuma das partes tem privilégios de administrador.
  • Somente metadados são visíveis para todas as partes.
  • Cada parte pode adicionar dados à sala de limpeza central.
  • As salas limpas usam o OpenSharing para compartilhar dados com segurança na sala limpa, mas não entre os participantes. Veja o que é o OpenSharing?.

Como meus dados são mantidos privados?

As clean rooms centrais são executadas em um plano de computação sem servidor isolado e gerenciado por Databricks, hospedado em uma região de provedor de nuvem escolhida pelo criador da clean room.

As salas limpas fornecem:

  • Aprovação de código: o criador da clean room e os colaboradores podem compartilhar tabelas e volumes com a clean room central, mas só podem executar notebooks carregados pela outra parte. Você pode examinar o código adicionado pela outra parte antes de aprovar. Se você executar um notebook adicionado por terceiros, aprovará implicitamente o código.
  • Controle de versão: notebooks de clean rooms têm controle de versão para garantir que todas as partes só possam executar notebooks totalmente aprovados. Somente a versão mais recente de um notebook pode ser executada. Você pode usar a tabela de sistema de salas limpas para ver qual versão do notebook foi executada e monitorar as alterações feitas.
  • Acesso restrito: ao criar uma clean room, você pode usar o controle de saída sem servidor para gerenciar conexões de rede de saída. Se você restringir o acesso de sua sala limpa, o acesso ao armazenamento não autorizado será bloqueado. Veja O que é o controle de saída sem servidor?.

Para saber mais sobre segurança e o plano de computação sem servidor, confira Sistema de rede do plano de computação sem servidor.

Como as ações são registradas?

As ações de sala limpa executadas por você ou seus colaboradores são registradas na tabela do sistema de eventos de sala limpa. Esses registros incluem metadados detalhados sobre a ação específica tomada. Consulte a Referência da tabela do sistema de eventos da clean room.

As ações na clean room também são registradas no log de auditoria da sua conta, sob o serviço clean-room. Consulte eventos de Salas Limpas.

Quando um colaborador modifica permissões em uma sala segura em seu metastore, essas alterações são registradas em seus logs de auditoria no serviço unityCatalog.

Como funciona a cobrança?

Para saber mais sobre os preços das Salas Limpas do Databricks, veja o link.

Limitações

As seguintes limitações se aplicam:

  • Não há biblioteca Scala de credenciais de serviço incluída na versão necessária do Databricks Runtime.

Cotas de recursos

O Azure Databricks impõe cotas de recursos em todos os objetos protegíveis do Clean Room. Essas cotas são listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Catálogo do Unity. Veja Monitorar o uso de cotas de recursos do Catálogo do Unity.

Introdução

  • Last updated on