Classificadores personalizados

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Esta página descreve como criar e gerenciar classificadores personalizados para a Classificação de Dados do Databricks no Catálogo do Unity. Classificadores personalizados estendem o sistema de classificação interno para que você possa detectar dados confidenciais específicos à sua organização, como IDs internas de funcionários, códigos de produto proprietários, identificadores de fornecedor ou números de conta de parceiro.

Para criar um classificador personalizado, primeiro selecione uma marca governada. Em seguida, descreva os dados a serem detectados, forneça colunas de exemplo que contenham valores representativos ou ambos. Azure Databricks gera uma visualização do que o classificador detecta para que você possa revisá-lo antes de salvar. Em seguida, a Classificação de Dados detecta esse classificador durante suas verificações regulares.

Note

Classificadores personalizados detectam dados sensíveis em nível de coluna durante varreduras de classificação. Para atribuir tags governadas a tabelas inteiras e volumes, como um nível de sensibilidade em nível de tabela, automatize a atribuição de tags (beta).

Usando classificadores personalizados, você pode:

  • Marque dados específicos da organização: detecte e configure a marcação automática para tipos de dados exclusivos para sua organização, como IDs de funcionário, códigos de parceiro ou números de conta interna.
  • Amplie os controles de governança: aplique máscaras ABAC em nível de coluna a dados sensíveis.

Note

A configuração do classificador personalizado e os metadados de detecção que o Azure Databricks gera a partir das colunas de exemplo são criptografados em repouso. Você pode usar uma CMK (chave gerenciada pelo cliente) no catálogo do sistema para gerenciar a chave de criptografia. Configurar um CMK no catálogo do sistema criptografa todos os dados no catálogo do sistema, não apenas dados de classificador personalizados.

Configure uma chave gerenciada pelo cliente no catálogo do sistema no Catalog Explorer.

Requirements

  • A Classificação de Dados deve ser habilitada em pelo menos um catálogo no metastore. Consulte Usar classificação de dados.
  • Seu workspace deve ter a computação sem servidor disponível (habilitada por padrão em workspaces com o Unity Catalog).
  • Para criar, editar ou excluir um classificador personalizado, você deve ser um administrador do metastore.
  • Para criar ou editar um classificador personalizado, você deve ter ASSIGN privilégios na marca governada que o classificador usa. Consulte Gerenciar permissões em tags gerenciadas.
  • Para selecionar uma coluna de exemplo para o classificador, você deve ter SELECT na tabela que a contém. Azure Databricks amostra a coluna para gerar a visualização.

Criar um classificador personalizado

  1. Na página de resultados da Classificação de Dados, clique em Gerenciar classificadores personalizados.

    Botão

  2. No painel lateral classificadores personalizados , clique em Adicionar classificador.

  3. Selecione uma tag. Escolha uma tag controlada existente ou crie uma nova tag para definir uma ali mesmo. Se a tag tiver valores permitidos, escolha o valor específico que você deseja detectar.

    O assistente Adicionar classificador personalizado com a etapa Selecionar um rótulo ativa, mostrando o seletor de rótulo de governança acima das etapas recolhidas Definir o classificador e Gerar o classificador.

  4. Defina o classificador. Forneça uma descrição, colunas de exemplo ou ambas para que o Azure Databricks saiba o que procurar:

    • Em Descrever como classificar, descreva os dados a serem detectados em linguagem simples, como Columns that store a person's contact details.
    • Em Selecionar colunas de dados de exemplo, navegue pela árvore de catálogo e selecione até 10 colunas que contêm valores representativos para a classe.

    Para saber como escrever uma descrição eficaz e escolher boas colunas de exemplo, consulte Definir o classificador.

    A etapa Definir o classificador do assistente Adicionar classificador personalizado, mostrando o campo Descrever como classificar o texto acima do navegador de catálogo Selecionar colunas de dados de exemplo, com duas colunas selecionadas.

  5. Gere o classificador. Azure Databricks gera uma visualização do que o classificador detecta. Para ajustar o resultado, edite a descrição ou as colunas de exemplo, e a pré-visualização é gerada novamente. Consulte a versão prévia do Classificador.

    A etapa de geração do classificador no assistente Adicionar classificador personalizado, mostrando a visualização gerada do classificador com um resumo em linguagem simples e cartões de exemplo de colunas que mostram nomes de colunas e valores de exemplo.

  6. Clique em Criar. Esse botão permanece desabilitado até que uma visualização seja gerada.

As detecções do classificador personalizado normalmente aparecem na página de resultados em poucas horas.

Definir o classificador

Você define um classificador personalizado com uma descrição, colunas de exemplo ou ambas.

Sua descrição explica o que os dados representam e afeta diretamente como Azure Databricks gera o classificador. Você pode usar a descrição para orientar o Azure Databricks a incluir ou excluir correspondências (por exemplo, "números de telefone que pertencem a clientes individuais, não a linhas públicas de suporte ou vendas").

As colunas de amostra ajudam o Azure Databricks a aprender a estrutura dos dados a serem amostrados. Você precisa do privilégio SELECT em uma tabela para usar suas colunas como amostras.

Um classificador personalizado se aplica a todos os catálogos no metastore que têm a Classificação de Dados habilitada. Não há suporte à delimitação por catálogo ou por esquema.

Visualização do classificador

Antes de salvar um classificador personalizado, Azure Databricks gera uma visualização para que você possa verificar suas regras de detecção. A visualização descreve o que o classificador detecta em linguagem simples e mostra exemplos de valores e nomes de coluna correspondentes.

As colunas e os valores na visualização são exemplos gerados por IA, não dados reais da tabela. Se a visualização não corresponder ao que você deseja detectar, edite a descrição ou as colunas de exemplo para gerar uma nova visualização.

Gerenciar classificadores personalizados

O painel lateral classificadores personalizados lista todos os classificadores personalizados configurados para o metastore. Neste painel, você pode pesquisar por nome de marca, editar um classificador existente ou excluir um classificador.

Lista de classificadores personalizados no painel lateral Classificadores personalizados.

Editar um classificador personalizado

Para atualizar um classificador personalizado existente:

  1. No painel lateral classificadores personalizados , selecione o classificador personalizado que você deseja editar. A exibição de edição mostra a descrição salva do classificador, as colunas de exemplo e a prévia.
  2. Edite a descrição ou adicione ou remova colunas de exemplo. Azure Databricks regenera a visualização automaticamente.
  3. Se a visualização estiver correta, clique em Atualizar.

As detecções existentes da configuração anterior permanecem em vigor.

A marca governada e o valor da marca não podem ser alterados depois que um classificador personalizado é criado. Para mudar para um rótulo diferente, exclua o classificador personalizado e crie um novo.

Excluir um classificador personalizado

  1. No painel lateral classificadores personalizados , selecione o classificador personalizado que você deseja excluir.
  2. Clique em Excluir.
  3. Confirme a exclusão.

Quando você exclui um classificador personalizado:

  • Nenhuma nova detecção é produzida para esse classificador.
  • As detecções existentes são removidas da página de resultados da Classificação de Dados.
  • As etiquetas que já foram aplicadas automaticamente às colunas não são removidas automaticamente.

Exibir detecções de classificador personalizado

Para exibir detecções de classificador personalizado, siga as mesmas etapas que para classificações internas. Veja os resultados da classificação.

Limitações

  • Você pode criar um máximo de 50 classificadores personalizados por metastore.
  • Cada classificador personalizado deve ter uma descrição, colunas de exemplo ou ambas. Você pode referenciar no máximo 10 colunas de exemplo.
  • A nomenclatura de marca governada está sujeita às regras de Política de Marca.
  • Classificadores personalizados se aplicam a todos os catálogos habilitados para Classificação de Dados no metastore. Não há suporte à delimitação por catálogo ou por esquema.
  • A marca governada usada por um classificador personalizado não pode ser alterada após a criação. Para usar uma etiqueta diferente, exclua e recrie o classificador personalizado.
  • Classificadores personalizados novos e atualizados se aplicam somente às verificações subsequentes de Classificação de Dados. Os resultados de verificação existentes não são reclassificados automaticamente, portanto, as detecções de dados verificados anteriormente aparecem após a conclusão da próxima verificação.
  • Todas as limitações de Classificação de Dados também se aplicam a classificadores personalizados, incluindo tipos de tabela compatíveis. Confira Limitações.

Troubleshooting

Os tópicos a seguir ajudam a solucionar problemas comuns com classificadores personalizados.

Um classificador personalizado é suspenso

Se um classificador personalizado não puder mais produzir detecções, Azure Databricks o suspenderá e mostrará um aviso na página de resultados da Classificação de Dados. O aviso indica o motivo. Um classificador personalizado suspenso não produz novas detecções.

Aviso mostrando que um ou mais classificadores personalizados estão suspensos.

Azure Databricks suspende um classificador personalizado pelos seguintes motivos:

  • A tag governada não é mais válida. A tag governada ou o valor da tag foi excluído, ou a tag está sem um valor obrigatório. Restaure o rótulo ou o valor, ou exclua o classificador personalizado e crie um novo com um rótulo válido. Editar a descrição ou as colunas de exemplo não resolve essa suspensão.
  • Azure Databricks não pode gerar uma regra de detecção com base na descrição e nas colunas de exemplo fornecidas. Edite o classificador personalizado para refinar a descrição ou substituir colunas de exemplo inacessíveis ou não representativas e salve para regenerar o classificador.

Permissão negada ao criar ou listar classificadores personalizados

Você deve ser um administrador do metastore. A criação ou edição de um classificador personalizado também requer, adicionalmente, privilégios ASSIGN na tag governada. Confira os Requisitos

Não é possível selecionar uma coluna de exemplo

Você deve ter SELECT na tabela que contém a coluna. Se você não tiver SELECT na tabela, peça ao proprietário da tabela para concedê-la ou escolha uma coluna diferente.

Recursos adicionais

  • Last updated on