Hash e carregue a tabela de fonte de informações confidenciais para tipos de informações confidenciais de correspondência exata de dados

Visão Geral

Este artigo mostra como fazer hash e carregar sua tabela de fonte de informações confidenciais como parte do fluxo de trabalho do tipo de informações confidenciais de EDM (correspondência exata de dados). Depois de criar um esquema EDM e configurar seu tipo de informações confidenciais, use o Agente de Upload do EDM para fazer o hash dos dados de origem e carregá-los com segurança no Microsoft 365. O artigo aborda pré-requisitos, requisitos de formatação de dados e instruções passo a passo para métodos de carregamento em um e dois computadores. Os procedimentos neste artigo se aplicam aos seguintes fluxos de trabalho:

Produtos e serviços aos quais esse procedimento de hash e upload se aplica

Faça hash e carregue a tabela de fonte de informações confidenciais

Nessa fase, você:

  1. Configure um grupo de segurança personalizado e uma conta de usuário.
  2. Configure a ferramenta Agente de Upload de Correspondência Exata de Dados (EDM).
  3. Use a ferramenta Agente de Upload do EDM para fazer hash, com um valor salt, da tabela de fonte de informações confidenciais e carregá-la.

Para fazer hash e carregar seus dados confidenciais, use o método de dois computadores ou o método de um computador , conforme descrito em Hash e carregue seus dados. Você não pode usar hash personalizado para carregar dados. Você só pode usar esses dois métodos conforme descrito na documentação para hash e upload.

A prática recomendada é usar dois computadores para separar os processos de hash e upload de seus dados confidenciais. Separar as etapas em dois computadores ajuda a garantir que seus dados reais nunca estejam disponíveis em formato de texto não criptografado em um computador que possa estar comprometido devido à sua conexão com a Internet. Separar o hash e o upload em dois computadores também facilita o isolamento de qualquer problema encontrado.

Pré-requisitos

Antes de fazer o hash e carregar sua tabela de fonte de informações confidenciais, certifique-se de atender aos seguintes requisitos de tecnologia, conta, esquema e formatação de dados.

Requisitos de tecnologia

Para usar o Agente de Upload do EDM para fazer hash e carregar seus dados confidenciais, verifique se os seguintes requisitos estão em vigor.

  • Uma conta corporativa ou de estudante do Microsoft 365. Essa conta deve ser adicionada ao grupo de segurança EDM_DataUploaders .
  • Um computador com um dos seguintes sistemas operacionais. Este computador executa o Agente de Upload do EDM.
    • Windows 10 e versões posteriores
    • Windows Server 2019 e versões posteriores
    • Windows Server 2016 com .NET versão 4.6.2
  • Um diretório no computador que você usa para carregar seus dados. Este diretório contém:
    • O Agente de Upload do EDM.
    • Seu arquivo de dados de informações confidenciais no formato.csv, .tsv ou pipe (|). Por padrão, o Agente de Upload de EDM espera que seu arquivo de dados esteja em .csv formato. > [! DICA]

      Você pode usar um arquivo com dados separados por guias ou pipes (em vez de vírgulas), indicando as opções "(Tab)" ou "(|)" com o /ColumnSeparated parâmetro. Por exemplo: EdmUploadAgent.exe /UploadData /DataStoreName PatientRecords /DataFile C:\Edm\Hash\PatientRecords.csv /HashLocation C:\Edm\Hash /Schema edm.xml /AllowedBadLinesPercentage 5

    • Os arquivos de sal e hash de saída que são criados ao concluir o procedimento de hash.
    • O nome do armazenamento de dados do arquivo edm.xml . Nosso exemplo usa PatientRecords.

Requisitos de grupo de segurança e conta de usuário

A conta que você usa para carregar sua tabela de fonte de informações confidenciais deve ser membro de uma dessas funções para criar e gerenciar os dados exatos que correspondem aos tipos de informações confidenciais.

Importante

A Microsoft recomenda que você use funções com o menor número de permissões. Minimizar o número de usuários com a função de Administrador Global ajuda a melhorar a segurança da sua organização. Saiba mais sobre as funções e permissões do Microsoft Purview.

Função Pode criar grupos de segurança e adicionar membros Observações
Administrador de grupos Sim Melhor opção com privilégios mínimos
Administrador do usuário Sim Função mais comumente usada
Administrador Global Sim Concede controle total, não use

Você pode usar um grupo de segurança existente ou criar um novo para gerenciar uploads de dados de EDM.

  1. Vá para o centro de administração usando o link de portal apropriado para sua assinatura e crie um grupo de segurança chamado EDM_DataUploaders.

  2. Adicione um ou mais usuários ao grupo de segurança EDM_DataUploaders . Esses usuários gerenciam o banco de dados de informações confidenciais.

Esquema de correspondência exata de dados

Se você usou o esquema EDM e a ferramenta de tipo de informações confidenciais para a nova experiência ou o pacote de regras/tipo de informações confidenciais EDM para a experiência clássica, você deve baixar esse esquema para fazer o hash da tabela de fonte de informações confidenciais. Para obter mais informações, consulte Exportando o arquivo de esquema EDM no formato XML.

Para baixar o arquivo de esquema EDM para seu tipo de informações confidenciais, abra uma janela de Prompt de Comando e execute o seguinte comando:

EdmUploadAgent.exe /SaveSchema /DataStoreName <schema name> /OutputDir <path to output folder>

Requisitos de formatação de dados

Antes de fazer o hash e carregar seus dados confidenciais, execute uma pesquisa por quaisquer caracteres especiais na tabela que possam causar problemas na análise do conteúdo.

Para detectar problemas de formatação ou mapeamento de coluna antes de carregar, valide o arquivo de dados em relação ao esquema EDM usando o Agente de Upload do EDM com a seguinte sintaxe:

EdmUploadAgent.exe /ValidateData /DataFile [data file] /Schema [schema file]

Problemas comuns de formatação

Os problemas de formatação a seguir geralmente causam erros de validação ou análise ao preparar sua tabela de fonte de informações confidenciais.

  1. Número incompatível de colunas: Esse problema pode ser devido à presença de vírgulas ou caracteres de aspas dentro de valores na tabela que o EDM interpreta como delimitadores de coluna. A menos que estejam em torno de um valor inteiro, aspas simples e duplas podem fazer com que a ferramenta identifique incorretamente o início e o fim de colunas individuais.
  2. Caracteres de aspas simples ou vírgulas dentro de um valor: Por exemplo, se o nome de uma pessoa incluir aspas simples, como Tom O'Neil , ou o nome de uma cidade começar com um apóstrofo, como 's-Gravenhage, você precisará modificar o processo de exportação de dados usado para gerar a tabela de informações confidenciais e colocar essas colunas entre aspas duplas.
  3. Caracteres de aspas duplas dentro dos valores: A prática recomendada é usar o formato delimitado por tabulação para a tabela. Tabelas delimitadas por tabulação são menos suscetíveis a esses problemas.

Faça hash e carregue seus dados

Selecione o Agente de Upload de EDM apropriado para sua organização.

Versão do agente de carregamento de EDM Descrição
Comercial + GCC A maioria dos clientes comerciais deve usar essa opção.
GCC-High Essa opção é especificamente para assinantes de nuvem governamental de alta segurança.
DoD Essa opção é especificamente para clientes de nuvem do Departamento de Defesa dos Estados Unidos.

Cada versão do Agente de Upload de EDM adiciona automaticamente um valor salt aos seus dados com hash. Se você escolher, poderá fornecer seu próprio valor salt usando o /Salt parâmetro ao executar o Agente de Upload do EDM.

Aviso

Se você optar por usar seu próprio valor de sal, não poderá voltar a usar a versão padrão do Agente de Upload de EDM para seu caso de uso. Se quiser fazer hash e carregar de um computador, o computador que você usa deverá ser capaz de se conectar diretamente ao seu locatário do Microsoft 365. Além disso, seu arquivo de tabela de fonte de informações confidenciais de texto não criptografado deve residir neste computador para que possa ser hash.

Sua tabela de fonte de informações confidenciais está formatada como texto não criptografado. Usando um computador para a etapa de hash e um computador diferente para a etapa de carregamento, você protege seus dados de serem expostos em texto não criptografado em um computador com uma conexão direta com seu locatário do Microsoft 365.

Importante

O método de dois computadores requer que a mesma versão do Agente de Upload do EDM esteja instalada em ambos os computadores. Em seguida, você pode copiar o arquivo de hash e o arquivo salt do computador seguro para um computador que possa se conectar diretamente ao seu locatário do Microsoft 365.

  1. No computador no ambiente seguro, execute o seguinte comando em uma janela de Prompt de Comando: EdmUploadAgent.exe /CreateHash /DataFile [data file] /HashLocation [hash file location] /Schema [Schema file] /AllowedBadLinesPercentage [value] Por exemplo: EdmUploadAgent.exe /CreateHash /DataFile C:\Edm\Data\PatientRecords.csv /HashLocation C:\Edm\Hash /Schema edm.xml /AllowedBadLinesPercentage 5

    Esse comando gerará um arquivo com hash e um arquivo salt com essas extensões se você não tiver especificado a /Salt <saltvalue> opção:

    • EdmHash
    • EdmSalt

  2. Copie com segurança esses arquivos para o computador que você usa para carregar sua tabela de fonte de informações confidenciais (por exemplo, PatientRecords.csv) para seu locatário.

  3. Autorizar o Agente de Upload do EDM:

    1. Como administrador, abra uma janela do Prompt de Comando.
    2. Alterne para o diretório em que o Agente de Upload do EDM está instalado. (O diretório recomendado é C:\EDM\Data.)
    3. Execute o seguinte comando:

    EDM Upload Agent.exe /Authorize

    Importante

    Você deve executar o Agente de Upload do EDM na pasta em que ele está instalado e indicar o caminho completo para seus arquivos de dados.

  4. Entre com sua conta corporativa ou de estudante do Microsoft 365. (A conta que foi adicionada ao grupo de segurança EDM_DataUploaders ). As informações do locatário são extraídas da conta do usuário para fazer a conexão.

  5. Para carregar os dados com hash, execute o seguinte comando em uma janela do Prompt de Comando:

    EdmUploadAgent.exe /UploadHash /DataStoreName \<DataStoreName\> /HashFile \<HashedSourceFilePath\ /ColumnSeparator ["{Tab}"|"|"]

    Por exemplo: EdmUploadAgent.exe /UploadHash /DataStoreName PatientRecords /HashFile C:\\Edm\\Hash\\**PatientRecords.EdmHash**

  6. Para verificar se o upload de seus dados confidenciais foi bem-sucedido, execute o seguinte comando em uma janela do Prompt de Comando:

    EdmUploadAgent.exe /GetDataStore

    Se o upload tiver sido bem-sucedido, uma lista de armazenamentos de dados e a data em que eles foram atualizados pela última vez serão exibidas.

  7. Para exibir todos os uploads de dados para um repositório específico e quando eles foram atualizados, execute o seguinte comando em uma janela de Prompt de Comando:

    EdmUploadAgent.exe /GetSession /DataStoreName <DataStoreName>

Dica

Para automatizar o processo de hash e upload depois de criá-lo pela primeira vez, consulte Atualizar o arquivo de tabela de fonte de informações confidenciais de correspondência de dados exatos.

Opções avançadas de configuração de vários tokens

As configurações a seguir controlam como o Agente de Upload do EDM lida com valores de vários tokens durante o upload de dados. Configure essas opções no arquivo app.config .

Os administradores podem carregar valores de upload que excedem o limite de vários tokens truncando o token excedente para colunas.

  • Configuração: Controlado via app.config
  • Comportamento Padrão: o suporte está desabilitado por padrão

Os administradores podem desabilitar o recurso mínimo de otimização de vários tokens.

  • Configuração: Controlado via app.config
  • Comportamento padrão: A otimização está habilitada por padrão.

Idiomas de EDM e conjunto de caracteres de byte duplo

A correspondência exata de dados suporta caracteres de byte duplo, como os usados em chinês, japonês e coreano. No entanto, ele não dá suporte a correspondências de cadeia de caracteres para evidências corroborativas codificadas como caracteres de byte duplo. Ele também não corresponde ao texto CJK de vários tokens detectado no conteúdo classificado, a menos que a globalização para EDM esteja habilitada, conforme descrito posteriormente neste documento. Em todos os casos, um SIT deve ser mapeado para qualquer texto com vários tokens, tanto para o campo primário quanto para campos de evidência corroborativa.

Para invocar a correspondência exata de dados para caracteres de byte duplo, siga as seguintes etapas:

  1. Crie um SIT (Tipo de Informações Confidenciais) EDM configurado para corresponder ao idioma do conjunto de caracteres de byte duplo, como kanji japonês.
  2. Baixe e instale a versão 17.01.0495.0 (ou posterior) do Agente de Upload do EDM
  3. Atualize o parâmetro de globalização do arquivo deEdmUploadAgent.exe.config para true: <add key=" IsGlobalizationEnabled" value="true">
  4. Faça hash e carregue uma tabela de origem com os dados a serem correspondentes.

Cenários de Cotações de Análise EDM

ParseQuotesExhaustiveScenariosByDefault é um atributo de configuração opcional que está disponível ao carregar os dados. Ele foi projetado para resolver erros de ingestão de dados causados por formatação complexa em arquivos de origem, como CSVs contendo campos com vírgulas incorporadas, aspas simples/duplas inconsistentes ou caracteres de escape. Por padrão, o valor de ParseQuotesExhaustiveScenariosByDefault is false. Para habilitar essa configuração, adicione ParseQuotesExhaustiveScenariosByDefault="true="true" no arquivo deEdmUploadAgent.exe.config de upload.

  • Aspas duplas ("): Se um campo começar com aspas duplas, o analisador procurará as aspas duplas de fechamento correspondentes. As vírgulas entre aspas são tratadas como texto, não separadores. Por exemplo: Os valores da linha de entrada (CSV bruto) são "ID", Nome, "Título, Função" e, em seguida, Os valores analisados (resultado) serão: ID, First Name, Title, Role. As aspas duplas têm uma hierarquia mais alta do que as aspas simples. Uma aspa simples encontrada dentro de uma cadeia de caracteres com aspas duplas é tratada como um caractere literal.

  • Aspas simples ('): se um campo começar com aspas simples, o analisador o tratará como uma cadeia de caracteres delimitada semelhante a aspas duplas.

  • Sem aspas: se o campo não começar com aspas, os dados serão ingeridos no estado em que se encontram até que o próximo separador seja encontrado.

Próximas etapas

Depois de carregar a tabela de origem, continue com a próxima etapa apropriada para sua experiência.

  • Last updated on