Melhores práticas de unificação de dados

Ao configurar regras para unificar os seus dados num perfil de cliente, considere estas melhores práticas:

• Equilíbrio entre o tempo para unificar e para a correspondência completa. Tentar capturar todas as correspondências possíveis leva a muitas regras e faz com que a unificação demore muito tempo.

• Adicione regras progressivamente e monitorize os resultados. Remova as regras que não melhoram o resultado da correspondência.

• Elimine os duplicados de cada tabela para que cada cliente seja representado numa única linha.

• Use a normalização para padronizar variações na forma como os dados foram inseridos, como Rua vs. R. vs. R vs. r.

• Use a correspondência difusa estrategicamente para corrigir erros de digitação e erros como bob@contoso.com e bob@contoso.cm. As correspondências difusas demoram mais tempo a serem executadas do que as correspondências exatas. Teste sempre para ver se o tempo extra gasto na correspondência difusa compensa a taxa de correspondência extra.

• Reduza o âmbito das correspondências com a correspondência exata. Certifique-se de que cada regra com condições difusas tem, pelo menos, uma condição de correspondência exata.

• Não faça corresponder as colunas que contenham dados altamente repetidos. Certifique-se de que as colunas com correspondência aproximada não contêm valores repetidos com frequência, por exemplo, o valor predefinido de um formulário, "Nome próprio".

Desempenho da unificação

Cada regra leva tempo para ser executada. Padrões como comparar cada tabela com todas as outras tabelas ou tentar capturar todas as correspondências de registos possíveis podem levar a longos tempos de processamento de unificação. Também obtém poucas ou mais nenhumas correspondências num plano que compara cada tabela com uma tabela base.

A melhor abordagem é começar com um conjunto básico de regras que sabe que são necessárias, como comparar cada tabela com a tabela principal. A sua tabela primária deve ser a tabela com os dados mais completos e precisos. Esta tabela deve ser colocada no topo no passo de unificação das regras de correspondência.

Adicione progressivamente várias regras e veja quanto tempo as alterações demoram a ser executadas e se os resultados melhoram. Aceda a Definições>Sistema>Estado e selecione Corresponder para ver quanto tempo a eliminação de duplicados e a correspondência levaram para cada execução de unificação.

Veja as estatísticas da regra nas páginas Regras de eliminação de duplicados e Regras de correspondência para ver se o número de Registos exclusivos muda. Se uma nova regra corresponder a alguns registos e a contagem de registos exclusivos não for alterada, uma regra anterior identificará essas correspondências.

Dados do cliente

No passo Dados do cliente:

• Exclua as colunas que não são necessárias para regras de correspondência ou que não deseja incluir no perfil do cliente final.

• Reveja as descrições das colunas selecionadas pelo mapeamento inteligente.

• Nem todas as colunas têm de ser mapeadas. O mapeamento de colunas comuns, como campos de e-mail e endereço, permite que o Customer Insights facilite os processos a jusante, mas as colunas com um ID ou objetivo exclusivo para o seu negócio podem ser deixadas sem mapeamento.

Deduplicação

Use regras de eliminação de duplicados para remover registos de clientes duplicados numa tabela, de modo a que uma única linha em cada tabela represente cada cliente. Uma boa regra identifica um cliente exclusivo.

Neste exemplo simples, os registos 1, 2 e 3 partilham um e-mail ou um número de telefone e representam a mesma pessoa.

Não queremos fazer a correspondência com base apenas no nome, pois isso faria corresponder pessoas diferentes com o mesmo nome.

• Crie a Regra 1 utilizando o Nome e o Telefone, que faz corresponder os registos 1 e 2.

• Crie a Regra 2 utilizando Nome e E-mail, que corresponde aos registos 2 e 3.

A combinação da Regra 1 e Regra 2 cria um único grupo de correspondência porque partilham o registo 2.

Você decide o número de regras e de condições que identificam exclusivamente os seus clientes. As regras exatas dependem dos dados disponíveis para estabelecer correspondências, da qualidade dos seus dados e do nível de exaustividade que pretende para o processo de eliminação de duplicados.

Normalização

Use a normalização para padronizar os dados para obter uma melhor correspondência. A normalização tem um bom desempenho em grandes conjuntos de dados.

Os dados normalizados são usados apenas para fins de comparação para corresponder os registos do cliente de forma mais eficaz. Não altera os dados na saída final do perfil de cliente unificado.

Correspondência exata

Utilize a precisão para determinar quão semelhantes duas cadeias de caracteres devem ser para serem consideradas correspondentes. A definição de precisão predefinida requer uma correspondência exata. Qualquer outro valor permite a correspondência difusa para essa condição.

A precisão pode ser definida como baixa (30% de correspondência), média (60% de correspondência) e alta (80% de correspondência). Ou pode personalizar e definir a precisão em incrementos de 1%.

Condições de correspondência exata

As condições de correspondência exata são aplicadas primeiro, de modo a obter um conjunto mais pequeno de valores para correspondências aproximadas. Para serem eficazes, as condições de correspondência exata devem ter um grau razoável de exclusividade. Por exemplo, se todos os seus clientes estiverem no mesmo país/região, então uma correspondência exata ao nível de país/região não ajudaria a restringir o âmbito.

Colunas como nome completo, e-mail, telefone ou endereço têm boa unicidade e são excelentes para utilizar em correspondência exata.

Verifique se a coluna usada para uma condição de correspondência exata não tem valores repetidos com frequência, como um valor predefinido de "Nome próprio" capturado por um formulário. O Customer Insights pode criar perfis de colunas de dados para fornecer informações sobre os principais valores repetidos. Pode ativar a criação de perfil de dados em ligações ao Azure Data Lake (utilizando o Common Data Model ou o formato Delta) e no Synapse. O perfil de dados é executado da próxima vez que a origem de dados for atualizada. Para mais informações, aceda a Criação de perfis de dados.

Correspondência difusa

Use a correspondência difusa para corresponder cadeias que estão próximas, mas não são exatas devido a erros de digitação ou outras pequenas variações. Utilize a correspondência aproximada de forma estratégica, pois é mais lenta do que as correspondências exatas. Certifique-se de que há, pelo menos, uma condição de correspondência em qualquer regra com condições difusas.

A correspondência aproximada não se destina a detetar variantes de nomes como Suzzie e Suzanne. Estas variações são mais bem abrangidas pelo padrão de normalização Tipo: Nome ou pela correspondência por alias personalizada, na qual os clientes podem introduzir a sua lista de variações de nome que pretendem considerar correspondentes.

Pode adicionar condições a uma regra, por exemplo, para fazer corresponder Primeiro Nome e Telefone. As condições numa determinada regra são condições "AND". Cada condição tem de coincidir para que as linhas coincidam. Regras distintas são condições «OU». Se a Regra 1 não se aplicar às linhas, então as linhas são comparadas com a Regra 2.

Cálculos de correspondência difusa

As correspondências aproximadas são determinadas calculando-se a pontuação da distância de edição entre duas sequências de caracteres. Se a pontuação atingir ou exceder o limiar de precisão, as cadeias de caracteres são consideradas correspondentes.

A distância de edição é o número de edições necessárias para transformar uma string noutra, adicionando, apagando ou alterando um caráter.

Por exemplo, as cadeias "robert2020@hotmail.com" e "robrt2020@hotmail.cm" têm uma distância de edição de dois quando removemos os carateres "e" e "o". Para calcular a classificação da distância de edição, utilize esta fórmula: (Comprimento da cadeia de base – Distância de Edição) / Comprimento da cadeia de base.