Bewährte Methoden für die Datenvereinheitlichung

Berücksichtigen Sie beim Festlegen von Regeln zur Vereinheitlichung Ihrer Daten in einem Kundenprofil die folgenden Best Practices:

• Wägen Sie die Zeit für die Vereinheitlichung und die vollständige Übereinstimmung ab. Der Versuch, jede mögliche Übereinstimmung zu erfassen, führt dazu, dass viele Regeln und die Vereinheitlichung viel Zeit in Anspruch nehmen.

• Fügen Sie nach und nach Regeln hinzu, und verfolgen Sie die Ergebnisse. Entfernen Sie Regeln, die das Übereinstimmungsergebnis nicht verbessern.

• Deduplizieren Sie jede Tabelle, sodass jeder Kunde in einer einzigen Zeile dargestellt wird.

• Verwenden Sie die Normalisierung, um Abweichungen bei der Dateneingabe zu standardisieren, z. B. Straße vs. Str vs. St. vs. Str.

• Verwenden Sie die Fuzzyübereinstimmung strategisch, um Tippfehler und Fehler wie bob@contoso.com und bob@contoso.cm zu korrigieren. Die Ausführung von Fuzzy-Übereinstimmungen dauert länger als die Ausführung exakter Übereinstimmungen. Testen Sie immer, ob die zusätzliche Zeit, die für die Fuzzyübereinstimmung aufgewendet wird, die zusätzliche Übereinstimmungsrate wert ist.

• Grenzen Sie den Umfang der Übereinstimmungen mit exakter Übereinstimmung ein. Stellen Sie sicher, dass jede Regel mit Fuzzy-Bedingungen mindestens eine exakte Vergleichsbedingung hat.

• Stimmen Sie keine Spalten ab, die häufig wiederholte Daten enthalten. Stellen Sie sicher, dass sich die Werte in Spalten mit Fuzzy-Übereinstimmung nicht häufig wiederholen, z. B. der Standardwert „Vorname“ eines Formulars.

Vereinheitlichungsleistung

Die Ausführung jeder Regel nimmt Zeit in Anspruch. Muster wie der Vergleich jeder Tabelle mit jeder anderen Tabelle oder der Versuch, jede mögliche Datensatzübereinstimmung zu erfassen, können zu langen Verarbeitungszeiten für die Vereinheitlichung führen. Dieser Ansatz liefert auch wenige, wenn überhaupt, mehr Übereinstimmungen als einen Plan, der jede Tabelle mit einer Basistabelle vergleicht.

Der beste Ansatz besteht darin, mit einem grundlegenden Satz von Regeln zu beginnen, von denen Sie wissen, dass sie benötigt werden, z. B. indem Sie jede Tabelle mit Ihrer primären Tabelle vergleichen. Ihre primäre Tabelle muss die Tabelle mit den vollständigsten und genauesten Daten sein. Ordnen Sie diese Tabelle oben im Schritt der Abgleichsregeln-Zusammenführung an.

Fügen Sie nach und nach mehrere Regeln hinzu und prüfen Sie, wie lange die Ausführung der Änderungen dauert und ob sich Ihre Ergebnisse verbessern. Gehen Sie zu Einstellungen>System>Status, und wählen Sie Abgleichen aus, um zu sehen, wie lange die Deduplizierung und der Abgleich für jeden Vereinheitlichungslauf gedauert haben.

Zeigen Sie die Regelstatistiken auf den Seiten Deduplizierungsregeln und Übereinstimmungsregeln an, um festzustellen, ob sich die Anzahl der eindeutigen Datensätze ändert. Wenn eine neue Regel mit einigen Datensätzen übereinstimmt und sich die eindeutige Datensatzanzahl nicht ändert, werden diese Übereinstimmungen durch eine vorherige Regel identifiziert.

Kundendaten

Im Schritt Kundendaten:

• Schließen Sie Spalten aus, die für Abgleichsregeln nicht benötigt werden oder die nicht in das endgültige Kundenprofil aufgenommen werden sollen.

• Überprüfen Sie die Spaltenbeschreibungen, die durch die intelligente Zuordnung ausgewählt wurden.

• Es müssen nicht alle Spalten zugeordnet werden. Kartieren Sie gängige Spalten wie E-Mail- und Adressfelder, um nachgelagerte Prozesse zu erleichtern. Sie können jedoch unzugeordnete Spalten mit einer eindeutigen ID oder einem unternehmensspezifischen Zweck beibehalten.

Deduplizierung

Verwenden Sie Deduplizierungsregeln, um doppelte Kundendatensätze in einer Tabelle zu entfernen, sodass eine einzelne Zeile in jeder Tabelle jeden Kunden repräsentiert. Eine gute Regel identifiziert einen eindeutigen Kunden bzw. eine eindeutige Kundin.

In diesem einfachen Beispiel haben die Datensätze 1, 2 und 3 entweder eine gemeinsame E-Mail- oder Telefonnummer und repräsentieren dieselbe Person.

Gleichen Sie nicht nur anhand des Namens ab, denn diese Regel ordnet verschiedene Personen mit demselben Namen zu.

• Erstellen Sie Regel 1 mit Name und Telefonnummer, die mit den Datensätzen 1 und 2 übereinstimmt.

• Erstellen Sie Regel 2 mit Name und E-Mail-Adresse, die mit Datensätzen 2 und 3 übereinstimmen.

Durch die Kombination von Regel 1 und Regel 2 entsteht eine einzige Übereinstimmungsgruppe, da sie Datensatz 2 gemeinsam nutzen.

Sie bestimmen die Anzahl der Regeln und Bedingungen, die Ihre Kunden eindeutig identifizieren. Die genauen Regeln hängen davon ab, welche Daten Ihnen zum Abgleich zur Verfügung stehen, wie gut Ihre Daten sind und wie umfassend der Deduplizierungsprozess sein soll.

Normalisierung

Verwenden Sie die Normalisierung, um Daten für eine bessere Übereinstimmung zu standardisieren. Normalisierung funktioniert gut bei großen Datenmengen.

Das System verwendet die normalisierten Daten ausschließlich zu Vergleichszwecken, um Kundendaten effektiver abzugleichen. Die Daten in der endgültigen Ausgabe des vereinheitlichten Kundenprofils werden dadurch nicht geändert.

Genaue Übereinstimmung

Verwenden Sie Präzision, um zu bestimmen, wie nah zwei Zeichenfolgen sein sollten, um als Übereinstimmung zu gelten. Die Standardeinstellung für die Genauigkeit erfordert eine genaue Übereinstimmung. Jeder andere Wert ermöglicht die Fuzzyübereinstimmung für diese Bedingung.

Setze die Präzision auf niedrig (30% Match), mittel (60% Match) oder hoch (80% Match). Oder Sie können die Genauigkeit anpassen und in Schritten von 1 % festlegen.

Genaue Vergleichsbedingungen

Die Bedingungen für exakte Übereinstimmungen werden zuerst ausgeführt, um eine kleinere Wertemenge für unscharfe Übereinstimmungen zu erhalten. Um wirksam zu sein, sollten die Bedingungen für exakte Übereinstimmungen ein angemessenes Maß an Eindeutigkeit aufweisen. Wenn beispielsweise alle Ihre Kunden im selben Land/in derselben Region leben, würde eine genaue Übereinstimmung mit dem Land/der Region nicht helfen, den Umfang einzugrenzen.

Spalten wie die Felder „Vollständiger Name“, „E-Mail“, „Telefon“ oder „Adresse“ weisen eine gute Eindeutigkeit auf und eignen sich hervorragend als exakte Übereinstimmung.

Stellen Sie sicher, dass die Spalte, die Sie für eine exakte Vergleichsbedingung verwenden, keine Werte enthält, die häufig wiederholt werden, z. B. den Standardwert „Firstname“, der von einem Formular erfasst wird. Customer Insights kann Datenspalten profilieren, um Einblicke in die wichtigsten wiederkehrenden Werte zu geben. Sie können die Datenprofilerstellung für Azure Data Lake-Verbindungen (mit Common Data Model oder Delta-Format) und Synapse aktivieren. Das Datenprofil läuft, wenn die Datenquelle das nächste Mal aktualisiert wird. Weitere Informationen finden Sie unter Data Profiling.

Fuzzy-Übereinstimmung

Verwenden Sie die Fuzzyübereinstimmung, um Zeichenfolgen abzugleichen, die nahe beieinander liegen, aber aufgrund von Tippfehlern oder anderen kleinen Variationen nicht genau sind. Verwenden Sie die Fuzzyübereinstimmung strategisch, da sie langsamer ist als exakte Übereinstimmungen. Stelle sicher, dass mindestens eine exakte Übereinstimmungsbedingung in jeder Regel enthalten ist, die Fuzzy-Bedingungen hat.

Fuzzy-Matching ist nicht dafür gedacht, Namensvarianten wie Suzzie und Suzanne abzudecken. Diese Variationen lassen sich besser mit dem Normalisierungsmuster Typ: Name oder dem benutzerdefinierten Aliasabgleich erfassen, bei dem Kunden ihre Liste der Namensvariationen eingeben können, die sie als Übereinstimmungen in Betracht ziehen möchten.

Sie können einer Regel Bedingungen hinzufügen, z. B. den Abgleich von „FirstName“ und „Telefon“. Bedingungen innerhalb einer gegebenen Regel sind „UND“-Bedingungen. Jede Bedingung muss zutreffen, damit die Zeilen übereinstimmen. Separate Regeln sind „ODER“-Bedingungen. Wenn Regel 1 nicht mit den Zeilen übereinstimmt, werden die Zeilen mit Regel 2 verglichen.

Fuzzy-Matching-Berechnungen

Fuzzy-Übereinstimmungen werden ermittelt, indem der Bearbeitungsabstandswert zwischen zwei Zeichenfolgen berechnet wird. Wenn der Score den Genauigkeitsschwellenwert erreicht oder überschreitet, gelten die Zeichenfolgen als Übereinstimmung.

Der Bearbeitungsabstand ist die Anzahl der Bearbeitungen, die erforderlich sind, um eine Zeichenfolge in eine andere umzuwandeln, indem ein Zeichen hinzugefügt, gelöscht oder geändert wird.

Zum Beispiel haben die Zeichenketten "robert2020@hotmail.com" und "robrt2020@hotmail.cm" eine Editierdistanz von zwei, wenn man die mit e und o markierten Zeichen entfernt. Um das Bearbeitungsabstandsergebnis zu berechnen, verwenden Sie diese Formel: (Basis-Zeichenfolgenlänge – Bearbeitungsabstand) / Basis-Zeichenfolgenlänge.