Profilerstellungsregeln - discovery - 23 - 23.1

Anhand von Profilerstellungsregeln werden unterschiedliche Analysetypen auf Ihren Daten ausgeführt. Wählen Sie beim Einrichten eines Profils die Profilerstellungsregeln aus, die die gewünschten Datenanalysearten durchführen.

In diesem Abschnitt werden die in Spectrum Discovery unterstützten Profilerstellungsregeln beschrieben.

Zeichenanalyse

Anhand dieser Regel werden Muster, Skripte und Zeichentypen in Zeichenfolgenfeldern identifiziert. Um diese Regel beim Erstellen eines Profils zu konfigurieren, klicken Sie auf das Symbol „Konfigurieren“ , fügen Sie Sonderzeichen aus der Liste hinzu und bearbeiten oder löschen Sie sie. Wenn Sie diese Regel aktivieren, erhalten Sie die folgenden Informationen für die Zeichenfolgenfelder in Ihren Daten:

• Häufigkeit: Die am häufigsten verwendeten Wortgruppen in der ausgewählten Zeichenfolgenspalte.
• Skriptverteilung: Die unterschiedlichen Skripte, die in der ausgewählten Zeichenfolgenspalte identifiziert wurden, sowie deren Anzahl.
• Zeichenfolgenlängen: Die Verteilung von Zeichenfolgenlängen in der ausgewählten Zeichenfolgenspalte.
• Zeichenkategorien: Die Zeichentypen in der ausgewählten Spalte, z. B. Buchstaben, Interpunktion und Zahl.
• Textmuster: Wandelt Daten in der Zeichenfolgenspalte in ein Muster um und zeigt das Muster, dessen Anzahl und den Prozentsatz für sein Vorkommen an. Das Muster wird anhand der folgenden Regel ermittelt:
  • Lateinische Großbuchstaben werden durch „A“ ersetzt
  • Lateinische Kleinbuchstaben werden durch „a“ ersetzt
  • Ziffern werden durch „9“ ersetzt
  • Steuerzeichen werden durch ersetzt

Einspaltige Schlüsselanalyse

Erkennt den Primärschlüssel (Kandidat) basierend auf dem Schwellenwert für Eindeutigkeit und Vollständigkeit, den Sie für Ihre Profildaten konfigurieren.

Interne Regel

Bestimmt die Statistik wie Vollständigkeit, Eindeutigkeit, Häufigkeit und Ausreißer im Dataset.

Semantikanalyse

1. Benutzerdefiniert: Diese Regel erkennt die benutzerdefinierten Semantiktypen unter Glossar definieren und verwendet sie zur Profilerstellung für das Dataset. Die benutzerdefinierten Semantiktypen können Daten anhand dieser Parameter ermitteln:
   1. Wenn Sie einen Ausdruck im Semantiktyp definiert haben, findet dieser seine Übereinstimmung im Dataset und ruft das Ergebnis auf der Seite Ergebnisse der Datenprofilerstellung ab.
   2. Wenn Sie die Daten, nach denen gesucht werden soll, angegeben haben, sucht der benutzerdefinierte Semantiktyp im Dataset danach und zeigt diese auf der Seite Ergebnisse der Datenprofilerstellung an. Wenn beispielsweise bei der Option Vorhanden in des Semantiktyps Single oder Verheiratt angegeben ist, werden alle Datensätze abgerufen, die diesen Wert aufweisen.
2. Advanced Transformer-Suche: Diese Regel bestimmt die benutzerdefinierten Tabellen im „Advanced Transformer“-Schritt und verwendet diese, um ein Profil für das Dataset zu erstellen. Sie müssen Spectrum Data Normalization installieren und die Advanced Transformer-Referenztabellen laden, um diese Regel ausführen zu können. Die von Ihnen konfigurierten Tabellen werden auf der Registerkarte Semantiktyp der Seite Glossar definieren angezeigt. Sie können nicht bearbeitet werden.
   Anmerkung: Sie können die Tabellen im Enterprise Designer bearbeiten.

   Wenn Sie diese Regel auswählen, werden auf der Seite Ergebnisse der Datenprofilerstellung die erkannten Semantiktypen angezeigt, wenn die Daten mit der im Schritt definierten Tabelle übereinstimmen.

3. Open Parser-Suche: Diese Regel bestimmt die benutzerdefinierten Tabellen im „Open Parser“-Schritt und verwendet diese, um ein Profil für das Dataset zu erstellen. Sie müssen Spectrum Data Normalization installieren und die Open Parser-Referenztabellen laden, um diese Regel ausführen zu können. Die von Ihnen konfigurierten Tabellen werden auf der Registerkarte Semantiktyp der Seite Glossar definieren angezeigt. Sie können nicht bearbeitet werden.
   Anmerkung: Sie können die Tabellen im Enterprise Designer bearbeiten.

   Wenn Sie diese Regel auswählen, werden auf der Seite Ergebnisse der Datenprofilerstellung die erkannten Semantiktypen angezeigt, wenn die Daten mit der im Schritt definierten Tabelle übereinstimmen.

4. Analyse der Kreditkartenprüfung: Wählen Sie diese Regel aus, um Kreditkartennummern zu erkennen und zu überprüfen und Kreditkartennummern als JCB, VISA, Diners Club (DINERS), MasterCard, Discover oder American Express (AMEX) zu identifizieren. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte „Kreditkartenübersicht“ mit diesen Details angezeigt:
   1. Gültigkeit: Die gültigen und ungültigen Kreditkartennummern.
   2. Kreditkartenverteilung: Verteilung der erkannten Kreditkarten nach Kategorie.
5. Datumsanalyes: Anhand dieser Regel werden Datumswerte in Zeichenfolgenspalten ermittelt und überprüft. Zudem werden Datumsmuster in den Spalten sowie deren Verteilung angezeigt. Diese Analyse kann beim Ermitteln von Datumseinträgen in fehlerhaften Spalten, z. B. in E-Mail-Daten, hilfreich sein. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte Datumszusammenfassung für die Zeichenfolgenspalten mit Datumswerten angezeigt. Auf dieser Registerkarte werden die folgenden Details angezeigt:
   1. Gültigkeit: Die gültigen und ungültigen Werte.
   2. Datumsmuster: Die in den ausgewählten Spalten ermittelten Datumsmuster, ihre Gesamtanzahl und der Prozentsatz dieses Musters im Dataset.
6. E-Mail-Analyse: Anhand dieser Regel werden E-Mail-Adressen ermittelt und überprüft. Zudem bestimmt diese Regel die Verteilung von E-Mail-Domänen in der ausgewählten Datenspalte. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte E-Mail-Zusammenfassung mit diesen Details angezeigt.
   1. Gültigkeit: Die gültigen und ungültigen Werte.
   2. Domänenverteilung: Die zehn häufigsten E-Mail-Domänen in der ausgewählten Spalte
7. Telefonnummernanalyse: Wählen Sie diese Regel aus, um Telefonnummern zu ermitteln und zu überprüfen sowie als Festnetznummern, Mobiltelefonnummern oder eine beliebige andere Art von Nummer zu identifizieren. Diese Regel zeigt zudem die Verteilung der Telefonnummern nach Land und Region an. Sie müssen diese Regel konfigurieren, um das Standardland zu definieren, das verwendet werden soll, wenn kein Ländercode in einer Telefonnummer angegeben ist. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte Telefonnummernzusammenfassung mit diesen Details angezeigt.
   1. Gültigkeit: Die gültigen und ungültigen Telefonnummern.
   2. Telefonnummerntypen: Die Typen von Telefonnummern, z. B. Mobil, Festnetz, VOIP, Pager oder gebührenfrei.
   3. Telefonnummern nach Land: Die Verteilung der ermittelten Telefonnummern nach Land.
   4. Telefonnummern nach Region: Die Verteilung der ermittelten Telefonnummern nach Region.
8. FIN-Analyse (Fahrzeugidentifizikationsnummer): Wählen Sie diese Regel aus, um Fahrzeugidentifikationsnummern zu ermitteln und zu überprüfen. Diese Regel zeigt zudem die Verteilung der Fahrzeugidentifikationsnummern nach Land an. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte FIN-Übersicht mit diesen Details angezeigt:
   1. Gültigkeit: Die gültigen und ungültigen Fahrzeugidentifikationsnummern.
   2. FIN-Länderverteilung: Verteilung der ermittelten Fahrzeugidentifikationsnummern nach Ländern.
9. SSN-Analyse (Sozialversicherungsnummer): Wählen Sie diese Regel aus, um Sozialversicherungsnummern zu ermitteln und zu überprüfen. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte SSN-Übersicht mit den gültigen und ungültigen Sozialversicherungsnummern angezeigt.
10. IBAN-Analyse (internationale Kontonummer): Wählen Sie diese Regel aus, um internationale Bankkontonummern zu ermitteln und zu überprüfen. Diese Regel gibt auch die Verteilung von internationalen Bankkontonummern nach Land an. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte IBAN-Übersicht mit diesen Details angezeigt:
    1. Gültigkeit: Die gültigen und ungültigen internationalen Kontonummern.
    2. IBAN-Länderverteilung: Verteilung der erkannten internationalen Bankkontonummern nach Land.
11. Semantikanalyse: Wählen Sie diese Regel aus, um Semantiktypen zu ermitteln, z. B. Vorname, Ort, Land, ISO-Ländercode 2 und 3, Nachname (Familienname) und Bundesland/-staat. Anhand dieser Regel können Sie nach Werten in falschen Spalten suchen, z. B. Ortsnamen in einer Länderspalte. Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung eine weitere Registerkarte Semantiktyp mit den ermittelten Semantiktypen und deren Häufigkeit angezeigt.
12. Analyse von US-Adressen: Diese Regel bestimmt die Qualität Ihrer Adressdaten anhand der US-amerikanischen Datenbank von Spectrum Universal Addressing. Gehen Sie wie folgt vor, um diese Regel auszuführen:
    1. Installieren Sie die US-amerikanische Datenbank von Spectrum Universal Addressing, und definieren Sie sie in der Management Console als Ressource. Weitere Informationen zum Hinzufügen dieser Datenbankressource erhalten Sie im Administratorhandbuch.
    2. Konfigurieren Sie die Regel für die Analyse von US-Adressen, indem Sie auf die Schaltfläche „Konfigurieren“ klicken und die folgenden Informationen eingeben:
       • Datenbank des Coder von US-Adressen: Wählen Sie die Datenbankressource von Spectrum Universal Addressing aus, die in der Management Console konfiguriert ist.
       • Feld „AddressLine1“ bis Feld „AddressLine5“: Ordnen Sie diese Felder den Spalten der analysierten Relation zu. Sie müssen Spaltennamen nicht unbedingt in alle Felder eingeben. Je spezifischer Ihre Angaben jedoch sind, desto besser fällt der Übereinstimmungswert aus.
       • Ordnen Sie die Spalten in Ihrer Relation den Feldern City, Country, USUrbanName, FirmName, PostalCode und StateProvince zu.

         Wenn Sie diese Regel auswählen, wird auf der Seite Ergebnisse der Datenprofilerstellung die Registerkarte Adressenzusammenfassung angezeigt.

         • In der Legende unter dem Diagramm wird der Übereinstimmungswert für die Daten sowie die Farbcodierung angezeigt.
         • Zeigen Sie auf eine beliebige Position im Diagrammbereich, um den Übereinstimmungswert anzuzeigen. Die Übereinstimmungswerte werden als Bereiche angegeben (0, 1–25, 26–50, 51–80, 81–99 und 100), wobei Null darauf hinweist, dass keine Übereinstimmung der Daten mit der Datenbank vorhanden ist. Das Diagramm zeigt außerdem den Prozentsatz der ermittelten übereinstimmenden Datensätze an (farbcodiert).
         • Klicken Sie auf einen Bereich im Diagramm, um die Daten anzuzeigen, die eine oder keine Übereinstimmung mit der Datenbank aufweisen.
13. Analyse von internationalen Adressen: Diese Regel bestimmt die Qualität Ihrer Adressdaten anhand der Datenbank von Spectrum Global Address Validation. Gehen Sie wie folgt vor, um diese Regel auszuführen:
    1. Installieren Sie die Datenbank von Spectrum Global Address Validation, und definieren Sie sie in der Management Console als Ressource. Weitere Informationen finden Sie im Administratorhandbuch.
    2. Konfigurieren Sie die Regel für die Analyse internationaler Adressen, indem Sie auf die Schaltfläche „Konfigurieren“ klicken und die folgenden Informationen eingeben:
       • Addressing Engine-Datenbank: Wählen Sie die Datenbankressource von Global Address Validation aus, die in der Management Console konfiguriert ist.
       • Zuverlässigkeitsschwelle: Geben Sie den Wert der Zuverlässigkeitsschwelle ein, um Felder zu erkennen, die unter den angegebenen Wert fallen. Der Standardwert dieses Feldes ist 80.
       • Relationsliste: Wählen Sie die Relation aus, in der Sie diese Regel ausführen möchten.
       • Felder AddressLine1 und Country: Ordnen Sie diese Felder den Spalten in der analysierten Relation zu.
       • Ordnen Sie die Spalten in Ihrer Relation den Feldern LastLine, City, CitySubdivision, PostalCode, State, StateSubdivision und FirmName zu. Sie müssen Spaltennamen nicht unbedingt in alle Felder eingeben. Je spezifischer Ihre Angaben jedoch sind, desto besser fällt der Übereinstimmungswert aus.
         Wenn Sie diese Regel auswählen, werden die Seite Ergebnisse der Datenprofilerstellung sowie die Registerkarte Adressenzusammenfassung angezeigt. Letztere zeigt die folgenden Informationen an:

         • Vertrauensverteilung internationaler Adressen: Der Übereinstimmungswert der Daten. Der Übereinstimmungswert ist farbcodiert. Zeigen Sie auf eine beliebige Position im Kreisdiagramm, um den Bereich des Übereinstimmungswertes (0, 1–25, 26–50, 51–80, 81–99 und 100) anzuzeigen, wobei Null darauf hinweist, dass keine Übereinstimmung der Daten in der Datenbank vorliegt. Klicken Sie auf einen Bereich im Diagramm, um eine Vorschau der übereinstimmenden oder nicht übereinstimmenden Daten anzuzeigen.
         • Genauigkeit internationaler Adressen: Hierbei handelt es sich um die Verteilung von Überprüfungsstufen von Adressen, z. B. Bundesland/-staat, Haus, Postleitzahl, Ort, Stadtteil und Straße.
         • Verteilung internationaler Adressen mit nicht übereinstimmenden Feldern: Hier wird die Verteilung nicht übereinstimmender Adressfelder angezeigt, z. B. Stadtunterteilung, Bundesland, Straßenname und Postleitzahl. Die Zuverlässigkeitsschwelle dieser Adresse liegt unter dem von Ihnen bei der Konfiguration der Regel Internationale Adressanalyse definierten Wert.

Analyse der Datensatzdubletten

Diese Regel identifiziert Datensatzdubletten innerhalb einer Tabelle und hilft, sie mithilfe der intelligenten Regelfunktion zu lösen. Wenn die Tabelle Datensatzdubletten enthält, werden diese in Gruppen auf der separaten Registerkarte Analyse der Datensatzdubletten in den Ergebnissen angezeigt. Lassen Sie uns das Ganze anhand des folgenden Beispiels veranschaulichen:

Beispiel

Dienstkonfiguration

Hiermit können Sie die Spectrum-Standarddienste und die Dienste verwenden, die Sie mit den verschiedenen Spectrum-Schritten konfiguriert haben, für die Sie lizenziert sind. Mithilfe dieser Konfiguration können Sie die Transformationen wiederverwenden, die mit verschiedenen Spectrum-Schritten für Ihre Daten entworfen wurden. Lassen Sie uns das Ganze anhand des folgenden Beispiels veranschaulichen:

Analyse benutzerdefinierter Muster

Anhand dieser Regel wird ein beliebiges Muster in der Zeichenfolgenspalte identifiziert. Sie können die gewünschte Anzahl regulärer Ausdrücke konfigurieren, um Ihre Daten gegen diese abzugleichen. Klicken Sie auf das Symbol „Konfigurieren“ , und geben Sie die folgenden Details ein, um diese Regel beim Erstellen eines Profils zu konfigurieren:

1. Schlüssel: Name des zu identifizierenden Musters
2. Wert: Der reguläre Ausdruck für das Muster

   Beispiel: Geben Sie den regulären Ausdruck ^(.+)@(.+)$ in das Feld Wert und „E-Mail“ in das Feld Schlüssel ein, wenn Sie E-Mail-Adressen in Zeichenfolgenspalten identifizieren möchten.

3. Klicken Sie auf das Symbol „Hinzufügen“, und fügen Sie die Details des nächsten Schlüssel-Wert-Paars hinzu, um einen weiteren Ausdruck hinzuzufügen. Sie können die gewünschte Anzahl von Ausdrücken hinzufügen, um Ihre Daten gegen diese abzugleichen.

Wenn Sie diese Regel aktivieren, erhalten Sie die folgenden Informationen:

• Gültigkeit: Die Werte, die mit mindestens einem der Muster für reguläre Ausdrücke in der Regel übereinstimmten.
• Verteilung Mustervergleich: Die Verteilung von Datensätzen, die mit den regulären Ausdrücken übereinstimmten.

Ausreißeranalyse

Wählen Sie diese Regel aus, um die Ausreißer in Ihrem Profil zu erkennen. Wenn das Profil eine Häufigkeit, einen Semantiktyp, ein Muster, eine Länge oder andere Ausreißer aufweist, werden diese in den Ergebnissen auf der separaten Registerkarte Ausreißeranalyse angezeigt.