Handleiding - Interne gegevenskwaliteitsscores maken - Data360_Govern - Nieuwste

Voordat u een score configureert

Voordat u begint met het configureren van de berekening van uw gegevenskwaliteitsscore, is het belangrijk dat u bedenkt hoe u wilt dat uw score wordt bepaald. De gegevenskwaliteitsscore van een asset bestaat uit de resultaten van de gegevenskwaliteitsregels, voor een bepaalde ingangsdatum. U moet de bestaande kwaliteitsregels begrijpen die gelden voor gegevens, de assets waarvoor deze gelden en het belang van elk van deze regels. Hier is een lijst met algemene vragen die u kunnen helpen bij het opstellen van uw configuratie:

• Welke assets wilt u van een score voorzien?

  Bijvoorbeeld alle assets van het type Database > Schema > Tabel > Kolom.

• Behoren uw regels voor de gegevenskwaliteit allemaal tot één bepaald regeltype? Of zijn er meer dan één type regels?

• Zijn sommige regels met betrekking tot de gegevenskwaliteit belangrijker dan andere en moeten zij in dat geval zwaarder wegen in de score?

  Bijvoorbeeld: is een regel met een kwaliteitsaspect van "Conformiteit" belangrijker dan een regel voor "Duplicatie"?

• Is het belang van het resultaat van de gegevenskwaliteit afhankelijk van het soort asset dat het betreft?

  Als een kolom bijvoorbeeld is gemarkeerd als een "Kritisch data element", moet de regel "Accuraatheid" dan meer gewicht bevatten dan de regel "Null-aantal"?

Dit zijn het soort vragen die begrepen moeten worden en moeten worden beantwoord voordat u begint, omdat ze elk een aanzienlijke invloed hebben op de manier waarop u de meetwaarden voor de score configureert.

Stap 1: Relatietypen en relaties opstellen

Om het resultaat van een gegevenskwaliteitsregel mee te nemen in de score van een asset, moet de asset direct of indirect verband houden met een regel via het functionele type predicaat "Evaluatie".

Omdat regels voor gegevenskwaliteit op het laagste niveau van een technisch asset (zoals een kolom of een gegevenselement) worden uitgevoerd, moeten regels in dat geval rechtstreeks gerelateerd zijn. Bijvoorbeeld, Regels evalueren Kolommen.

Indirect verband houden met de regel betekent dat er op een hoger niveau een relatiepad is van de asset die wordt beoordeeld naar een asset die wordt geëvalueerd door regels. Zo lang er een directe relatie bestaat, kunnen assets op een hoger niveau worden beoordeeld door het relatiepad te selecteren dat eindigt op een evaluatiepredicaat en een regeltype.

U moet de directe relatie van een asset tot een regel vaststellen. Vervolgens bepaalt Govern de indirecte relatiepaden voor assets op hoger niveau, gebaseerd op bestaande relaties.

Bijvoorbeeld:

Als u een bedrijfsterm wilt beoordelen die u kunt koppelen aan kolommen, moet u eerst de relatie tussen kolommen en regels vaststellen:

1. Een regeltype en afzonderlijke regels maken.

2. Maak een relatietype " Regels evalueren kolommen".

   Bij het maken van een scoredefinitie voor Bedrijfstermen, zal de selectie regelresultaten het relatiepad "Bedrijfstermen koppelen aan kolommen, die worden beoordeeld door regels" bevatten.

   Zie Structuur van een meetwaarde voor de gegevenskwaliteit voor meer informatie.

Relaties maken

Naast het maken van het relatietype moeten ook werkelijke relaties worden vastgesteld voordat regelresultaten worden gepubliceerd en in scoreberekeningen worden gebruikt. U moet bepalen welke kolommen worden geëvalueerd, door welke regels, en de juiste relaties vaststellen.

Als regelresultaten worden gepubliceerd voor een asset, maar er is geen relatie tussen de asset en de regel vastgesteld, worden die regelresultaten niet meegenomen in de berekening van de gegevenskwaliteitsscore.

Het is essentieel dat u:

1. Bepaalt welke assets worden geëvalueerd en door welke regels.
2. Maak de relatie met het predicaat evaluatie.

Bijvoorbeeld:

De kolom "Accountnummer" bevat 3 regels voor de gegevenskwaliteit die elke week worden uitgevoerd:

• Regel 1 heeft het aspect "Conformiteit".
• Regel 2 heeft het aspect "Volledigheid".
• Regel 3 met een aspect van "Accuraatheid".

De resultaten van alle drie de regels kunnen alleen worden meegenomen als u de kolom "Accountnummer" koppelt aan " regel 1", "regel 2" en "regel 3".

Stap 2: Definitie en meetwaarden voor de gegevenskwaliteitsscore samenstellen

Als een relatietype is vastgesteld voor een regeltype om een assettype te evalueren, bent u klaar om de meetwaarden voor de gegevenskwaliteit te configureren.

Het belangrijkste verschil tussen een governancemeetwaarde en een gegevenskwaliteitsmeetwaarde is dat het resultaat van de meetwaarde een getal is in plaats van true of false. Wanneer een governancemeetwaarde wordt geëvalueerd, is het eindresultaat ofwel:

• Er is aan de criteria in de slagingstest voldaan (waar).

  of:

• Er is niet aan de criteria in de slagingstest voldaan (false).

Het gewicht of het aangepaste gewicht wordt vervolgens gebruikt als de bijdrage die de meetwaarde aan de score levert.

Wanneer het gaat om een meetwaarde van de gegevenskwaliteit, is het resultaat van de meetwaarde een getal dat vervolgens in combinatie met het gewicht wordt gebruikt om de bijdrage aan de score te bepalen.

• Meetresultaten: Het resultaat van de meetwaarde, gebaseerd op de configuratie.
• Regelresultaat: Het resultaat van het uitvoeren van een gegevenskwaliteitsregel, inclusief het aantal gelukte en mislukte records.

Dit betekent:

1. De Scoredefinities maken.

2. De meetwaarden maken.

Structuur van een meetwaarde voor de gegevenskwaliteit

1) Voer de basisinformatie van de meetwaarde in.

2) Selecteer de te gebruiken regelresultaten voor de berekening en de operator.

3) Definieer wanneer en hoe de meetwaarde moet worden toegepast op welke assets en hoe het resultaat van de meetwaarde moet worden gewogen.

4) Standaardgewicht van de meetwaarde.

Basisinformatie van de meetwaarde (1)

De basisinformatie voor een meetwaarde voor gegevenskwaliteit is gelijk aan de basisinformatie voor een governance-meetwaarde. Het ingevoerde gewicht is het standaardgewicht voor de meetwaarde, dat alleen terzijde wordt geschoven als er binnen de meetwaarde voorwaardegroepen zijn vastgesteld.

Zie Scoredefinities, Assetvoorwaarden en gewichten voor meer informatie.

Het gedeelte Regelresultaten (2)

Het gedeelte Regelresultaten is essentieel. Dit wordt gebruikt om de regelresultaten te definiëren die worden gebruikt bij de berekening van het resultaat van de meetwaarde. Hoewel u een relatie moet hebben gelegd tussen de regel en de asset die wordt gescoord, is het regelresultaatgedeelte de plaats waar u de resultaten die worden gebruikt voor een bepaalde meetwaarde verder verfijnt, wil het betreffende resultaat zelfs maar in aanmerking komen.

Selectie regelresultaten

Onder Selectie regelresultaten kunt u alle potentiële directe en indirecte paden vinden van de assets die u van een score voorziet naar de assets die u volgens de regels van een score wilt voorzien. Dit vertelt het systeem hoe het bij de regelresultaten moet komen, via een relatiepad van de ene asset naar de andere.

Hoe hoger het assetniveau, hoe langer het pad. Zorg er daarom voor dat u de relaties begrijpt, evenals hoe u bij de regels wilt terechtkomen.

Bewerking resultaten

Nadat de resultaatselectie is uitgevoerd, selecteert u een Bewerking resultaten. Dit is de bewerking die wordt uitgevoerd op de slagingsdrempel van de regelresultaten voor de relevante meetwaarde op de ingangsdatum.

Voorbeeld 1:

Een kolom wordt geëvalueerd volgens drie regels en op 1 april 2021 werden resultaten gepubliceerd met de volgende slagingsdrempels:

• Regel 1 (Conformiteit) slagingsdrempel = 0,92
• Regel 2 (Volledigheid) slagingsdrempel = 0,93
• Regel 3 (Accuraatheid) slagingsdrempel = 0,94

Als de resultaatbewerking = Gemiddeld, is het resultaat van de meetwaarde 0,93.

Als de resultaatbewerking = Minimum, is het resultaat van de meetwaarde 0,92.

Als de resultaatbewerking = Maximum, is het resultaat van de meetwaarde 0,94.

Filters voor regelresultaat

Terwijl in het gedeelte Regelresultaten het pad naar de regelresultaten wordt weergegeven en de bewerking die moet worden uitgevoerd voor de slagingsdrempel, kunt u met de Filters voor regelresultaten de regelresultaten die moeten worden gebruikt in de meetwaarde verder verfijnen. De filters worden voornamelijk toegepast wanneer u regels anders wilt wegen, afhankelijk van een eigenschap van de regel zelf, zoals "Aspect".

Voor assets op hoger niveau, of assets die in het pad meerdere relaties hebben, kunnen filters worden gebruikt om de resultaten op een andere manier te wegen, op basis van de eigenschappen van een asset in het midden van het relatiepad.

Voorbeeld 2:

De bovenstaande berekeningen in Voorbeeld 1 worden opnieuw gebruikt, maar deze keer is het regelresultatenfilter dat is toegepast: Aspect = Conformiteit. Vervolgens worden alleen de resultaten van regel 1 gebruikt bij het vaststellen van het resultaat van de meetwaarde voor de kolom.

In het volgende schema worden de regelresultaten weergegeven die worden gebruikt voor het scoren van kolom 1 en kolom 2 als het filter voor de regelresultaten is: Aspect = Conformiteit. Er is één resultaat gevonden voor kolom 1 en één voor kolom 2.

Voorbeeld 3:

Als u een bedrijfsterm beoordeelt die is toegewezen aan kolommen, die op hun beurt worden beoordeeld op basis van regels, kunnen de Filters voor regelresultaten worden gebruikt om de resultaten te wegen op basis van de eigenschappen van een regel of een kolom.

Als u hetzelfde resultaatfilter Aspect = Conformiteit toepast op de meetwaarde voor Bedrijfsterm A, dan zou de regel opnieuw één resultaat opleveren voor Kolom 1, en één voor Kolom 2:

Het gemiddelde, minimum en maximum voor de resultaatbewerkingen worden uitgevoerd op de twee resultaten die worden geleverd door Aspect = Conformiteit.

Voorbeeld 4:

Als u het filter voor de regelresultaten "Kolom: Kritisch data element: Ja" toepast, worden deze resultaten vervolgens gebruikt voor het berekenen van het resultaat van de meetwaarde Bedrijfsterm A:

Het gemiddelde, minimum en maximum voor de resultaatbewerkingen worden uitgevoerd op de drie resultaten die worden geleverd voor Kolom 1.

In het gedeelte Regelresultaten van de meetwaarde worden de te gebruiken regelresultaten en de bewerkingen vastgelegd die op de gevonden resultaten moeten worden uitgevoerd.

Assetvoorwaarden en gewichten (3)

Hier bepaalt u wanneer de meetwaarde moet worden toegepast en bepaalt u of bepaalde assets die worden beoordeeld een ander gewicht moeten gebruiken.

Assetvoorwaarden en gewichten werken op de dezelfde manier in meetwaarden voor gegevenskwaliteit als zij doen met governancemeetwaarden. Zij bepalen of de meetwaarde überhaupt moet worden toegepast, en zo ja, of het gewicht van de meetwaarde verschilt afhankelijk van de verschillende eigenschappen van de asset. Zie Scoredefinities, Assetvoorwaarden en gewichten voor meer informatie.

Een eenvoudig voorbeeld van het gebruik van voorwaarden in de gegevenskwaliteitsscore is wanneer u alleen kolommen wilt beoordelen die bestaan uit kritische data elementen. In dit geval plaatst u een voorwaarde op de meetwaarde met de aanduiding "Kritisch data element = True".

Zie Voorbeelden van intern berekende gegevenskwaliteitsscores voor meer voorbeelden van scoredefinities voor intern berekende gegevenskwaliteit.

Stap 3: Regelresultaten posten.

Als u de relaties hebt gemaakt en de meetwaarde hebt geconfigureerd, is het tijd om een score op te halen.

De berekening van de gegevenskwaliteitsscore wordt geactiveerd in de volgende scenario's:

• Wanneer een regelresultaat wordt gepubliceerd, bijgewerkt of verwijderd.
• Als een scoremeetwaarde wordt gemaakt en er regelresultaten voor de meetwaarden gelden op de ingangsdatum.

De resultaten posten

Afhankelijk van waar uw gegevenskwaliteitregels worden uitgevoerd, kunt u de resultaten eenvoudig posten via de /api/v2/metrics/quality/results-API. Als u Swagger gebruikt, vindt u deze in het gedeelte Metrics.

Bestaande regelresultaten

Als u bestaande regelresultaten hebt en deze wilt gebruiken om de gegevenskwaliteitsscore te berekenen, zijn er een paar dingen die moeten worden overwogen voor historische data.

• Aan het regelresultaat moet een asset zijn gekoppeld.

  Voordat de gegevenskwaliteitsscore beschikbaar werd gemaakt, kon u regelresultaten voor een regel posten, maar hoefde u niet de asset weer te geven waarop het resultaat betrekking had. U kunt de bewerking PUT gebruiken in de aanvraag-API, om bestaande regelresultaten bij te werken met de juiste asset.

• De ingangsdatum van het resultaat moet op of na de ingangsdatum van de meetwaarde zijn.

  Als u regelresultaten hebt van vanaf 1 januari 2020 en u een meetwaarde hebt ingesteld met een ingangsdatum 2 februari 2021, dan zoekt het systeem naar regelresultaten met ingangsdatums op of na 2 februari 2021.

• Zowel het relatietype als de relaties van de asset tot de regels moeten worden vastgesteld, voordat de meetwaarde wordt ingesteld.

Tips en suggesties

Wanneer maak ik een nieuwe meetwaarde aan?

Een deel van het configureren van een gegevenskwaliteitsscore is het begrijpen wanneer u een andere meetwaarde moet maken. Hier volgen enkele scenario's waarmee kan worden vastgesteld wanneer dit nodig kan zijn.

• U kunt een gegevenskwaliteitsscore maken met slechts één meetwaarde als deze voldoet aan uw criteria voor het berekenen van de score.

  Deze meetwaarde neemt het gemiddelde van alle regelresultaten voor een asset, op de ingangsdatum. In dit scenario wordt ervan uitgegaan dat u uw gegevenskwaliteitsregels hebt vastgelegd onder één regeltype.

• Als uw gegevenskwaliteitsregels onder verschillende regeltypen vallen, hebt u voor elk regeltype een andere meetwaarde nodig.

  Dit komt doordat u voor elk regeltype een ander relatietype heeft met de asset dat van een score wordt voorzien.

• Als u wilt dat verschillende regelaspecten op een andere manier worden gewogen, stelt u een meetwaarde in voor elk aspect, met behulp van de filters voor de regelresultaten.
• Als u wilt hetzelfde regelaspect anders wordt gewogen voor verschillende assets, kunt u dit doen met assetweging en voorwaarden.

Begrip van de regelresultaten die worden gebruikt in een meetresultaat

Het subtabblad Berekening, op het score-tabblad voor een gegevenskwaliteitsscore, bevat de optie "Regelresultaten weergeven". Hier wordt een lijst weergegeven van de regelresultaten die zijn gebruikt bij de berekening van het meetresultaten.

Bij het posten van een regelresultaat wordt een nieuwe score berekend met de ingangsdatum van het regelresultaat

In de gegevenskwaliteitsscore wordt ervan uitgegaan dat de gegevenskwaliteitsregels voor een asset op een specifieke dag worden uitgevoerd. Dit betekent dat u op kolomniveau kunt verwachten dat regelresultaten binnenkomen voor een ingangsdatum, welke de ingangsdatum van de score zal zijn.

Als er een asset op een hoger niveau wordt beoordeeld, die op zijn beurt aan verschillende assets op een lager niveau is toegewezen, zoals kolommen, worden alle regels mogelijk niet op hetzelfde dag uitgevoerd. U kunt resultaten krijgen die worden gebruikt bij de berekening van een score gedurende de hele week. In dat geval voert het systeem, indien beschikbaar, de eerdere regelresultaten door. Als gevolg daarvan kunt u verschillende ingangsdatums zien wanneer u op "Regelresultaten weergeven" klikt.

Bijvoorbeeld:

Bedrijfsterm A is toegewezen aan Tabel 1 > Kolom 1 en Tabel 2 > Kolom 2. De gegevenskwaliteitsregels voor kolom 1 worden uitgevoerd op 1 april en op 5 april voor kolom 2.

• Wanneer regelresultaten worden gepubliceerd voor Kolom 1 op 1 april, wordt er een score berekend voor 1 april. De resultaten voor kolom 2 worden geteld als nul (0), omdat de score regelresultaten verwacht voor kolom 1 en kolom 2.
• Wanneer regelresultaten worden gepubliceerd voor Kolom 2 op 5 april, wordt er een score berekend voor 5 april. Hierin worden de regelresultaten vanaf 1 april voor Kolom 1 en 5 april voor Kolom 2 gebruikt. Wanneer u op "Regelresultaten weergeven" klikt voor 5 april, ziet u de twee verschillende ingangsdatums die worden gebruikt.