Datenqualität prüfen und gezielt verbessern

Wenn ein Bericht auf einem unzuverlässigen Bestand beruht

Die HanseRad Service GmbH wartet Lastenräder für Geschäftskunden. Die Teamleitung möchte wissen, wie lange Reparaturen dauern und welche Ersatzteile häufig zu Verzögerungen führen. Dafür wurden zwölf Auftragsdatensätze aus dem Ticketsystem exportiert.

Beim ersten Blick wirken die Daten brauchbar. Dann fallen drei Dinge auf: Eine Auftragsnummer kommt doppelt vor, bei einem abgeschlossenen Auftrag fehlt das Abschlussdatum und ein Datensatz nennt als Abschluss einen Zeitpunkt vor der Eröffnung. Außerdem kennt niemand die Bedeutung des leeren Feldes ersatzteil_code: Wurde kein Ersatzteil benötigt oder wurde die Angabe vergessen?

Ein pauschales “Wir löschen die fehlerhaften Zeilen” würde das Problem nicht lösen. Es könnte echte Aufträge entfernen, Kennzahlen verzerren und die Ursache im Erfassungsprozess verdecken.

Dein Auftrag lautet deshalb: Entwickle messbare Qualitätsregeln, prüfe den Bestand, behandle Auffälligkeiten nachvollziehbar und bereite eine fachliche Freigabe vor.

Die Grundidee lautet: Datenqualität ist keine Eigenschaft, die ein Datensatz einfach besitzt. Sie beschreibt, wie gut Daten für einen festgelegten Zweck und anhand vereinbarter Regeln geeignet sind.

Du solltest Tabellen filtern und einfache Anteile berechnen können. SQL- oder Python-Kenntnisse sind hilfreich, aber nicht nötig. Alle Namen, Auftragsnummern und Zahlen dieser Lektion gehören zum neu erstellten Szenario.

Mache aus Qualitätsbegriffen prüfbare Regeln

“Die Daten sollen vollständig und korrekt sein” klingt sinnvoll, lässt sich aber nicht eindeutig auswerten. Eine brauchbare Regel benennt mindestens:

1. das geprüfte Feld oder den Zusammenhang,
2. die Bedingung, unter der die Regel gilt,
3. das erwartete Ergebnis,
4. die Reaktion bei einer Verletzung,
5. die verantwortliche Stelle für eine fachliche Entscheidung.

Für HanseRad lautet eine Regel beispielsweise:

Regel DQ-03
Wenn status = "abgeschlossen", dann muss abgeschlossen_am gesetzt sein
und darf nicht vor eroeffnet_am liegen.
Verletzung: Datensatz in Quarantäne stellen, nicht automatisch datieren.
Klärung: Teamleitung Service anhand des Ticketsystems.

Quarantäne bedeutet hier: Der Rohdatensatz bleibt unverändert erhalten, wird aber bis zur Klärung nicht für die betroffene Kennzahl verwendet. Das ist etwas anderes als Löschen.

Sechs Dimensionen beantworten verschiedene Fragen

Gültigkeit und Richtigkeit werden häufig verwechselt. ET-204 kann dem erlaubten Format entsprechen und damit gültig sein. Ob dieses Ersatzteil wirklich verbaut wurde, lässt sich erst mit einer verlässlichen Referenz prüfen. Ein Formatcheck beweist keine Richtigkeit.

Profiling zeigt Muster, aber noch keine Ursache

Beim Daten-Profiling untersuchst du den Bestand zunächst beschreibend. Du zählst fehlende Werte und unterschiedliche Ausprägungen, suchst doppelte Schlüssel und prüfst Verteilungen oder Extremwerte. Das liefert ein Lagebild, bevor du Daten veränderst.

Ein Ausschnitt des Exports sieht so aus:

Das Profiling liefert mindestens diese Befunde:

• A-1041 kommt doppelt vor.
• Zeile 2 verletzt die bedingte Vollständigkeitsregel.
• Zeile 4 verletzt die zeitliche Konsistenzregel.
• erledigt in Zeile 6 gehört nicht zur vereinbarten Werteliste und ist daher ungültig.
• Der leere Ersatzteilcode in Zeile 3 ist ohne fachliche Definition noch kein belegter Fehler. Bei einem Auftrag in Arbeit kann das Ersatzteil noch unbekannt sein.

Damit kennst du die Symptome. Jetzt suchst du ihre Entstehung. Das Duplikat könnte durch einen zweimal gestarteten Export entstanden sein. Das fehlende Datum kann aus einer Oberflächenlogik stammen, die den Status ohne Pflichtprüfung speichert. Ein Abschluss vor der Eröffnung kann auf vertauschte Felder, eine falsche Zeitzone oder eine nachträgliche Fehleingabe hindeuten.

Kennzahlen brauchen einen klaren Nenner

Eine Qualitätskennzahl macht einen Befund vergleichbar. Sie ist nur brauchbar, wenn Zähler, Nenner, Regelstand und Messzeitpunkt dokumentiert sind.

Für die regelbezogene Erfüllungsquote gilt:

Erfüllungsquote = bestandene Prüfungen / ausgeführte Prüfungen × 100 Prozent

HanseRad prüft zwölf Aufträge mit der Regel “Abgeschlossene Aufträge besitzen ein Abschlussdatum”. Zehn Aufträge sind abgeschlossen. Bei neun davon ist das Datum vorhanden. Der Nenner ist deshalb 10, nicht 12.

9 / 10 × 100 Prozent = 90 Prozent

Eine andere Kennzahl beantwortet eine andere Frage. Wenn neun von zwölf Datensätzen alle verpflichtenden Regeln bestehen, liegt die datensatzbezogene Freigabequote bei 75 Prozent. Ein Datensatz mit drei Fehlern zählt dabei trotzdem nur einmal als nicht freigegeben.

Bereinige kontrolliert statt still zu überschreiben

Eine nachvollziehbare Bereinigung trennt mindestens drei Ebenen:

• Der Rohstand bleibt unverändert und zugriffsgeschützt erhalten, solange Aufbewahrungszweck und Frist dies tragen.
• Der Arbeitsstand enthält reproduzierbare Transformationen und markierte Klärfälle.
• Der freigegebene Stand hat alle verpflichtenden Prüfungen bestanden und wurde fachlich bestätigt.

Für jede Änderung hält das Protokoll mindestens fest:

• Lauf- und Regelversion,
• betroffenen Datensatz und betroffenes Feld,
• alten Wert oder dessen kryptografischen Prüfbezug,
• neuen Wert,
• Art und Begründung der Änderung,
• Quelle des Ersatzwerts,
• Zeitpunkt sowie verantwortliche Person oder automatisierten Prozess,
• Freigabe- oder Klärstatus.

Personenbezogene Daten gehören nicht allein deshalb in ein Qualitätsprotokoll, weil sie im Rohbestand vorkommen. Die Datenschutz-Grundverordnung verlangt unter anderem Datenminimierung und Richtigkeit. Speichere im Protokoll deshalb nur den für Nachweis und Klärung nötigen Bezug. Lege Rollen, Aufbewahrungsfristen und Löschwege fest.

Der Schutz vor Manipulation besteht ebenfalls aus mehreren Teilen. Beschränkte Schreibrechte, versionierte Regeln, ein unveränderter Rohstand, Prüfwerte, Protokollierung und ein Vier-Augen-Prinzip für kritische Massenänderungen erschweren unbemerkte Eingriffe. Keine einzelne Maßnahme beweist allein, dass ein Bestand korrekt ist.

Wähle die Maßnahme passend zum Befund

Nicht jede Verletzung wird auf dieselbe Weise behandelt.

Eine Imputation ersetzt einen fehlenden Wert nach einer festgelegten Methode, zum Beispiel durch einen statistisch abgeleiteten Wert. Das kann für bestimmte Analysen sinnvoll sein, erzeugt aber keinen beobachteten Originalwert. Kennzeichne imputierte Werte und prüfe, ob die Methode die spätere Aussage verzerrt. Für rechtlich oder betrieblich wichtige Einzelfallentscheidungen ist eine statistische Schätzung häufig kein geeigneter Ersatz für die Quelle.

Validiere die Bereinigung und hole fachliche Freigabe ein

Nach der Bereinigung laufen alle Regeln erneut, nicht nur die zuvor verletzten. Eine Änderung kann eine neue Inkonsistenz erzeugen. Zusätzlich vergleichst du vor und nach der Bereinigung mindestens:

• Anzahl der Datensätze,
• Anzahl eindeutiger fachlicher Schlüssel,
• Summen und Verteilungen wichtiger Kennzahlen,
• Anzahl der Änderungen je Regel und Maßnahme,
• offene Quarantäne- und Klärfälle,
• Prüfwerte oder Versionskennungen der beteiligten Bestände.

Die technische Prüfung kann zeigen, dass ein Datensatz jede codierte Regel besteht. Ob die Regeln den Geschäftsprozess richtig abbilden, entscheidet die verantwortliche Fachseite. Für HanseRad bestätigt deshalb die Teamleitung Service unter anderem, welche Statuszuordnung gilt und ob auftrag_id tatsächlich der fachliche Eindeutigkeitsschlüssel ist.

Transfer: Entwirf einen kleinen Qualitätsvertrag

Was du aus der Lektion mitnimmst

Du beginnst nicht mit einer Bereinigungsfunktion, sondern mit dem Verwendungszweck. Daraus leitest du messbare Regeln und Kennzahlen ab. Profiling zeigt Verletzungen, die Ursachenklärung erklärt ihre Entstehung. Der unveränderte Rohstand, versionierte Regeln und ein Änderungsprotokoll halten die Bearbeitung nachvollziehbar.

Ein technisch regelkonformer Bestand ist noch nicht automatisch fachlich richtig. Deshalb folgen auf die Bereinigung eine vollständige erneute Validierung und die Freigabe durch die zuständige Fachseite. Datenschutz und Manipulationsschutz gehören dabei in den Prozess, nicht als spätere Ergänzung.

Quellenbasis und Abgrenzung

• Der KMK-Rahmenlehrplan trägt die systemübergreifende Datenbereitstellung in Lernfeld 8 und die kundenspezifische Prozess- und Datenanalyse in Lernfeld 12c.
• Die Fachinformatikerausbildungsverordnung ordnet das Analysieren und Bereitstellen von Daten, das Nutzen von Daten für Prozessverbesserungen sowie Datenschutz den Berufsbildpositionen D2 bis D4 zu. § 30 nennt das Identifizieren und Bereitstellen von Daten, die Prüfung ihrer Qualität sowie Datenschutz und Datensicherheit im Prüfungsbereich “Sicherstellen der Datenqualität”.
• Der Prüfungskatalog und der interne AP2-Lernguide stützen Qualitätsdimensionen, typische Qualitätsprobleme und Bereinigungstechniken als Themenbreite. Sie sind keine Aussage darüber, welche konkrete Aufgabe in einem Prüfungstermin vorkommt.
• Die Datenschutz-Grundverordnung stützt Datenminimierung, Richtigkeit und die Pflicht, die Einhaltung der Grundsätze nachweisen zu können. Die konkrete Aufbewahrung und Rechtsgrundlage eines betrieblichen Bestands braucht eine Prüfung im jeweiligen Kontext.
• Das HanseRad-Szenario, alle Regeln, Zahlen, Tabellen, Interaktionen und Musterlösungen wurden für diese Lektion neu erstellt. Es wurde keine Prüfungsaufgabe übernommen.

Belegmatrix