Rohdaten und bereinigte Daten sauber trennen

Drei Datenebenen lösen unterschiedliche Aufgaben

Rohdaten sind die früheste verlässlich erhaltene Fassung aus Erhebung, Instrument oder Fremdbezug. Sie bilden den Referenzpunkt, auch wenn sie Fehler, uneinheitliche Schreibweisen oder technische Hilfsspalten enthalten. Arbeitsdaten sind Zwischenstände für Import, Formatumwandlung, Prüfung oder Pilotierung. Bereinigte Daten sind eine bewusst freigegebene Fassung, in der dokumentierte Korrektur-, Ausschluss- und Kodierungsregeln angewendet wurden.

Diese Bezeichnungen beschreiben eine Projektrolle, keine objektive Qualität. Eine Datei wird nicht dadurch sauber, dass „clean“ im Namen steht. Sie wird prüfbar, wenn Quelle, Regel, Ausführung und Ergebnis festgehalten sind. Bei kontinuierlichen Messsystemen kann der „Rohstand“ bereits ein Export aus einer proprietären Plattform sein. Dokumentiere dann Gerät, Schnittstelle, Exportzeit und bekannte vorgelagerte Verarbeitung, statt fälschlich unverarbeitete Ursprünglichkeit zu behaupten.

Den Rohstand sichern, bevor du ihn erkundest

Übertrage erhaltene Dateien zuerst in einen kontrollierten Eingangsordner. Notiere Herkunft, Eingangsdatum, Format, Dateigröße und gegebenenfalls Prüfsumme. Öffne Tabellen möglichst zunächst schreibgeschützt oder arbeite mit einer Kopie, weil Programme Datumswerte, Dezimaltrennzeichen oder Zeichenkodierungen bereits beim Import verändern können. Bei manueller Erfassung bleiben Originalbögen oder zulässige Scans getrennt von der eingegebenen Tabelle erhalten.

Sensible Rohdaten benötigen angemessene Zugriffsrechte, Verschlüsselung und institutionell genehmigte Speicherorte. Eine unveränderte Fassung bedeutet nicht automatisch, dass sie ewig gespeichert oder veröffentlicht werden darf. Einwilligung, Datenschutz, Verträge und lokale Aufbewahrungsregeln bestimmen den Rahmen. Halte Identifikationsschlüssel getrennt und gib ihnen eine eigene Schutzklasse. Diese Seite ersetzt keine Datenschutz- oder Ethikprüfung.

projekt/
├── 00_readme/          # Dateninventar, Rollen, Benennungsregeln
├── 01_raw/             # unveränderte Eingänge, nur lesbar
├── 02_interim/         # reproduzierbare technische Zwischenstände
├── 03_clean/           # fachlich geprüfte Analysefassungen
├── 04_code/            # Skripte, Abhängigkeiten, Startanweisung
├── 05_outputs/         # Tabellen, Modelle, Abbildungen
└── 06_logs/            # Import-, Transformations- und Prüfprotokolle

Bereinigung beginnt mit Regeln, nicht mit auffälligen Ergebnissen

Definiere zulässige Wertebereiche, fehlende Werte, Dublettenlogik, Formatkonvertierung und Ausschlusskriterien möglichst vor der Betrachtung der Zielergebnisse. Manche Regeln entstehen erst beim Qualitätscheck; dann erhalten sie Datum, Anlass und Begründung. Überschreibe einen ungewöhnlichen Messwert nicht, nur weil er unbequem ist. Prüfe Quelle, Erhebungsprotokoll und Plausibilität und entscheide nachvollziehbar zwischen Korrektur, Kennzeichnung, Ausschluss oder Beibehaltung.

Automatisierbare Schritte sollten als Skript oder nachvollziehbare Abfrage ausgeführt werden. Bei unvermeidbaren manuellen Änderungen notierst du Variable oder Datei, alten Wert, neuen Wert, Grund und prüfende Person. Schreibe niemals Klarnamen oder sensible Inhalte in ein allgemein zugängliches Log. Verwende kontrollierte Fallkennungen und verwahre das Log in derselben Schutzklasse wie die beschriebenen Daten.

Eine freigegebene Analysefassung bleibt stabil

Bevor die Auswertung beginnt, prüfe Struktur, Fallzahl, Variablentypen, Wertebereiche, fehlende Werte und die Wirkung jeder Bereinigungsregel. Vergib eine Versionsnummer und eine Prüfsumme. Analyseskripte lesen diese freigegebene Datei und schreiben Ausgaben in einen anderen Ordner. Wenn später eine Korrektur nötig ist, entsteht eine neue Clean-Version; die alte wird nicht still ersetzt.

Harte Trennung vereinfacht Sensitivitätsanalysen. Du kannst nachvollziehen, ob eine Schlussfolgerung von einer bestimmten Ausschluss- oder Imputationsregel abhängt. Berichte relevante Abweichungen offen. Ein sauberer Dateipfad ist keine Garantie für gute Wissenschaft, aber er verhindert, dass methodische Unterschiede durch unklare Kopien verdeckt werden.

Erzeuge zur Freigabe einen kleinen maschinenlesbaren Prüfbericht. Er kann Dateiversion, Prüfsumme, Zeilen- und Spaltenzahl, Variablennamen, Schlüsselduplikate sowie Zeitstempel des Laufs enthalten. Vergleiche ihn mit festgelegten Erwartungen. Dadurch fällt auf, wenn ein späterer Import unbemerkt zusätzliche Spalten, andere Kodierungen oder weniger Fälle liefert. Bewahre den Bericht neben dem Transformationslog auf und verweise aus der Analyse-Readme darauf.

Fremddaten, qualitative Daten und Bilder

Bei Fremddaten entspricht der unveränderte Download dem lokalen Rohstand. Bewahre Landingpage, Version, Lizenz, Abrufdatum und Prüfsumme auf. Die Quelle selbst kann bereits kuratiert sein; nenne sie deshalb nicht „original erhoben“. Bei Transkripten sind Audioaufnahme, Rohtranskript, korrigierte Fassung und anonymisierte Analysefassung unterschiedliche Ebenen. Jede Veränderung an Wortlaut oder Kennzeichnung benötigt eine definierte Regel.

Für Bild- und Sensordaten kann eine verlustfreie Masterdatei neben kleineren Arbeitskopien liegen. Dokumentiere Konvertierung, Zuschnitt, Kalibrierung und Metadatenverlust. Ein Dateiformatwechsel ist eine Transformation, auch wenn der sichtbare Inhalt gleich wirkt. Prüfe, ob Zeitstempel, Farbräume, Koordinaten oder eingebettete Geräteinformationen erhalten bleiben müssen.

Übergabeprüfung in sechs Fragen

1. Ist jeder Rohdateneingang unverändert, identifizierbar und angemessen geschützt?
2. Kann keine Routine versehentlich in den Rohordner schreiben?
3. Hat jede Bereinigung eine Regel, Begründung, Ausführung und Wirkungskontrolle?
4. Ist genau eine Clean-Version als Eingabe der berichteten Analyse bezeichnet?
5. Stimmen Fallzahlen und Prüfsummen mit den Protokollen überein?
6. Kann eine zweite Person die Clean-Datei aus Rohstand und Code erneut erzeugen?