Das Problem ist die versteckte Auswahl aus vielen Möglichkeiten
Ein einzelner statistischer Test wird gewöhnlich unter bestimmten Annahmen interpretiert. Wenn Forschende jedoch zahlreiche Variablen, Gruppen, Transformationen oder Stopppunkte ausprobieren und nur den günstigsten Befund zeigen, beschreibt die berichtete Unsicherheit nicht mehr den gesamten Auswahlprozess. Simmons, Nelson und Simonsohn demonstrierten 2011, wie nicht offengelegte Flexibilität bei Datenerhebung und Analyse falsch-positive Befunde begünstigen kann.
P-Hacking muss nicht als bewusstes Täuschungsmanöver beginnen. Der Wunsch, ein unerwartetes Ergebnis zu verstehen, kann zu immer neuen Analysen führen. Problematisch wird es, wenn der Suchprozess unsichtbar bleibt und der ausgewählte Treffer als einziger vorab geplanter Test erscheint. Die Gegenmaßnahmen sind konkrete Vorabregeln, ein vollständiges Analyseprotokoll, transparente Exploration und Schlussfolgerungen, die Effektgröße, Unsicherheit, Multiplizität und Replizierbarkeit berücksichtigen.
Typische Freiheitsgrade erkennen
Zu den möglichen Freiheitsgraden zählen mehrere abhängige Variablen, alternative Skalenbildungen, verschiedene Kovariaten, Untergruppen, Ausschlussregeln, Transformationen, Modellfamilien und Zeitpunkte des Stichprobenstopps. Keine dieser Entscheidungen ist an sich falsch. Ein robustes Design kann mehrere Modelle benötigen. Der kritische Unterschied liegt darin, ob die Auswahl fachlich vorab begründet oder nach Blick auf den gewünschten Ausgang getroffen und unvollständig berichtet wurde.
Auch wiederholtes Nachsehen während der Datenerhebung kann die geplante Fehlerkontrolle verändern. Ob und wie sequenzielle Entscheidungen zulässig sind, ist eine statistische Methodenfrage. Studierende sollten nicht eigenständig universelle Schwellen erfinden, sondern Analyseplan und geeignete Verfahren mit fachkundiger Betreuung klären. Diese Seite ersetzt keine Statistikberatung.
Flexibilität kann wissenschaftlich notwendig sein
Daten verletzen Modellannahmen, Messinstrumente fallen teilweise aus und vorab unbekannte Kodierungsprobleme treten auf. Ein blindes Festhalten am ungeeigneten Plan wäre nicht redlicher. Bewahre den ursprünglichen Plan, notiere den Befund, der die Änderung erforderlich machte, und dokumentiere, ob Zielergebnisse bereits bekannt waren. Lege das neue Verfahren fachlich dar und zeige, wenn möglich, wie robust die Schlussfolgerung gegenüber vernünftigen Alternativen ist.
Explorative Datenanalyse hat einen eigenen Wert. Sie kann Muster sichtbar machen und neue Hypothesen erzeugen. Ihr Ergebnis sollte aber nicht mit derselben Sprache wie eine unabhängige Bestätigung präsentiert werden. Eine neue Hypothese braucht idealerweise neue Daten oder einen klar vorab festgelegten Folgetest. Ist dies innerhalb der Arbeit nicht möglich, bleibt sie ein begründeter Ausblick.
Warum der p-Wert allein keine Ergebnisbedeutung misst
Die American Statistical Association weist darauf hin, dass ein p-Wert die Unvereinbarkeit der Daten mit einem bestimmten statistischen Modell anzeigen kann, aber weder die Größe eines Effekts noch dessen praktische oder wissenschaftliche Bedeutung misst. Er ist außerdem kein Ersatz für Studiendesign, Datenqualität und vollständige Berichterstattung. Konfidenzintervalle oder andere Unsicherheitsmaße, Effektgrößen und die Quellen von Variabilität gehören in die Interpretation.
Eine feste Schwelle darf nicht zum Ziel einer Suchbewegung werden. Werte knapp oberhalb und unterhalb einer Konvention sind nicht automatisch qualitativ verschiedene Welten. Berichte den genauen Wert im fachlich üblichen Rahmen, erläutere Modell und Annahmen und vermeide Formulierungen, die aus einem Test die Wahrscheinlichkeit der Hypothese ableiten, wenn das Verfahren dies nicht leistet.
Ein transparenter Ergebnisabschnitt zeigt den Suchraum
Beginne mit dem vorab definierten Primärmodell und nenne Abweichungen. Berichte die zentralen Ergebnisse unabhängig davon, ob sie die Hypothese stützen. Danach können Sensitivitätsanalysen und Exploration folgen. Eine kompakte Tabelle mit allen wesentlichen Varianten ist oft klarer als selektive Prosa. Verlinke Analysecode, Datenversion und Environment, soweit Rechte und Schutz dies erlauben.
Wenn viele Analysen durchgeführt wurden, erkläre ihren Zweck und die Behandlung von Multiplizität nach dem im Fach angemessenen Verfahren. Verschweige nicht, wie die gezeigte Variante ausgewählt wurde. Bei Unsicherheit über das statistische Vorgehen ist fachkundige Rücksprache stärker als eine nachträgliche Optimierung auf Signifikanz.
Präregistrierung als Werkzeug, nicht als Gütesiegel
Ein zeitgestempelter Plan kann Hypothesen, Zielvariablen, Ausschlüsse, Modelle und Stopregeln vor Ergebniskenntnis festhalten. OSF empfiehlt präzise Entscheidungen und vorab definierte „wenn–dann“-Alternativen. Abweichungen bleiben möglich und werden später erklärt. Eine vage Präregistrierung verhindert P-Hacking nicht; ebenso kann unregistrierte Forschung transparent sein, wenn der tatsächliche Verlauf vollständig dokumentiert wird.
Präregistrierung bescheinigt weder eine gute Hypothese noch eine richtige Analyse. Sie macht die zeitliche Reihenfolge prüfbarer. Verwende sie nur in einer Form, die zur Disziplin, Ethik, Vertraulichkeit und Aufgabenstellung passt.
P-Hacking-Audit für den Analyseordner
- Liste alle Zielvariablen, Gruppen, Modelle, Transformationen und Ausschlussregeln auf, die geprüft wurden.
- Markiere, welche Entscheidungen vor und welche nach Ergebniskenntnis entstanden.
- Vergleiche Primäranalyse, Code, Tabellen und Text auf ausgelassene Varianten.
- Berichte Effekt, Unsicherheit, Annahmen und Multiplizität statt nur Schwellenetiketten.
- Stufe nachträglich ausgewählte Muster als explorativ ein und formuliere einen unabhängigen Folgetest.