Bestätigungsfehler wirkt schon vor dem Schreiben
Eine Literaturauswahl kann eine These scheinbar stärken, wenn widersprechende oder weniger spektakuläre Befunde seltener gesucht, strenger beurteilt oder still ausgeschlossen werden. Das geschieht nicht nur absichtlich. Suchbegriffe, Datenbankwahl, Sprachkenntnisse, Zugänglichkeit und Erwartungen beeinflussen, welche Titel überhaupt sichtbar werden.
Vorabkriterien lösen dieses Problem nicht vollständig, schaffen aber überprüfbare Reibung. Sie zwingen dazu, die Passung einer Quelle unabhängig von ihrem Ergebnis zu begründen. Das Protokoll zeigt später, ob dieselbe Regel bei unterstützenden und widersprechenden Studien angewandt wurde. Es macht außerdem Lücken sichtbar, die aus Zeit, Zugang oder Sprachumfang entstehen.
Kriterien aus der Forschungsfrage ableiten
Beginne mit Population oder Material, Konzept, Kontext, Zeitraum, Publikationstyp und benötigtem Studiendesign. Jedes Kriterium braucht eine operationale Frage. „Hohe Qualität“ ist zu vage; „beschreibt Auswahl und Datenerhebung so, dass die eingeschlossene Stichprobe erkennbar ist“ ist prüfbarer. Qualitätsbewertung und thematische Einschlussentscheidung sollten getrennte Felder bleiben.
Lege den Umgang mit Sprache, Publikationsdatum, Peer Review, grauer Literatur, Preprints und fehlendem Volltext offen. Eine Sprachgrenze kann praktisch nötig sein, darf aber nicht als Qualitätsmerkmal ausgegeben werden. Ein Datum braucht eine fachliche Begründung, etwa eine technische Zäsur. „Passt nicht zur These“ ist nie ein legitimer Ausschlussgrund.
Definiere die Reihenfolge. Beim Titel-/Abstract-Screening gelten nur Informationen, die dort erkennbar sind. Unklarheit führt zur Volltextprüfung, nicht zum bequemen Ausschluss. Im Volltext werden Kriterien erneut angewandt. Ein primärer Ausschlusscode verhindert, dass derselbe Titel mehrfach gezählt wird; weitere Beobachtungen können in einer Notiz stehen.
Entscheidungen blind für Ergebnisrichtung testen
- Friert Kriterien, Codes und Suchdatum vor dem ersten Screening ein.
- Entfernt Dubletten anhand stabiler bibliografischer Merkmale.
- Prüft Titel und Abstract nur auf definierte Passung.
- Gebt unklaren Fällen Zugang zur nächsten Stufe.
- Dokumentiert am Volltext einen primären Ausschlussgrund.
- Vergleicht eine Stichprobe von Entscheidungen zwischen zwei Personen, wenn möglich.
- Prüft eingeschlossene Quellen unabhängig von ihrer Ergebnisrichtung auf Qualität.
Ein hilfreicher Selbsttest verdeckt vorübergehend Ergebnisspalten und lässt eine zweite Person nur Frage, Population, Design und Kriterien sehen. Kommt sie zu einer anderen Auswahlentscheidung, wird der Unterschied anhand der Regeln besprochen. Das ist keine echte Verblindung des gesamten Reviews, aber ein praktischer Test gegen ergebnisgetriebene Begründungen.
Für kleine Abschlussarbeiten kann eine Person das Screening durchführen. Dann werden Grenzfälle besonders ausführlich notiert und später erneut geprüft. Behaupte keine unabhängige Doppelprüfung, wenn sie nicht stattgefunden hat. Transparenz über begrenzte Ressourcen ist methodisch stärker als ein erfundener Reviewprozess.
Änderungen zulassen, aber nicht rückdatieren
Vorabkriterien können sich als unbrauchbar erweisen. Vielleicht ist ein Begriff in Abstracts nicht erkennbar oder ein Zeitfenster schließt die theoretische Grundlage aus. Ändere die Regel offen mit Datum, Grund, betroffenen Treffern und Entscheidung, ob frühere Ausschlüsse neu geprüft werden. Die neue Fassung ersetzt nicht heimlich die ursprüngliche.
Eine Änderung ist verdächtig, wenn sie erst nach Kenntnis unerwünschter Ergebnisse entsteht und nur diese entfernt. Prüfe symmetrisch: Würde dieselbe Regel auch eine unterstützende Studie ausschließen? Wenn ja, wende sie auf alle Treffer an. Wenn nein, braucht sie eine bessere methodische Begründung oder bleibt unzulässig.
Dokumentiere Zugangsprobleme separat von fachlichen Ausschlüssen. „Volltext nicht erhalten“ bedeutet nicht „Studie ungeeignet“. Suche nach legalen Zugängen, Bibliotheksdiensten oder Autorenmanuskripten und berichte verbleibende Lücken. Erfinde keine Ergebnisse für nicht zugängliche Quellen aus Abstract oder Sekundärzitat.
Auswahl und Ausschlussliste gemeinsam berichten
Prüfe zusätzlich die zeitliche Reihenfolge deiner Entscheidungen. Ein Ausschlussgrund, der erst nach vollständiger Ergebnislektüre eingetragen wurde, verdient besondere Kontrolle. Vergleiche ihn mit Kriterienversion und Änderungsjournal, lass den Fall wenn möglich ohne Ergebnisspalte gegenlesen und dokumentiere die erneute Entscheidung. So bleibt erkennbar, ob die Regel tatsächlich vor dem unerwünschten Befund bestand.
Der Methodenteil nennt Datenbanken, Suchdatum, Suchlogik, Screeningstufen, Kriterienversion, Anzahl der Prüfenden und Umgang mit Konflikten. Eine Flussdarstellung kann Mengen zeigen; die Ausschlussliste erklärt wichtige Volltextentscheidungen. Personenbezogene Notizen oder wertende Kommentare gehören nicht hinein.
Vor Abschluss filtere nach offenen Entscheidungen, fehlenden Codes und nachträglich geänderten Kriterien. Ziehe eine Stichprobe aus eingeschlossenen und ausgeschlossenen Titeln und wende die aktuelle Regel erneut an. Suche gezielt nach widersprechender Evidenz und dokumentiere, welche Suchbegriffe oder Zitationsketten dafür verwendet wurden.
Die Seite Ein- und Ausschlusskriterien dokumentieren vertieft die Codierung einzelner Entscheidungen. Mit der Literaturmatrix werden eingeschlossene Studien anschließend vergleichbar. Weitere Vorlagen bündelt der Hub Methodenpraxis; Grundlagen zu Quellenprüfung und Fundstellen stehen unter So funktioniert die Prüfung.