Cherry-Picking beginnt oft vor dem ersten Zitat
Die Verzerrung kann bereits im Suchwort stecken. Wer nur nach der erwarteten Wirkung sucht, findet Kritik oder Nullbefunde seltener. Sie kann beim Screening auftreten, wenn ein Titel wegen seiner Richtung interessant wirkt, oder beim Schreiben, wenn aus einer Studie nur der passende Endpunkt zitiert wird. Auch zeitliche Grenzen, Sprachfilter, die Wahl einer Datenbank und das ausschließliche Zitieren leicht zugänglicher Volltexte können die Literaturbasis verschieben.
Nicht jede begrenzte Suche ist Cherry-Picking. Eine Hausarbeit braucht einen realistischen Umfang und darf eine Population, Methode oder Zeitspanne sachlich eingrenzen. Entscheidend ist, ob die Kriterien zur Forschungsfrage passen, vor Kenntnis der Einzelergebnisse feststehen und konsequent angewendet werden. Nachträgliche Änderungen sind möglich, aber Datum, Anlass und Wirkung müssen sichtbar bleiben.
Formuliere Frage und Auswahlkriterien zuerst
Zerlege die Forschungsfrage in Kernkonzepte: Gegenstand, Population oder Material, Kontext und gegebenenfalls Methode oder Ergebnis. Definiere Synonyme, Fachbegriffe und Schreibvarianten. Lege fest, welche Studientypen, Zeiträume, Sprachen und Publikationsformen du berücksichtigen kannst. Begründe jede Grenze. „Nur englisch, weil einfacher“ ist schwächer als eine transparente Machbarkeitsgrenze mit Hinweis auf mögliche Sprachverzerrung.
Ein- und Ausschlusskriterien sollten am Gegenstand ansetzen, nicht an der Richtung des Befunds. „Untersucht Studierende in formalen Lernsettings“ ist prüfbar; „zeigt positive Wirkung“ wäre ergebnisabhängig. Plane außerdem, wie du Dubletten, mehrere Berichte derselben Studie, zurückgezogene Artikel, Protokolle und nicht zugängliche Volltexte behandelst. Definiere, welche bibliografischen Angaben du zur Kontrolle speicherst.
Screening ohne Blick auf das Wunschresultat
Prüfe Titel und Abstract gegen eine kurze Kriterienliste. Speichere nicht nur aufgenommene Treffer, sondern zumindest die Entscheidung für alle geprüften Datensätze. Beim Volltextscreening braucht jeder Ausschluss einen konkreten Grund. Kategorien wie „unpassend“ sind zu vage. Besser sind „falsche Population“, „kein empirischer Befund“, „Zeitraum außerhalb Scope“ oder „Doppelbericht ohne zusätzliche Daten“.
Wenn möglich, lass eine Stichprobe von einer zweiten Person prüfen oder wiederhole das Screening nach einigen Tagen ohne die ersten Entscheidungen zu sehen. Abweichungen zeigen unklare Kriterien. Bei alleiniger Bearbeitung kannst du Grenzfälle markieren und gemeinsam mit der Betreuung entscheiden. Dokumentiere die Klärung, statt den Treffer still in die bequemere Kategorie zu verschieben.
Eine gezielte Gegenprobe sucht nach blinden Flecken
Ergänze Suchbegriffe wie Replikation, Kritik, Nullbefund, Nebenwirkung, Grenze oder alternative Erklärung, sofern sie im Fach tatsächlich verwendet werden. Starte von einer zentralen Quelle und prüfe sowohl ihre Referenzen als auch spätere Zitationen. Suche nach Protokollen, registrierten Berichten, Dissertationen oder institutionellen Repositorien, wenn graue Literatur für die Frage relevant und im Scope vorgesehen ist.
Die Gegenprobe ist kein Auftrag, irgendeine Gegenmeinung zu finden. Sie prüft, ob dein Suchdesign sie finden könnte. Wenn kein belastbarer Gegenbefund erscheint, schreibe den Suchweg und die verbleibenden Grenzen. „Nicht gefunden“ bedeutet nicht „existiert nicht“. Datenbanken unterscheiden sich in Abdeckung, Schlagwörtern und Aktualität.
Bewertung erst nach Auswahl, Gewichtung nicht nach Richtung
Trenne die Entscheidung „passt zur Frage?“ von „wie belastbar ist die Studie?“. Nutze für die Qualitätsbewertung fachspezifische Kriterien und wende sie unabhängig vom Ergebnis an. Ein methodisch schwacher bestätigender Befund darf nicht großzügiger behandelt werden als ein methodisch schwacher Gegenbefund. Notiere Population, Design, Messung, Unsicherheit und Interessenkonflikte, ohne daraus eine automatische Punktzahl zu erfinden.
Mehrere Publikationen können auf derselben Stichprobe beruhen. Zähle sie in der Synthese nicht als unabhängige Wiederholungen. Umgekehrt kann ein Artikel mehrere unterschiedliche Studien enthalten. Die Einheit der Evidenz muss aus Methode und Datengrundlage folgen, nicht aus der Zahl der Literaturverzeichniseinträge.
Berichte die Grenze der Suche ebenso wie das Ergebnis
Beschreibe Datenbanken, Zeitraum, Suchdatum, zentrale Suchbegriffe, Auswahlkriterien und Umfang der geprüften Literatur. Bei einem narrativen Review genügt oft eine kompakte Darstellung; ein systematischer Review braucht den einschlägigen Standard des Fachs. Gib Abweichungen vom Plan an und erkläre, welche Literatur möglicherweise fehlt. Eine ehrliche Begrenzung ist stärker als der Eindruck einer Vollständigkeit, die der Prozess nicht leisten kann.
Verknüpfe die finale Argumentation mit einer Evidenzmatrix. Nenne widersprüchliche und unsichere Befunde dort, wo sie die Aussage begrenzen. Wenn die Forschungslage heterogen ist, darf die Schlussfolgerung heterogen bleiben. Ziel ist nicht eine möglichst glatte Geschichte, sondern eine nachvollziehbare Antwort auf die Frage.
Sechs Warnzeichen im fertigen Kapitel
- Alle Quellen unterstützen die These, obwohl das Feld sichtbar kontrovers ist.
- Suchbegriffe und Datenbanken sind nirgends dokumentiert.
- Ausschlussgründe ändern sich je nach Ergebnisrichtung.
- Einzelne passende Endpunkte ersetzen den Gesamtbefund einer Studie.
- Mehrere Berichte derselben Datenbasis werden als unabhängige Belege gezählt.
- Die Formulierung behauptet Vollständigkeit, obwohl die Suche eng begrenzt war.