Protokoll-Suche-Auswahl-Bias-Check
Protokoll und publizierten Review vergleichen
Ein registriertes Protokoll macht Entscheidungen vor Kenntnis der Ergebnisse sichtbar. Notieren Sie Registrierungsnummer, Datum und geplante Endpunkte. Vergleichen Sie sie mit dem fertigen Review: Wurden Kriterien, Outcomes oder Analysen geändert? Änderungen können begründet sein, sollten aber erklärt werden. Eine Registrierung nach Beginn oder Abschluss der Auswahl bietet weniger Schutz vor ergebnisgetriebenen Anpassungen als ein echtes Vorabprotokoll.
Fehlt eine Registrierung, ist der Review nicht automatisch unbrauchbar. Das Risiko selektiver Entscheidungen lässt sich dann jedoch schwerer beurteilen. Suchen Sie nach einem veröffentlichten Protokoll, Methodenpapier oder datierten Anhängen. Bewerten Sie die Transparenz dieser Lücke, statt eine unbekannte Planung zu unterstellen.
Suchabdeckung und Reproduzierbarkeit prüfen
Kontrollieren Sie, ob die gewählten Datenbanken zur Fachfrage passen und ob ergänzende Wege wie Register, Referenzlisten oder graue Literatur begründet einbezogen wurden. Mehr Datenbanken sind nicht automatisch besser; eine enge Auswahl kann aber relevante Disziplinen, Sprachen oder unveröffentlichte Ergebnisse übersehen. Der vollständige Suchstring mindestens einer Datenbank und die Anpassung an andere Plattformen sollten nachvollziehbar sein.
Das Datum der letzten Suche bestimmt die Aktualität. Ein später publizierter Review kann auf einer deutlich älteren Suche beruhen. Prüfen Sie Sprach-, Zeitraum- und Publikationsfilter sowie den Umgang mit Preprints und Konferenzbeiträgen. Unbegründete Einschränkungen erhöhen das Risiko, dass die gefundene Evidenz nicht den geplanten Gegenstand abbildet.
Auswahl und Datenextraktion nachvollziehen
Ein Flussdiagramm zeigt Zahlen, aber nicht automatisch die Qualität der Entscheidungen. Lesen Sie, wie viele Personen Titel, Abstracts und Volltexte prüften, wie Konflikte gelöst wurden und ob Ausschlussgründe auf Volltextebene angegeben sind. Die Kriterien müssen so konkret sein, dass ein ähnlicher Artikel voraussichtlich gleich behandelt würde. Vage Formulierungen wie „ungeeignet“ verhindern diese Prüfung.
Achten Sie auf mehrere Publikationen derselben Studie. Werden sie als unabhängige Studien gezählt, kann dieselbe Stichprobe mehrfach in die Synthese eingehen. Gute Reviews verknüpfen Berichte, erklären die priorisierte Datenquelle und fragen bei fehlenden Angaben gegebenenfalls Autoren an. Doppelprüfung reduziert Übertragungsfehler, ersetzt jedoch keine klaren Extraktionsregeln.
Verzerrungsrisiko muss Folgen haben
Eine ausgefüllte Bias-Tabelle ist nur der Anfang. Prüfen Sie, ob das Werkzeug zum eingeschlossenen Studiendesign passt, domänenspezifische Urteile begründet sind und problematische Studien in Sensitivitätsanalysen oder Schlussfolgerungen berücksichtigt werden. Ein Review, der Studien mit hohem Verzerrungsrisiko gleich gewichtet und anschließend eine starke Empfehlung ausspricht, nutzt seine eigene Qualitätsprüfung nicht sinnvoll.
Unterscheiden Sie Verzerrungsrisiko einzelner Studien von Berichts- oder Publikationsverzerrung über den gesamten Evidenzkörper. Funnel-Plots sind nicht in jeder Situation aussagekräftig und fehlende Asymmetrie beweist nicht, dass nichts fehlt. Suchen Sie nach Studienregistern, nicht veröffentlichten Ergebnissen und einer begründeten Bewertung der Evidenzsicherheit.
Synthese und Schlussfolgerung gegeneinander lesen
Bei einer Meta-Analyse prüfen Sie Effektmaß, Modell, Heterogenität, Gewichtung und Umgang mit abhängigen Ergebnissen. Eine gepoolte Zahl ist nicht sinnvoll, wenn Populationen, Interventionen oder Messungen sachlich unvereinbar sind. Bei narrativen Synthesen sollte erkennbar sein, wie Studien gruppiert, Unterschiede erklärt und widersprüchliche Befunde behandelt wurden. „Keine Meta-Analyse“ bedeutet nicht „keine Methode“.
Lesen Sie Abstract und Presseformulierung zuletzt gegen die Ergebnistabellen. Absolute Aussagen können die im Haupttext genannten Unsicherheiten verlieren. Ihre eigene Zitierung sollte die Reichweite des Reviews übernehmen: untersuchte Population, Zeitraum, Endpunkt und Evidenzsicherheit. Ein Review belegt nicht automatisch jede Aussage über sein breites Thema.
Ein prüfbares Gesamturteil schreiben
Fassen Sie nicht nur Punktzahlen zusammen. Nennen Sie kritische Stärken, kritische Schwächen und deren Einfluss auf genau die Aussage, die Sie verwenden wollen. Beispiel: Die Suche ist breit und reproduzierbar, doch fehlendes Vorabprotokoll und nicht berücksichtigtes Bias-Risiko begrenzen das Vertrauen in die starke Kausalfolgerung. Ein solches Urteil ist transparenter als „hochwertig“ und bleibt auch bei unterschiedlichen Bewertungssystemen verständlich.
Aktualität und nachfolgende Korrekturen prüfen
Ein methodisch sauberer Review kann durch neue Studien überholt werden. Vergleichen Sie das letzte Suchdatum mit dem Tempo des Forschungsfeldes und suchen Sie nach Aktualisierungen, Korrekturen oder verwandten Living Reviews. Das Publikationsdatum allein ist kein ausreichender Aktualitätsnachweis, weil zwischen Suche, Manuskript und Veröffentlichung viel Zeit liegen kann.
Finden Sie eine neuere Version, übertragen Sie das alte Qualitätsurteil nicht ungeprüft. Einschlusskriterien, Team, Bias-Werkzeug oder Synthese können verändert worden sein. Halten Sie fest, welche Fassung Sie bewertet haben und ob ein Korrekturhinweis bestimmte Zahlen oder Schlussfolgerungen betrifft. Für historische Fragen kann ein älterer Review passend sein; für eine aktuelle Wirksamkeitsaussage muss seine Evidenzgrenze erkennbar bleiben.