Auswahl ist Teil der Methode, nicht unsichtbare Vorarbeit
Ein- und Ausschlüsse bestimmen, welche Evidenz später sichtbar wird. Begriffe wie „relevant“, „hochwertig“ oder „passend“ sind ohne Operationalisierung nicht wiederholbar. Das Log übersetzt sie in Regeln, die an einem Fall geprüft werden können.
Kriterien folgen aus Forschungsfrage, Design, Ressourcen und Schutzanforderungen. Sie sollen weder ein gewünschtes Ergebnis erzeugen noch nachträglich unbequeme Fälle entfernen. Pilotierung darf Unklarheiten zeigen; Änderungen werden transparent behandelt.
Das Verfahren eignet sich für Literaturauswahl, Dokumentkorpora, Stichproben, Interviewmaterial oder Datensätze. Es schreibt keine bestimmte Methode oder Mindestzahl vor.
Kriterien so schreiben, dass zwei Personen sie anwenden können
Jede Regel enthält Merkmal, Schwelle, Prüfquelle und Ergebnis bei Erfüllung. „Aktuell“ wird etwa zu einem begründeten Datumsfenster; „wissenschaftlich“ zu benannten Dokumenttypen oder Prüfmerkmalen. Vermeide Regeln, die bereits die gewünschte Schlussfolgerung voraussetzen.
Trenne Einschluss von Ausschluss. Ein Fall kann ein Einschlussmerkmal erfüllen und dennoch wegen einer unabhängigen Schutz- oder Qualitätsregel entfallen. Lege Priorität fest, damit derselbe Fall nicht zufällig je nach Prüfreihenfolge anders behandelt wird.
Teste Regeln an wenigen vielfältigen Fällen. Die Pilotmenge gehört nicht automatisch zur endgültigen Auswahl. Halte fest, ob sie später nach der finalen Regel erneut bewertet wurde.
Grenzfälle nicht in Sammelkategorien verstecken
Ein Grenzfall erfüllt eine Regel nur teilweise, enthält widersprüchliche Angaben oder macht eine unbeabsichtigte Lücke sichtbar. Er erhält eine eigene ID und eine Begründung, nicht nur „sonstiger Ausschluss“. Zitiere die konkrete Stelle oder Metadatenbasis der Entscheidung.
Bei mehreren Prüfenden entscheidet nicht still die ranghöhere Person. Definiere Klärungsweg: unabhängige Erstentscheidung, Vergleich, begründeter Konsens oder dritte Prüfung. Abweichende Sichtweisen dürfen im Log erhalten bleiben.
Unklarheit ist ein zulässiger Zwischenstatus. Eine fehlende Datei ist nicht dasselbe wie ein inhaltlicher Ausschluss. Versuche, Frist und endgültigen Umgang werden getrennt dokumentiert.
Kriterienänderungen versionieren
Ändert sich eine Regel, notiere alte und neue Fassung, Datum, Anlass und Entscheidungsträger. Prüfe, welche bereits bearbeiteten Fälle betroffen sind, und bewerte sie konsistent neu. Eine Änderung nur für neue Fälle erzeugt systematische Verzerrung.
Unterscheide Präzisierung von inhaltlicher Erweiterung. „Online-Datum meint Datum der untersuchten Fassung“ klärt möglicherweise eine Regel; ein zusätzliches Land verändert den Suchraum. Beide werden dokumentiert, aber ihre Folgen sind verschieden.
Änderungen nach Sichtung von Ergebnissen werden ausdrücklich als nachträglich kenntlich. Das bedeutet nicht automatisch schlechte Forschung, begrenzt aber Behauptungen über vorab festgelegte Auswahl.
Vom Einzelfalllog zur transparenten Berichterstattung
Berichte Such- oder Ausgangsmenge, Dubletten, ausgeschlossene Fälle nach trennscharfen Gründen, Grenzfälle und endgültige Auswahl. Summen müssen rechnerisch zusammenpassen. Mehrere Gründe pro Fall erfordern entweder einen primären Grund oder eine erklärte Mehrfachzählung.
Veröffentliche keine geschützten Identitäten oder vertraulichen Volltexte. Aggregierte Zahlen, Kriteriendefinitionen und anonymisierte Beispiele können Nachvollziehbarkeit schaffen, während Detailzugriff kontrolliert bleibt.
Der Parametercheck bindet das Log in den Methodenteil ein. Der Kodierleitfaden strukturiert die anschließende Analyse. Weitere Vorlagen bietet der Hub Methodenpraxis; genau eine Grundlagenroute ist Wissen zur wissenschaftlichen Prüfung.
Eine Entscheidungsaudit-Stichprobe durchführen
Ziehe eingeschlossene, ausgeschlossene und unklare Fälle aus verschiedenen Phasen. Eine zweite Person wendet nur die dokumentierte Regel an und vergleicht Ergebnis sowie Begründung. Abweichungen zeigen, ob Regel, Datenbasis oder Schulung unklar ist.
Eine Übereinstimmungszahl kann je nach Design nützlich sein, ist aber keine universelle Pflicht und ersetzt die Fallanalyse nicht. Berichte nur Kennzahlen, deren Berechnung und Zweck tatsächlich zum Projekt passen.
Vor Abschluss sperrst du die Kriterienversion, exportierst das Log und verknüpfst beide mit der analysierten Materialfassung. Spätere Korrekturen erhalten eine neue Version statt stiller Überschreibung.
Prüfe außerdem die Reihenfolge abhängiger Regeln. Wird zuerst Sprache und danach Dokumenttyp bewertet, kann ein früher Ausschluss spätere Merkmale unbekannt lassen. Das Log kennzeichnet deshalb „nicht geprüft“ statt „nicht erfüllt“. Für Flusszahlen wird jeder Fall genau einer primären Endentscheidung zugeordnet, während zusätzliche Beobachtungen erhalten bleiben. So lassen sich Mengen zusammenrechnen, ohne die inhaltliche Komplexität zu verlieren.
Bei maschineller Vorauswahl beschreibst du Suchausdruck, Felder, Version, Schwelle und menschliche Nachprüfung. Ein automatischer Filter übernimmt keine methodische Verantwortung. Ziehe auch eine Stichprobe aus automatisch verworfenen Fällen, wenn das Design eine solche Kontrolle vorsieht, und dokumentiere Ergebnis sowie Konsequenz. Veränderte Software oder Datenbestände erhalten einen neuen Lauf statt einer stillen Fortsetzung.
Grenzfälle können zur Schärfung eines Kriteriums dienen, dürfen aber nicht nach gewünschtem Inhalt gewichtet werden. Sammle unterschiedliche Arten von Unsicherheit: fehlende Metadaten, widersprüchliche Fassungen, Teilabdeckung und Mehrfachzugehörigkeit. Eine kurze Falltypologie zeigt später, wo das Auswahlverfahren tatsächlich schwierig war. Im Bericht werden nur methodisch relevante und datenschutzgerechte Beispiele verwendet.