Modell–Version–Prompt–Validierung-Protokoll
Vier Rollen der KI auseinanderhalten
Ein System kann Analysecode formulieren, Variablen vorschlagen, qualitative Texte kategorisieren oder Ergebnisse sprachlich deuten. Diese Aufgaben sind nicht austauschbar. Codegenerierung verlangt Syntax-, Logik- und Testprüfung. Eine Methodenempfehlung muss durch Fachliteratur begründet werden. Automatische Kategorien benötigen ein definiertes Kodierverfahren und eine Prüfung an realem Material. Interpretation bleibt an Forschungsfrage, Design und Grenzen gebunden.
Schreiben Sie deshalb für jeden Schritt ein Tätigkeitsverb: „schlug vor“, „erzeugte Code“, „klassifizierte“, „fasste zusammen“ oder „interpretierte“. Danach folgt, wer entschied. „KI wurde für die Analyse genutzt“ verdeckt, ob die Methode, ihre Implementierung oder nur die Formulierung der Ergebnisse betroffen war.
- Methodenwahl vor dem Prompt fachlich begründen.
- Datenversion mit unveränderlichem Identifikator sichern.
- Transformationen in der Reihenfolge protokollieren.
- Generierten Code wie fremden Code prüfen und testen.
- Ergebnisse nicht vom System gegen sich selbst validieren lassen.
Unabhängige Validierung planen
Eine plausible Antwort ist keine Analysebestätigung. Wählen Sie für quantitative Berechnungen kleine Referenzdaten mit manuell prüfbarem Ergebnis, etablierte Software oder eine zweite Implementierung. Kontrollieren Sie Stichprobengröße, fehlende Werte, Skalenniveau, Gruppierung, Rundung und Vorzeichen. Für qualitative Kategorien definieren Sie Codebuch, Beispiele und Entscheidungsregeln, prüfen eine Stichprobe menschlich und dokumentieren Abweichungen statt nur eine Übereinstimmungszahl zu nennen.
Die Validierung sollte nicht auf denselben unbelegten Annahmen beruhen wie der Vorschlag. Wenn das System einen Test empfiehlt und gleich den Prüfcode schreibt, vergleichen Sie beides mit offizieller Dokumentation und methodischer Literatur. Fehlerhafte Resultate bleiben im Audit-Trail: Was wurde entdeckt, wie korrigiert und welche Folge hatte es für bereits erzeugte Tabellen oder Aussagen?
- Erwartung vor dem Lauf formulieren.
- Referenzfall und Fehlerfall getrennt testen.
- Zwischenergebnisse statt nur Endgrafik speichern.
- Abweichungen klassifizieren und Ursachen untersuchen.
- Nach der Korrektur alle abhängigen Schritte wiederholen.
Beispiel: automatische Kategorien für offene Antworten
Eine Studentin möchte 240 Freitextantworten thematisch ordnen. Zuerst entwickelt sie aus Literatur und einer menschlich gelesenen Teilmenge ein Codebuch. Das System erhält pseudonymisierte Texte und feste Kategorien, darf aber „unklar“ zurückgeben. Im Protokoll stehen Datenversion, Anweisung, Modellanzeige, Datum und Ausgabeformat. Die Studentin prüft alle unklaren Fälle und eine vorab festgelegte Kontrollmenge, dokumentiert Mehrfachzuordnungen und verändert zwei Definitionen.
Im Methodenteil berichtet sie Codebuchentwicklung, maschinelle Zuordnung, menschliche Kontrolle und Änderungen. Sie behauptet nicht, das System habe „objektiv“ kodiert. Im Anhang liegen keine identifizierenden Antworten, sondern Feldschema, redigierte Beispiele und Ergebnisprotokoll. Der genaue Datenzugang folgt der Einwilligung und dem Datenmanagementplan.
Was in Thesis und Nachweis gehört
Der Methodenteil erklärt das wissenschaftliche Verfahren: Datenbasis, Vorverarbeitung, Analyseschritte, Validierung und Grenzen. Die KI-Nutzungserklärung fasst Werkzeug, Funktion und Eigenleistung zusammen. Das technische Protokoll sichert Detailangaben. Diese drei Ebenen sollten sich ergänzen, ohne vertrauliche Daten zu duplizieren.
Für einen stabilen Datenweg hilft das Datenbereinigungsprotokoll. Den allgemeinen Erklärungstext bietet das neutrale KI-Muster. Weitere Nachweise bündelt KI-Transparenz; als genau eine Produkt-/Grundlagenseite erklärt KI-Erkennung, warum ein fertiger Text keinen Analyseprozess beweist.
Abschlussfragen
Ist der analysierte Datenstand eindeutig? Lassen sich alle Transformationen wiederholen? Ist erkennbar, welche Rolle das System spielte? Wurden Methode und Parameter außerhalb der KI-Antwort begründet? Gibt es eine unabhängige Kontrolle? Sind Fehlschläge und Grenzen erhalten? Schützt der Nachweis vertrauliche Inhalte? Stimmen Methodenteil, Code, Tabellen und Erklärung überein? Nur diese Verbindung erlaubt einer dritten Person, die Aussagekraft realistisch einzuschätzen.
Praxisnotiz: Abhängigkeiten und Exploration
Zeichnen Sie eine Kette aus Rohdatenversion, Bereinigung, abgeleiteten Variablen, Modelllauf, Tabelle, Abbildung und Textaussage. Jeder Knoten erhält seine Datei oder Protokoll-ID. Wird ein früher Schritt korrigiert, sehen Sie, welche Ergebnisse neu erzeugt und welche Passagen erneut geprüft werden müssen. Ohne diese Zuordnung bleibt leicht eine alte Grafik im Manuskript.
Trennen Sie außerdem vorab geplante Prüfungen von später entdeckten Mustern. Ein System kann interessante Varianten vorschlagen; die Arbeit darf sie nicht rückwirkend als ursprüngliche Hypothese darstellen. Notieren Sie Zeitpunkt, Anlass und Status jeder zusätzlichen Analyse. So bleiben Suchbewegung, Unsicherheit und die tatsächliche Reihenfolge wissenschaftlicher Entscheidungen sichtbar.
Quellen
Bewahren Sie auch Softwareausgaben auf, die nicht in die Arbeit eingingen. Sie zeigen, welche Varianten geprüft und warum bestimmte Ergebnisse verworfen wurden. Ein Ergebnis darf nicht allein deshalb verschwinden, weil es der erwarteten Richtung widerspricht. Kennzeichnen Sie Testläufe, explorative Varianten und finale Analyse eindeutig. Wenn sich Filter oder Variablendefinitionen ändern, erhält der Datensatz eine neue Version; vorhandene Resultate werden nicht still überschrieben. So können Betreuende oder spätere Forschende die Entscheidungskette prüfen, ohne sensible Rohdaten einsehen zu müssen.