5.1 Evaluation von Trainings

1. Einführung

Evaluationen von Trainings sollen Hinweise auf die Einschätzung der Maßnahme und der Trainer:innenleistung durch die Beteiligten geben, konzeptionelle, methodische und didaktische Verbesserungen ermöglichen sowie Aufschlüsse hinsichtlich der Wirksamkeit der Trainignsmaßnahme vermitteln. 

Manche Auftraggeber – meistens sind es Personalentwicklungen, Leitungspositionen bzw. der Bereich Controlling – möchten zudem zuverlässige Messdaten, um den Return on Investment (ROI) bestimmen zu können: „Hat sich das Training gelohnt?“

Da keine der bekannten Evaluationsmethoden „objektiv“ zuverlässige Aussagen über die Qualität einer Weiterbildungsmaßnahme erlaubt, ist ein vielfacettiges Evaluationsverfahren sicherlich ratsam. 

Allerdings stellt sich hier immer auch die Frage nach der Effizienz und damit den Grenzen des Evaluationsumfangs. Auch die inzwischen extrem hohe Differenziertheit der Evaluationsforschung darf nicht darüber hinwegtäuschen, dass Evaluationsmaßnahmen – wie detailliert sie auch durchgeführt werden - immer nur tendenziell belastbare Auskünfte ermöglichen.

1. Einführung

1.1 Umfrage: Wann ist ein interkulturelles Training erfolgreich? (Selbstreflexion)

1.2 Lernziele des Moduls

2. Einführung in die 4 Ebenen des Kirkpatrick-Modells

3. Zusammenfassung

1.1. Umfrage: Wann ist ein interkulturelles Training erfolgreich

Überlege für dich und vergleiche dann mit den Antworten der anderen Teilnehmenden:

1.2. Lernziele für dieses Modul

Trainingsevaluation ist weit mehr als das Verteilen eines Feedbackbogens am Ende eines Seminars.
In diesem Modul lernst du:

• das klassische Modell der Evaluation Kirkpatrick kennen (sozusagen der Goldstandard der Evaluation),

• Methoden, mit denen du deine Trainings praxisnah, effizient und zielgerichtet evaluieren kannst.

Am Ende wirst du in der Lage sein, für dein eigenes Training ein passendes Evaluationsdesign zu entwickeln.

2. Einführung in die 4 Ebenen des Kirkpatrick-Modells

Das Kirkpatrick-Modell (1979)  ist weit verbreitet und leicht verständlich. In diesem Modell werden verschiedene Ebenen einbezogen, um ein umfassendes Bild von Veränderung nach Trainingsmaßnahmen zu erhalten: 

(a) Reaction (Reaktion der Teilnehmenden), 

(b) Learning (Lernerfolg), 

(c) Behavior (Verhalten), 

(d) Results (Ergebnis). 

In der Praxis wird jedoch oft nur die unterste Ebene "Reaktion der Teilnehmenden" umgesetzt. 

Hier erhaltet ihr erst mal einen Überblick, was die einzelnen Ebenen umfasst:

Hier könnt ihr euch ein zusammenfassendes Video anschauen, das die Ebenen einfach erklärt:

Da in der Trainings-Realität vor allem die Ebene a) Reaktion der Teilnehmenden genutzt wird, findest du hierzu einige praktische Hinweise auf den nächsten zwei Seiten.

2.1. Ebene "Reaktion von Teilnehmenden": Mini-Evaluation am Ende eines Trainings

In den letzten 15 Minuten des Trainings gibt es meistens eine kleine Mini-Evaluation. 

Dies dient zum einen dazu, die wichtigsten Ergebnisse aus Sicht der Teilnehmenden zu bündeln und zum anderen, um ein Stimmungsbild zu erhalten. 

Hier bieten sich kreative Methoden an:

Methode	Kurzbeschreibung	Ziel / Fokus	Besonderheiten / Hinweise
Feedback-Ampel	Teilnehmende zeigen am Ende des Trainings eine Karte: Grün (Alles klar), Gelb (Fragen, unklar), Rot (Nicht verstanden).	Schnelles visuelles Stimmungsbild, Verständnis prüfen	Sehr einfach, ideal für große Gruppen
Blitzlicht	Jede:r sagt eine Sache, die er:sie aus dem Training mitnimmt.	Persönliche Reflexion, Transfergedanke	Kann kurz oder ausführlich sein, macht Resultate sichtbar
Zettelabfrage	Teilnehmende pinnen ihre Antworten auf vorbereitete Fragen/Aussagen an ein Board. Z.B. "Das habe ich gelernt", "Hier habe ich noch Fragen", "Meine nächsten Schritte"	Sammlung von Meinungen, Feedback zu Inhalten	Gut für mehrere Fragen/Aussagen gleichzeitig, visuell sichtbar
Handfeedback	Teilnehmende nutzen Hand-Symbole (oder mündlich) für Feedback: - Daumen: Daumen hoch – positiv - Zeigefinger: Hinweis / wichtig - Mittelfinger: im Mittelpunkt / negativ - Ringfinger: „Schmuckstück“ – Highlight - Kleiner Finger: zu kurz gekommen – Verbesserung	Differenziertes, kreatives Feedback	Besonders geeignet für kleine Gruppen, interaktiv
Zielscheibe	Flipchart mit Zielscheibe für verschiedene Bereiche (z. B. Gruppenatmosphäre, Lernzuwachs, Organisation). TN markieren Punkte je nach Zufriedenheit (näher zum Mittelpunkt = höher)	Quantitative + visuelle Rückmeldung, Zufriedenheit messen	Gut für aggregiertes Feedback, visuell ansprechend, fördert Diskussion
1–2–3 Methode	TN nennen: 1 Sache, die ihnen am wichtigsten war, 2 Dinge, die sie gelernt haben, 3 Punkte, die verbessert werden könnten	Strukturierte Reflexion + Feedback	Schnell, einfach, gut für mittlere Gruppen
Stimmungsbarometer / Smiley-Skala	TN markieren auf einer Skala oder mit Smileys ihre Zufriedenheit / Motivation	Schnell, visuell, gut für große Gruppen	Einfach auszuwerten, sofortige Übersicht über Stimmung

2.2. Ebene "Reaktionen von Teilnehmenden": Mündliche und schriftliche Befragungen nach dem Training

Wenn du eine tiefgreifendere Evaluation nach dem Training durchführen willst, die auch den Anforderungen einer systemischen Evaluation (Döring/ Bortz 52016, 1007) gerecht werden, kannst sowohl Feedbackgespräche als auch schriftliche Befragungen  durchführen. HIerfür bietet sich eine Orientierung an den Bedingungsfaktoren des Trainings an. 

Klicke auf die einzelnen Punkte, um Beispielfragen zu sehen:

Feedback einholen

Feedback annehmen

2.3. Ebene B "Lernerfolgskontrolle": Mehr als Wissensabfrage

Lernerfolgskontrollen sollten im verhaltensbezogenen Bereich (und gerade in interkulturellen Trainings) nicht auf reine Wissensüberprüfung beschränkt sein. Schriftliche oder mündliche Tests liefern zwar differenzierte Aussagen zum Wissensstand, erfassen jedoch nur bedingt konative und affektive Aspekte interkultureller Handlungskompetenz.

Besonders geeignet sind komplexe Szenarien wie Assessment Center oder Planspiele. Sie ermöglichen Teilnehmenden, den Umgang mit unvertrauten Situationen ganzheitlich – kognitiv, konativ und affektiv – zu zeigen.

Typische Formate sind zum Beispiel:

• ein Rollenspiel, in dem unterschiedliche Kommunikationsstile aufeinandertreffen und eine gemeinsame Lösung gefunden werden muss,

• ein Fallbeispiel, das aus verschiedenen Perspektiven und mit unterschiedlichen Hypothesen bearbeitet wird,

• oder ein längeres virtuelles Planspiel wie Megacities, bei dem die Spielenden Verhaltensweisen in unvertrauten und heterogenen Kontexten anwenden müssen; evaluiert etwa über Beobachtungen oder 360°-Feedbacks.

Weniger komplex, aber dennoch hilfreich, sind Selbsteinschätzungen der Teilnehmenden. Sie liefern Hinweise auf den individuellen Lernprozess und lassen sich mit Online-Tools wie SurveyMonkey gut erfassen. Ihr Wert hängt dabei stark von der Tiefe der Selbstreflexion ab: weniger ein direkter Kompetenznachweis, aber ein nützlicher Indikator für subjektives Lernen.

Darüber hinaus sind kontinuierliche, informelle Lernerfolgskontrollen unverzichtbar. Trainer:innen sollten das Verhalten der Teilnehmenden während Übungen und Gruppenaufgaben aufmerksam beobachten, insbesondere wenn es um Anwendung, Umsetzung und Transfer geht. Auf diese Weise lassen sich praxisnahe und differenzierte Rückschlüsse ziehen.

2.4. Online-Umfragetools

Hier ein Übersicht über die gängigsten online Umfragtools

3. Zusammenfassung

Das Wichtigste auf einen Blick:

1. Mut zur Lücke (und zur Kritik): Feedback ist ein Geschenk, auch wenn es mal ungemütlich verpackt ist. Selbst ein „Trainings-Desaster“ ist die Möglichkeit zum Wachsen.
   (Und du bist nicht allein: Es ist allen erfahrenden Trainer:innen schon passiert).

2. Ganzheitlich statt Auswendiglernen: Gerade im interkulturellen Kontext zählen Haltung und Erleben mehr als reines Faktenwissen. Nutze Simulationen/Fallbespiele, um echte Kompetenz zu prüfen.

3. Mix it up: Kombiniere kreative Methoden (wie die Zielscheibe) mit digitalen Tools (wie SurveyMonkey), um ein rundes Bild zu erhalten.