Evaluation von Weiterbildungsmaßnahmen

umfasst die Schätzung oder Wertbestimmung von Weiterbildungsmaßnahmen bezüglich Effektivität (Ziel-Ergebnis-Relation) und Effizienz (Kosten-Nutzen-Relation).

Informationen werden gesammelt und aufbereitet, um die Wirkung von Weiterbildungsmaßnahmen zu bewerten, gegebenenfalls Misserfolgsfaktoren beziehungsweise Verbesserungsansätze zu identifizieren, entsprechende Trainings auswählen zu können und letztendlich häufig auch Weiterbildung zu legitimieren. Eine systematische Qualitätskontrolle kann Weiterbildung gezielt optimieren, Qualität sichern, an den Zielen und Bedürfnissen des Unternehmens ausrichten (-> Bildungsbedarf) und Kosten, die durch mangelhafte Auswahl und Durchführung von Weiterbildung entstehen können, einsparen (-> Bildungscontrolling).

Darüber hinaus kann durch Evaluation eine Veränderung von Einstellungen und Verhaltensweisen aller am Bildungsgeschehen Beteiligten, im Sinne einer Verantwortungsübernahme hervorgerufen werden. Evaluation ist nicht nur ein Kontrollverfahren, welches im Nachhinein den Nutzen bestimmter Maßnahmen feststellt. Evaluation geht darüber hinaus. Sie beginnt bereits vor der Maßnahme (-> Bildungsbedarfsanalyse und anschließende Lernzielvereinbarung), setzt sich während der Maßnahme fort (z. B. Forcierung der ->? Arbeit an konkreten Projekten) und mündet schließlich in der ex-post Transfer-Evaluation und Messung des wirtschaftlichen Erfolgsbeitrags.

Weil Erfolgskriterien von Weiterbildung vor allem in Verhaltensänderungen (Messkriterium/Effektgröße) liegen und Lernen ein komplexes Konstrukt und durch viele Determinanten bestimmt ist, bedarf es einer breiten Betrachtung möglichst vieler Einflussgrößen, um eine Erfolgseinschätzung überhaupt vornehmen zu können. Es existieren in der aktuellen Literatur viele Ansätze und Evaluationsmodelle (Häring 2003). Betont wird über die Modelle hinweg, dass jede Phase des Weiterbildungsprozesses evaluiert werden sollte. Die Evaluation wird als iterativer Prozess verstanden, in welchem mit unterschiedlichen Instrumenten und unter Einbindung aller am Weiterbildungsprozess Beteiligten (Teilnehmer, Führungskraft, Dozent) der Weiterbildungserfolg beleuchtet wird.

Ein in der Literatur und in der Praxis häufig aufgegriffenes Evaluationsmodell ist das von Kirkpatrick (1994) vorgestellte Modell zur Messung des Weiterbildungserfolgs. Die immer noch vorhandene Aktualität verdankt es seiner Einfachheit, Strukturiertheit und Anwenderfreundlichkeit. Im Modell werden vier Ebenen der Evaluation unterschieden:

Zufriedenheit des Teilnehmers: Wie zufrieden war der Teilnehmer mit der Maßnahme?
Lernerfolg: Was konnte der Teilnehmer lernen?
Transfererfolg: Was hat der Teilnehmer konkret umgesetzt?
Unternehmenserfolg: Was hat es für das Unternehmen gebracht? Hat sich der Aufwand gelohnt?

Die Zufriedenheitsmessung (Stufe 1) ist in der Praxis die am häufigsten durchgeführte Evaluationsform. Sie wird in den allermeisten Fällen anhand standardisierter Seminarbeurteilungsbogen (Happiness Sheets) oder Feedback-Runden in der Endphase einer Weiterbildung ermittelt. Im Zentrum stehen Aspekte wie Zufriedenheit mit den Maßnahmeninhalten, den Lehr- und Lernmethoden, den zeitlichen Bedingungen, dem Trainer und den Rahmenbedingungen. Kritiker bezeichnen diese Ebene als Happiness-Index und kritisieren an einer alleinigen Zufriedenheitsmessung, dass hier Einschätzungen wiedergegeben werden, die nur stark stimmungsabhängige Momentaufnahmen darstellen. Kirkpatrick (1994) wiederum betont, dass die Messung der Zufriedenheit des Teilnehmers die erste notwendige Information darüber ist, ob der Teilnehmer die Maßnahme überhaupt akzeptiert hat. Je positiver die Akzeptanz, desto höher ist die Wahrscheinlichkeit eines Lern- und Transfererfolgs. Die Zufriedenheitsmessung kann damit einen wichtigen Teil eines Frühwarnsystems bilden.

Die Lernerfolgsermittlung (Stufe 2) beinhaltet die Überprüfung, inwieweit Inhalte der Weiterbildung verstanden und behalten wurden. Orientierungsgröße sind die vorab definierten Lernziele, die auf der Basis einer entsprechenden Bildungsbedarfsanalyse formuliert sind. Die verwendete Überprüfungsmethode hängt stark vom Lerninhalt ab. Instrumente wie Offizielle Prüfungen, Tests, Präsentationen, Planspiele oder Fallstudien können während beziehungsweise am Ende der Maßnahme eingesetzt werden: Wenn es um Veränderungen auf Verhaltensebene geht, werden in der Praxis häufig Rollenspiele (-> Kommunikations- und Rollenspiele) oder Videoanalysen eingesetzt.

Aus Unternehmenssicht ist der Transfer die zentrale Erfolgsgröße (Stufe 3). Es geht um die Feststellung, ob erlernte Fähigkeiten in die Praxis übertragen werden konnten und der Teilnehmer das Gelernte (verändertes Verhalten oder Fachwissen) am Arbeitsplatz nutzt.

Proaktiv kann bereits während der Weiterbildungsmaßnahme der Transfer vorbereitet werden. Begünstigend wirkt das bewusste Einbeziehen von Alltagssituationen der Teilnehmer, die Reflexion über Transferbarrieren, die Erarbeitung konkreter Aktionspläne oder die Installation von Lernpartnerschaften beziehungsweise Peer-Coachings. Ein großer Teil der Transferverantwortung liegt beim Teilnehmer selbst. Deshalb ist es wichtig, dass Teilnehmer aufgefordert werden, selbst festzuhalten welche Erkenntnisse gewonnen und welche Dinge wie und bis wann am Arbeitsplatz umgesetzt werden sollen (Lerntagebuch, Vereinbarungen mit sich selbst, Erkenntniskarte).

Nicht jeder Lernerfolg führt automatisch zu einer erfolgreichen Nutzung im Alltag. Der Transferumfang ist nicht nur von der Person selbst oder der Weiterbildung an sich abhängig, sondern auch von den betrieblichen Gegebenheiten und von anderen Personenkreisen.

Ein fehlender Transfererfolg ist also nicht gleichzusetzen mit einer schlechten Weiterbildung, sondern könnte auch durch entsprechende nicht förderliche Rahmenbedingung am Arbeitsplatz bedingt sein. Für eine nachhaltige Umsetzung ist deshalb die Planung, Kontrolle und Unterstützung des Transfers an den Arbeitsplatz nach der Weiterbildung notwendig (Reischmann 2003).

Zu den möglichen Transferbarrieren werden

mangelnde Selbsterkenntnis der eigenen Schwäche(n) und damit verbunden, mangelnder Veränderungswunsch,
fehlende Anwendungsmöglichkeiten,
mangelnde Akzeptanz und fehlendes Interesse bei Kollegen und Führungskräften,
Ausstattung des Arbeitsplatzes,
Termindruck (z. B. erschwertes Austesten von neuen Techniken) sowie
Umfeldfaktoren (z. B. ungeeignete organisatorische Prozesse)

gezählt. Um den Transfererfolg festzustellen und zu analysieren, gibt es verschiedene Vorgehensmöglichkeiten. Das Standardisierte Rückkehrgespräch (Nachbereitungsgesprach) mit der Führungskraft kann wie folgt ablaufen:

Direkt nach der Maßnahme, um den Transfer in den Arbeitsalltag mit notwendigen Rahmenbedingungen und Unterstützungen zu vereinbaren. Kernfragen hierbei sind: Was war das Weiterbildungsziel? Was hat der Mitarbeiter gelernt? Wie kann die Umsetzung im Arbeitsalltag unterstützt werden? Welche Hindernisse stehen einem Transfer in die Praxis momentan im Weg?
Gespräch nach einer gewissen Zeitspanne, um Transfererfolg gemeinsam zu überprüfen und gegebenenfalls Änderungen in den Rahmenbedingungen und vereinbarten Unterstützungen vorzunehmen. Kernfragen sind: Konnten vereinbarte Maßnahmen umgesetzt werden? Wie kann der Erfolg erhalten bleiben? Welche Transferbarrieren sind noch aufgekommen?
Wenn keine Transferprobleme aufgekommen sind, ist die Überprüfung des Transfererfolgs auch im Rahmen des nächsten Mitarbeitergesprächs denkbar.

Die kurzfristige Standardisierte Befragung (schriftlich oder mündlich) durch interne oder externe Dienstleister erfolgt durch

die Warmabfrage, zeitlich nah am Seminar des oder
die Kaltabfrage, nach einer längeren Zeitspanne.

Die Kaltabfrage ist vor allem deswegen sinnvoll, da Trainingserfolge oft erst deutlich verzögert einsetzen, weil zum Beispiel entsprechende Anlässe und Gelegenheiten im Arbeitsalltag vorliegen müssen. Die beiden Befragungen orientieren sich inhaltlich an den Rückkehrgesprächen der Führungskraft. Die Befragung selbst kann sich allein auf den Teilnehmer und/oder die Führungskraft, Kollegen sowie Kunden fokussieren. Zu unterscheiden ist darüber hinaus zwischen

Selbsteinschätzung des Teilnehmers und
Fremdeinschätzung relevanter Personenkreise (i. d. R. Führungskraft, ggf. Kunden oder Kollegen).

Die Beobachtung (abhängig vom Lerninhalt) erfolgt in angemessenem zeitlichen Abstand

am bisherigen Arbeitsplatz oder
innerhalb von Sonderaufgaben sowie Projekten

Eine wissenschaftliche Beobachtung basiert auf einem vorab definierten Beobachtungsbogen, das heißt Beobachtungsfokus und Interpretationen sind exakt definiert. Die Alltagsbeobachtung findet hingegen nach individuellen Vorstellungen statt. Beide Erhebungsformen haben allerdings die Einschränkung, dass subjektives Erleben und Befinden nicht erfasst werden kann und weite Interpretationsspielräume vorhanden sind.

Die am schwierigsten belegbare Messgröße beinhaltet die Frage, inwiefern der Wissenszuwachs beziehungsweise die Verhaltensänderung zu einem positiven Beitrag für die Unternehmensziele beziehungsweise das wirtschaftliche Ergebnis des Unternehmens geführt hat (Stufe 4). Unmittelbar am Arbeitsplatz kann zum Beispiel die Führungskraft feststellen, ob die Arbeitseffizienz des Mitarbeiters höher geworden ist. Darüber hinaus sind Umsatz, Kosten, Fluktuationsrate, Fehlzeiten, Fehlerquote und Ausbringungsmenge mögliche quantitative Messkriterien. Effizienz am Arbeitsplatz, Mitarbeiterzufriedenheit (-> Arbeitszufriedenheit), Motivation oder Prozessoptimierung wären denkbare qualitative Messkriterien. Allerdings ist die Einschätzung des Nutzens in nur wenigen Fällen eindeutig einer bestimmten Weiterbildungsmaßnahme zurechenbar und damit aus einer entsprechenden Kenngröße ablesbar.

Das Ziel, Weiterbildungserfolg in Geldeinheiten darstellen zu können, läuft in vielen Fällen Gefahr eine Wunschvorstellung zu bleiben, da der Nachweis der Kausalität problematisch ist. Beim Hinzuziehen von Kennzahlen ist deshalb entscheidend, dass sie auch tatsächlich das wiedergeben, was als Lernziel beziehungsweise Nutzen vorab definiert wurde und ihre Aussagekraft entsprechend relativiert wird und durch qualitative Beschreibung der Veränderung ergänzt werden (-> Bildungcontrolling). Entsprechende Kennzahlen zu finden ist vor allem bei weichen Weiterbildungsthemen, wie zum Beispiel Teamentwicklungsbedarfe schwierig. Häufig sind quantitativ nur indirekte Wirkungsmessungen möglich (bspw. Klimaanalyse). Ein weiteres Problem konkreter Nutzenzuschreibung in Bezug auf Verhaltenstrainings ist, dass das oftmals Training für eine Veränderung des Verhaltens nicht ausreicht. Verhalten ist kontextabhängig, das heißt beispielsweise mussten unter Umständen parallel organisatorische Prozesse, Kompetenzen und interne Kommunikationsregeln verändert werden, um im Arbeitsalltag eine erfolgreich und wahrnehmbare Verhaltensänderung zu ermöglichen.

In der Praxis dominiert in vielen Fällen eine pragmatische Vorgehensweise bei subjektiver Zuschreibung quantitativer Erfolge oder qualitativer Beschreibungen von Veränderungen. Die Berechnung von Korrelationen ist eher untypisch. Weitere Einflussgrößen, zum Beispiel Konjunkturentwicklung werden oft nicht eliminiert. Die in der Literatur beschriebene Errechnung eines konkreten Return on Investment (RoI) (Fitz-enz 2000) wird zwar auch in der Praxis gewünscht aber häufig als nicht praktikabel erachtet. Für eine Berechnung des RoI ist es notwendig, soweit wie möglich auch weiche Daten in Geldwerte umzurechnen. Wenn weiche Faktoren nicht in Geldwerten umgerechnet werden können, ohne an Glaubwürdigkeit zu verlieren, so können die Daten mit entsprechenden Erklärungen als Nutzen aufgelistet werden.

Abgesehen von der Notwendigkeit, zu unterschiedlichen Messzeitpunkten eine genauere Betrachtung der Weiterbildung vorzunehmen, gibt es unterschiedliche Modellparameter, die evaluiert werden können. Beispielsweise wird unterschieden zwischen

Teil- versus Gesamtevaluation (repräsentative Stichprobe oder Gesamterhebung),
Input- versus Outputevaluation (Input: Teilnehmer, Trainer, Trainingsmethoden (-> Training), Medien, Umfeld; Output: Lernzielerreichung),
Selbst- versus. Fremdevaluation (Selbst- vs. Fremdeinschätzung),
interne versus externe Evaluation und
vergleichende versus nicht-vergleichende Evaluation (mit und ohne Kontrollgruppe).

Welche Methoden für welche Weiterbildungsmaßnahme geeignet sind, hängt von den Maßnahmeninhalten selbst, deren Komplexität, und der Bedeutung ab, die diese Maßnahme für das Unternehmen hat. Der Aufwand der verschiedenen Evaluationsmethoden ist sehr unterschiedlich und muss unter dem Aspekt der Durchführbarkeit und Effizienz ausgewählt werden. Beispielsweise eignet sich eine Teilevaluation vor allem dann, wenn es darum geht, die Wirksamkeit einer Maßnahme zu messen. Geht es hingegen um die Überprüfung individueller Lernprozesse, so muss gesamthaft jeder Einzelfall genau betrachtet und dementsprechende Evaluationskosten akzeptiert werden.