Zurück zur Übersicht1. Was ist eigentlich eine Evaluation?
Erstellt durch: iSPO Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH
Stand: Februar 2023
Unter einer Evaluation sind die systematische Überprüfung und Bewertung einer Maßnahme, eines Angebots, Projektes oder auch eines umfassenderen Programmes zu verstehen. Aus der Perspektive einer Evaluation bezeichnet man die verschiedenen Formen dessen, was evaluiert wird als „Evaluationsgegenstand“, also beispielsweise Strukturen, Prozesse oder Ergebnisse von zielorientierten Aktivitäten sowie deren Planung und verschiedene Kontextbedingungen.
Aus der Perspektive der Umsetzung einer Maßnahme, eines Angebots, Projektes oder Programmes spricht man allgemein auch von einer „Intervention“.
Je nach Kontext werden im Leitfaden beide Begriffe verwendet, und zwar:
- Evaluationsgegenstand: Wenn es darum geht, alle Aspekte einer Maßnahme, eines Angebots, Projektes oder Programmes, die für eine Evaluation wichtig sind, methodisch korrekt zu beschreiben,
- Intervention: Wenn im Fokus steht, was in einer Maßnahme, einem Angebot, Projekt oder Programm konkret getan wird.
„Überprüfen und bewerten“ meint hierbei, dass verlässliche Aussagen darüber getroffen werden sollen, ob die Maßnahme, das Angebot, Projekt oder Programm im Sinne der Ziele, die dafür definiert wurden, erfolgreich war. Wichtig ist hierbei, dass schon zu Beginn der Evaluation festgelegt wird (und entsprechend transparent gemacht wird), anhand welcher Kriterien welche Aspekte des Evaluationsgegenstandes untersucht und bewertet werden sollen. Solche Kriterien können zum Beispiel sein,
- wie gut eine Aktivität hinsichtlich von Inhalt und Produkt umgesetzt wurde (Qualität der Projektumsetzung),
- wie gut eine Zielgruppe überhaupt erreicht wurde (Zielgruppenerreichung) oder
- wie gut es gelungen ist, die angestrebten Wirkungen zu erzielen (z. B. die Vermittlung von Wissen oder die Stärkung von Kompetenzen der Zielgruppe oder die Verhaltensänderung der Zielgruppe).
„Systematisch“ meint, dass die Bewertung auf empirisch gewonnenen Daten basiert. In jeder Form von Evaluation ist deshalb die Sammlung oder Erhebung von Daten sowie deren Auswertung notwendig, um eine möglichst zutreffende und objektive Bewertung des Evaluationsgegenstands sicherzustellen.
Je nachdem, welche Fragestellungen im Mittelpunkt einer Evaluation stehen und von wem eine Evaluation durchgeführt wird, lassen sich vier wichtige Typen von Evaluationen unterscheiden:
- Prozessevaluation
- Ergebnisevaluation
- Selbstevaluation
- Fremdevaluation
Eine Prozessevaluation konzentriert sich auf die Umsetzung des Evaluationsgegenstandes. Sie wird meist parallel zur Durchführung einer Intervention durchgeführt. Hauptzweck ist es, im Verlauf der Durchführung Erkenntnisse darüber zu gewinnen, wie die Umsetzung verbessert werden kann. Die Erkenntnisse sind deshalb primär für die Verantwortlichen und Durchführenden des Evaluationsgegenstands bzw. der Intervention von Nutzen.
Wirkungen spielen auch in der Prozessevaluation bereits eine Rolle. Hierbei geht es weniger darum, ob die angestrebten Ziele bereits während des Durchführungsprozesses erreicht werden. Wichtiger ist vielmehr, dass festgestellt werden soll, ob die Interventionen grundsätzlich geeignet sind, die erwünschten Wirkungen zu erzielen oder ob hierzu Änderungen der ursprünglichen Planung und Konzeption der Intervention notwendig sind.
Andere gängige Begriffe für einen Prozessevaluation sind begleitende oder formative Evaluation.
In einer Ergebnisevaluation liegt der Schwerpunkt auf Fragen nach der Erreichung der vorab festgelegten Ziele bzw. Wirkungen. Es wird also Bilanz darüber gezogen, was mit der Intervention verändert wurde und ob diese Veränderungen den formulierten Zielen entsprechen.
Eine Ergebnisevaluation wird in der Regel rückblickend am Ende eines Angebots, Projekts oder Programms durchgeführt. In diesem Fall werden sie auch Ex-post-Evaluation genannt.
Bei länger dauernden Interventionen werden auch zu verschiedenen Zeitpunkten Zwischenergebnisse bewertet. Dann vermischen sich die Funktionen einer (bilanzierenden) Ergebnisevaluation mit denen einer (formativen) Prozessevaluation (siehe Kapitel 1.1.).
Ergebnisevaluationen dienen häufig dazu, zu entscheiden, ob eine Intervention fortgeführt, verändert, ausgeweitet oder eingestellt werden soll.
Bei einer Selbstevaluation wird der Evaluationsgegenstand von den Personen evaluiert, die diesen selbst entwickelt haben und/oder diesen umsetzen. Alle Schritte der Evaluation werden von diesen Personen (zum Beispiel Projektmitarbeitenden) selbst durchgeführt, von der Planung der Evaluation, der Durchführung von Datenerhebungen bis zur Datenauswertung und dem Erstellen eines Ergebnisberichts. Auch der Frage, welche Schlüsse aus den Evaluationsergebnissen gezogen werden sollen, wird meist allein durch diese Personengruppe nachgegangen.
Ausnahmen zum letzten Punkt gibt es z. B. bei Projekten, die extern gefördert werden. Hier gehört eine Selbstevaluation manchmal zu den Förderbedingungen, und die Evaluationsergebnisse müssen der Förderinstanz in Berichten oder Verwendungsnachweisen bereitgestellt werden. In diesen Fällen liegt die Entscheidung über die Schussfolgerungen aus den Ergebnissen dann ggf. bei der Förderinstanz.
Mit einer Fremdevaluation oder externen Evaluation werden in der Regel Personen beauftragt, die weder zu den Personen gehören, die für den Evaluationsgegenstand verantwortlich sind, noch anderweitig an dessen Planung und/oder Durchführung beteiligt sind oder waren.
Meist werden hierfür freiberuflich tätige Evaluierende oder auch Evaluationsinstitute beauftragt.
In großen Organisationen mit eigenen Abteilungen für Evaluation, Controlling oder Qualitätsmanagement können Fremdevaluationen auch intern durch diese Organisationseinheiten im Rahmen einer „Inhouse-Evaluation“ realisiert werden.
Literatur und Quellen
Beywel, W., Bestvater, H. & Friedrich, V. (2011). Selbstevaluation in der Lehre. Ein Wegweiser für sichtbares Lernen und besseres Lehren. Münster, New York, München, Berlin: Waxmann-Verlag.
DeGEval - Deutsche Gesellschaft für Evaluation e.V. (Hrsg.) (2016). Standards für Evaluation. Erste Revision 2016. Mainz, 2017.
DeGEval - Deutsche Gesellschaft für Evaluation e.V. (Hrsg.) (2004). Empfehlungen zur Anwendung der Standards für Evaluation im Handlungsfeld der Selbstevaluation.
König, J. & Chilla, M. (2018). Das Konzept der Selbstevaluation. Qualitätsentwicklung durch Selbstorganisation im Alltagshandeln. In P. Hensen & M. Stamer (Hrsg.). Professionsbezogene Qualitätsentwicklung im interdisziplinären Gesundheitswesen. Gestaltungsansätze, Handlungsfelder und Querschnittsbereiche (S. 189–209). Wiesbaden: Springer Fachmedien Wiesbaden.
Hinweis
Wenn Sie ohne Registrierung fortfahren, werden Ihre Merklisten verworfen, sobald der Browser oder der Browsertab geschlossen wird.
Ich möchte mich neu registrieren