Zurück zur Übersicht9. Wann ist eine Evaluation eine gute Evaluation?

Das Qualitätskriterium der Genauigkeit erfordert, dass die Ergebnisse einer Evaluation möglichst wissenschaftlich fundiert, verlässlich (reliabel) und präzise (valide) sein sollen. Im Fokus stehen also die wissenschaftlichen Qualitätsmerkmale, denen eine Evaluation genügen sollte. Auch wenn eine Selbstevaluation diesen Kriterien nicht in gleicher Weise genügen muss wie Evaluationen, die von wissenschaftlich ausgebildeten externen Expertinnen und Experten durchgeführt werden, sollten sie als Richtschnur für die Planung und Umsetzung der Selbstevaluation dienen.

Zu den Kriterien der Genauigkeit gehören im Einzelnen folgende Aspekte:

• Der Evaluationsgegenstand soll mit seinen Elementen genau und umfassend beschrieben und dokumentiert werden. Hierzu gehören auch die Rahmenbedingungen und der Kontext, in dem der Gegenstand umgesetzt wird.
• Zwecke, Fragestellungen, Methoden und Ablauf der Evaluation sollen genau dokumentiert und beschrieben werden.
• Die Informationsquellen, die genutzt werden, sollen genau dokumentiert werden, damit die Verlässlichkeit und Angemessenheit der Informationen eingeschätzt werden können.
• Erhebungsverfahren und Datenquellen sollen so gewählt werden, dass die Evaluationsfragestellungen mit ihnen möglichst verlässlich beantwortet werden können.
• Alle gesammelten, aufbereiteten, analysierten und präsentierten Informationen sollen systematisch auf Fehler geprüft werden.
•  Qualitative und quantitative Informationen sollen möglichst systematisch analysiert werden.
• Da eine Evaluation immer auch wertende Aussagen trifft, soll klar und transparent gemacht werden, aufgrund welcher Kriterien welche Bewertungen getroffen werden (z .B. aufgrund von Zielwerten, die erreicht oder nicht erreicht wurden oder aufgrund positiver oder negativer Rückmeldungen der Zielgruppe einer Intervention).
• Schlussfolgerungen sollen direkt und nachvollziehbar mit den erhobenen und analysierten Daten begründet wer­den.

Beim Kriterium der Fairness steht der Aspekt des Umgangs zwischen allen Stakeholdern einer Evaluation im Mittelpunkt. Nach den Standards für Evaluation bedeutet dies:

• Evaluationen sollen so geplant und durchgeführt werden, dass Rechte, Sicherheit und Würde der in eine Evaluation einbezogenen Personen geschützt sind.
• Evaluationen sollen die Stärken und die Schwächen des Evaluationsgegenstandes möglichst fair und umfassend prüfen und darstellen.
• Die Evaluation beachtet unterschiedliche Sichtweisen auf den Gegenstand und die Ergebnisse. Der gesamte Evaluations­prozess sowie die Evaluationsberichte sollen die unparteiische Position der Evaluierenden erkennen lassen.
• Evaluationsergebnisse und -berichte sollen allen Stakeholdern so weit wie möglich zugänglich gemacht werden.

Bei der Planung und Durchführung einer Evaluation sollte die Frage der Machbarkeit immer als Prüfkriterium mitbedacht werden. Dies bedeutet z. B., dass auch die Frage, wie viele Ressourcen für eine Evaluation zur Verfügung stehen, mitbe­stimmt, welche Methoden zur Datenerhebung angewendet werden können.

Vor diesem Hintergrund ist es das Ziel, jeweils die bestmöglichen Lösungen zwischen wissenschaftlich-methodischen Qualitätsansprüchen und dem realistisch Machbaren zu finden.

Letztlich geht es darum, dass der Aufwand für Evaluation in einem angemessenen Verhältnis zum Nutzen der Evaluation stehen sollte und dass Evaluationen so geplant und durchgeführt werden, dass eine möglichst hohe Akzeptanz aller Stakeholder in Bezug auf Vorgehen und Ergebnisse der Evaluation erreicht werden kann. 

Die Akzeptanz von Evaluationen hängt stark damit zusammen, dass sie denjenigen, die sie beauftragen oder für die sie durchgeführt werden, einen Nutzen bringt.  

Evaluationen sollten sich deshalb eng an den Informationsbedarfen und Erkenntnisinteressen von Auftraggebenden sowie ggf. weiteren vorgesehenen Nutzerinnen und Nutzern der Evaluationsergebnisse sowie insbesondere an den Bedarfen der Zielgruppen orientieren.