Zurück zur Übersicht4. Was gehört zu einer Evaluation?

Bei der Planung einer Evaluation sollte klar benannt werden, welche Fragen durch die Evaluation beantwortet werden sollen. Zur Formulierung von Evaluationsfragen kann es hilfreich sein, sich an allgemeinen Evaluationskriterien zu orientieren. Die wichtigsten Kriterien für Evaluationen sind:

• Effektivität (Wollen Sie wissen, ob und wie stark die Intervention wirkt?)
• Relevanz (Wollen Sie wissen, ob Sie mit Ihrer Intervention überhaupt das Richtige tun, um die angestrebten Wirkungen zu erreichen?)
• Effizienz (Wollen Sie wissen, ob sich der Aufwand gelohnt hat oder ob es vielleicht auch andere weniger aufwändige Möglichkeiten gegeben hätte bzw. gibt, um die angestrebten Wirkungen zu erreichen?)
• Nachhaltigkeit (Wollen Sie wissen, wie es zu schaffen ist, dass Sie nicht nur kurzfristig etwas mit Ihrer Intervention bewirken, sondern die Wirkungen weiter bestehen bleiben?)

Diese übergeordneten Kriterien und Evaluationsfragen werden dann meist in weiteren genaueren Fragen präzisiert. Zur Effektivität könnte z. B. noch genauer gefragt werden:

• Gibt es bestimmte Bedingungen, unter denen die Intervention besser oder schlechter wirkt?
• Welche Gründe finden sich, warum Wirkungen nicht wie erwünscht eingetreten sind?
• Müssen bei der Zielgruppe vielleicht bestimmte Voraussetzungen erfüllt sein, damit die Intervention bei ihr wirkt?
• Wie kann die Interventionen verändert werden, dass mehr oder bessere Wirkungen erzielt werden?

Genauere Fragen zur Relevanz könnten sein:

• Gibt es Belege für den Bedarf der Intervention?
• Findet die Intervention auch tatsächlich dort statt, wo der Bedarf besteht und damit die Zielgruppe zu finden ist?
• Ist genug über die Zielgruppe bekannt, damit die Intervention ihre Lebenssituation, Bedürfnisse, Teilnahmebarrieren etc. angemessen berücksichtigen kann?

Mögliche Fragen zur Effizienz könnten sein:

• Wie ist das Verhältnis zwischen dem Aufwand, der für die Umsetzung einer Intervention betrieben wird, und den erzielten Wirkungen zu bewerten?
• Können andere weniger aufwändige Umsetzungsmöglichkeiten identifiziert werden, um die angestrebten Wirkungen zu erreichen?
• Könnten Ressourcen kostengünstiger, etwa durch den Einsatz Ehrenamtlicher, bereitgestellt werden?

Fragen zur Nachhaltigkeit sind z. B.:

• Bei einer erwiesenen Wirksamkeit der Intervention: Sind die notwendigen Ressourcen zur Umsetzung längerfristig gesichert? Gibt es Modelle zur Weiterfinanzierung, wenn z. B. Projektfördermittel wegfallen?
• Sind die von einer Intervention erzielten Wirkungen auch noch eine bestimmte Zeit (z. B. ein Jahr) nach Ende der Intervention noch feststellbar?
• Welche Gründe lassen sich identifizieren, warum die Wirkungen bei manchen Personen der Zielgruppe dauerhaft stabil sind, bei anderen hingegen nicht?
• Welche Voraussetzungen sind notwendig, damit die erreichten Wirkungen bei einer Zielgruppe auch dann bestehen bleiben, wenn eine Intervention beendet wurde?
• Wenn diese Voraussetzungen nicht vorhanden sind, gibt es Möglichkeiten, sie zu schaffen?

Maßnahmen, Projekte oder Programme werden durchgeführt, weil mit ihnen etwas verändert werden soll. Solche Veränderungen können z. B. sein,

• dass einer bestimmten Gruppe von Menschen Wissen oder Kompetenzen vermittelt werden, die sie vorher noch nicht hatten.
• dass Menschen durch eine Intervention ihr Verhalten ändern (sich z. B. mehr bewegen).
• dass sich an der Lebenssituation von Menschen, an die die Intervention sich richtet, etwas zum Positiven verändert (z. B. dass sie wieder gesünder, fitter und aktiver sind).

Diese angestrebten Veränderungen werden in einer Evaluation Veränderungsziele oder Wirkungsziele genannt. Ein weiterer häufig verwendeter englischer Begriff hierfür ist Outcome.

Die Wirkungsziele des Evaluationsgegenstands sind ein sehr zentraler Aspekt einer Evaluation. Nur wenn sie möglichst genau formuliert sind, kann mit einer Evaluation überprüft werden, ob die angestrebten Veränderungen (= Wirkungen) tatsächlich erreicht wurden. Für die Formulierung eines Wirkungsziels sollten deshalb bestimmte Kriterien beachtet werden. Am bekanntesten und gut geeignet sind hierfür die SMART-Kriterien.

Besonders wenn eine Evaluation etwas über die Effektivität einer Intervention aussagen will, ist es notwendig zu klären, ob und wie die Intervention und ihre einzelnen Elemente mit der angestrebten Wirkung zusammenhängen (Evaluationsfrage: Bewirkt eine Maßnahme das, was sie bewirken soll?).

Zu diesem Zweck wird in einem Evaluationsprozess eine Wirkungslogik (auch Wirklogik genannt) erstellt. Mit ihr werden die einzelnen Elemente der Intervention z. B.

• die Informationen zu einem Bewegungsangebot,
• die Umsetzung des Angebots selbst,
• die Weitergabe weiterer Informationsmaterialien zu einer gesunden Lebensweise,
• evtl. die persönliche Beratung von Teilnehmenden) mit den angestrebten Wirkungszielen in einen (ursächlichen oder kausalen) Zusammenhang gebracht.

Solche Wirkungslogiken werden häufig in visueller Form dargestellt. Neben dem Begriff der Wirkungslogik werden auch die Begriffe Wirkungsmodell, Logframe, Logisches Modell, Theory of Change, Programmlogik oder Wirkungskette verwendet. Ein gut geeignetes Hilfsmittel, um eine Wirkungslogik darzustellen, ist die Wirkungstreppe.

Indikatoren helfen dabei, feststellen („messen“) zu können, ob Wirkungsziele erreicht wurden. Mit ihnen wird festgelegt, welche Informationen (Daten) gebraucht werden, um Wirkungen erfassen zu können.

Grundsätzlich gibt es zwei Arten von Indikatoren: direkte und indirekte Indikatoren.  

• Direkte Indikatoren messen einen unmittelbar beobachtbaren Sachverhalt, z. B. die Anzahl der Personen, die an einem Bewegungsangebt teilnehmen.
• Indirekte Indikatoren dienen demgegenüber der Messung eines Sachverhaltes, der gar nicht oder nur schwierig beobachtbar ist. Ein Beispiel dafür ist die Messung des Gesundheitsbewusstseins von Personen, die an einem Bewegungsangebot teilgenommen haben. Diese Wirkung der Teilnahme am Bewegungsangebot kann nicht direkt beobachtet werden, sondern muss von den Personen erfragt werden (als Indikator könnte z. B. der Anteil der Teilnehmenden ermittelt werden, die in der Befragung vier Wochen nach Ende des Angebotes angeben, dass sie sich seitdem mehr mit dem Thema einer gesünderen Lebensweise beschäftigen).

Nachdem mit Indikatoren (siehe Kapitel 4.4.) bestimmt wurde, welche Daten gebraucht werden, um die Evaluationsfragen zu beantworten, stellt sich als nächstes die Frage, wie diese Informationen gewonnen werden können. Es geht also um Daten­quellen und Instrumente zur Datenerhebung.

Grundsätzlich wird zwischen Dokumentationsinstrumenten sowie quantitativen und qualitativen Instrumenten zur Daten­erhebung unterschieden.

Weitere Methoden Daten zu gewinnen, die qualitative und quantitative Elemente enthalten können, sind z. B. direkte Beobachtungen oder kreative Methoden wie etwa die Zielscheibenmethode in Gruppenkontexten.

Nachdem die Daten mit verschiedenen Instrumenten erhoben wurden (siehe Kapitel 4.5.), müssen die Daten ausgewertet werden, um die Evaluationsfragen beantworten zu können. Die Frage, welche Daten zu welchem Zweck und auf welche Weise auszuwerten sind, hängt also direkt mit den Evaluationsfragen (siehe Kapitel 4.1.), den Wirkungszielen (siehe Kapitel 4.2.), die überprüft werden sollen, und den Indikatoren (siehe Kapitel 4.4.), die festgelegt wurden, zusammen.  

Je nach Datenart, wird unterschieden zwischen der Auswertung quantitativer Daten und der Auswertung qualitativer Daten.

Lernen ist eine der Hauptfunktionen, die eine Evaluation haben sollte. In dieser Funktion sollen die Ergebnisse einer Evaluation vor allem dazu dienen, Erkenntnisse entweder zur Verbesserung der Intervention selbst während ihrer Umset­zung (vgl. Kapitel 1.1. „Prozessevaluation") oder zur Planung nachfolgender, neuer Interventionen zu gewinnen.

Aus den Ergebnissen einer Evaluation lernen kann aber natürlich ebenso bedeuten, dass man zu der Erkenntnis gelangt, dass man eine Intervention aufgrund einer guten Wirksamkeit unverändert weiterführt oder im gegenteiligen Falle, dass man sie ganz beendet. Diese Aspekte des Lernens werden bei Evaluationen allerdings eher unter der Erkenntnisfunktion zusammengefasst (vgl. Kapitel 2.).

Um die Möglichkeit, aus einer Evaluation für laufende oder zukünftige Interventionen zu lernen, ausschöpfen zu können, ist es besonders wichtig, andere Personen miteinzubeziehen. Hierfür kann man z. B. Auswertungsworkshops organisieren, um Evaluationsergebnisse im Dialog mit anderen gemeinsam zu interpretieren. Geeignete hierfür könnten etwa Personen sein, die:

• an der Planung Ihres Projekts (und/oder der Evaluation) mit beteiligt waren (z. B. andere Mitarbeitende der Gemeinwesenarbeit) oder
• Ihr Projekt mitfinanziert haben (z. B. Vertreterin/Vertreter des Gesundheitsamts) oder
• woanders ein ähnliches Projekt umsetzen (z. B. aus einem Sportverein) oder
• die Zielgruppen und deren Lebenssituation gut kennen (z. B. jemand aus einer Moscheegemeinde oder einem Kulturverein) oder
• selbst zur Zielgruppe gehören (also ältere Personen und/oder Teilnehmende am Angebot) oder
• Expertinnen/Experten für das Thema des Projekts und/oder die Zielgruppe sind (z. B. Ärztinnen und
• Ärzte mit Schwerpunkt Gesundheitsprävention/Geriatrie).

Leitende Fragen für eine dialogische Interpretation der Evaluationsergebnisse sollten bereits in der Planung der Evaluation als Evaluationsfragen (siehe Kapitel 4.1.) festgelegt werden. Diese sind z. B.

• Welche Aspekte einer Intervention leisten einen besonders positiven Beitrag zur angestrebten Wirkung?
• Welche Gründe lassen sich finden, warum Wirkungen nicht so wie erwartet eingetreten sind?
• Welche Aspekte oder Merkmale haben es bei Personen der Zielgruppe eher erleichtert oder erschwert, dass Wirkungen erzielt wurden?
• Können die Erkenntnisse auf andere Situationen oder Gegebenheiten übertragen werden oder sind sie nur unter ganz bestimmten Bedingungen gültig?

Zu einer Evaluation gehört es auch, anderen über die Ergebnisse der Auswertungen und die Antworten auf die Evaluations­fragen zu berichten.  

Evaluationsberichte können in mündlicher Form (dann meist unterstützt durch eine Visualisierung in einer begleitenden Präsentation) und/oder in schriftlicher Form erstellt werden. Die konkrete Struktur und inhaltlichen Schwerpunkte werden durch den primären Zweck der Evaluation und die Evaluationsfragen bestimmt.  

Mit der Streuung der Ergebnisse werden die eigenen Erkenntnisse anderen, die sich für das gleiche Thema engagieren, ähnliche Ziele verfolgen und vielleicht etwas Ähnliches umsetzen wollen, transparent und zugänglich gemacht. Hierdurch ermöglicht man ihnen u. a., die Wirkungschancen eigener Vorhaben von Beginn an besser einzuschätzen und Interventionen besser wirkungsorientiert zu planen. Eine Berichterstattung ist deshalb auch die Voraussetzung dafür, dass eine Evaluation zum gemeinsamen Lernen genutzt werden kann.

Auch für die Legitimation einer Intervention ist die Streuung der Evaluationsergebnisse von Bedeutung. So machen Evaluations­­berichte z. B. auch Entscheidungsträgerinnen und -trägern und politischen Verantwortlichen in einer Kommune, aber ebenso Menschen der Zielgruppe transparent und nachvollziehbar, warum Maßnahmen implementiert werden bzw. zukünftig nicht mehr weiterverfolgt werden.

In der Regel enthält der Evaluationsbericht eine Beschreibung aller Schritte, die in der Planung und Umsetzung einer Evaluation relevant sind. Die im Kapitel 6 „Ablauf einer Evaluation“ beschriebenen neun Evaluationsschritte stellen die grundlegende Gliederung eines Evaluationsberichts dar. 

Realistische Ansprüche

Im Prinzip gelten für eine Selbstevaluation alle Beschreibungen und Anforderungen, wie sie in diesem Leitfaden allgemein für Evaluationen dargestellt werden. Dennoch gibt es einige Besonderheiten zu beachten.

Wichtig für eine Selbstevaluation – meist mit begrenzten Ressourcen – ist:

• Anders als bei einer beauftragten Fremdevaluation durch professionelle Evaluierende, geht es bei ihr nicht vorrangig darum, höchsten wissenschaftlichen Ansprüchen zu genügen.
• Die in diesem Leitfaden beschriebenen Aufgaben, Anforderungen und Kriterien für eine Evaluation, sollten in einer Selbstevaluation vor allem als Richtschnur und Orientierung beachtet und umgesetzt werden. Viel mehr als bei Fremdevaluationen geht es darum, in den jeweiligen Schritten der Selbstevaluation pragmatisch die bestmög­lichen und realistisch machbaren Lösungen zu finden. In den Praxisbeispielen des Leitfadens werden hierzu Vorschläge gemacht.

Vor- und Nachteile

Mit einer Selbstevaluation sind grundsätzlich sowohl Vor- als auch Nachteile verbunden.

Die Vorteile der Selbstevaluation sind, dass die Akteurinnen und Akteure umfangreiches Hintergrundwissen über die Intervention haben und auch ihre Organisation und die Rahmenbedingungen ihrer Intervention gut kennen. Sie verfügen also über ein Insiderwissen, dass sich externe Evaluierende erst erfragen müssen und im Zweifelsfall nicht erhalten.

Ein möglicher Nachteil bzw. ein Risiko einer Selbstevaluation besteht darin, dass es schwierig sein kann, alle Aspekte der eigenen Intervention objektiv und kritisch zu betrachten und zu bewerten. Manche Aspekte werden möglicherweise auch als selbstverständlich angenommen, da sie nicht als relevant für die Bewertung wahrgenommen werden (Gefahr der „blinden Flecke“). Ein weiterer Nachteil kann sein, dass die Darstellung der Ergebnisse (etwa um Fördermittel zu erhalten) durch
Außenstehende weniger ernst genommen wird, da eine fehlende Objektivität und Neutralität der Bewertungen angenommen wird. In diesem Fall ist eine Selbstevaluation gegenüber einer Fremdevaluation nur eingeschränkt die richtige Wahl (wenn es eine Wahlmöglichkeit gibt). Zur Selbstreflexion des eigenen Handelns ist die Selbstevaluation in jedem Fall geeignet.