Zurück zur ÜbersichtIdealtypischer Prozess - Evaluation und Streuung der Ergebnisse

Evaluationen unterstützen Sie dabei, Interventionen systematisch zu bewerten und Entscheidungen datenbasiert und objektiv zu treffen. Je nach Zielsetzung eignen sich unterschiedliche Evaluationsdesigns (z. B. Kontrollgruppen-Studien), Datenerhebungs-Methoden (z. B. Befragungen, Beobachtungsbögen) und Datenauswerte-Methoden (z. B. statistische Vergleiche von Gruppen) für Ihre Auswertung.

Im Zentrum der Evaluation steht häufig die Frage, ob eine Intervention eine Wirkung gezeigt hat (z. B. ältere Menschen sind physisch aktiver) und wenn ja, wie stark diese Wirkung war. Das ist aber nur eine von mehreren möglichen Fragen der Evaluation. Mit einer Evaluation können Sie auch Prozesse (z. B. Auswahl von Maßnahmen, Einbindung von älteren Menschen) während einer Intervention optimieren und Interventionen sachgerecht und partizipativ entwickeln.

Ein wichtiger Punkt ist, dass die Evaluation als fortlaufender Prozess betrachtet werden sollte und nicht als eine einmalige, im Nachgang an die Intervention erfolgenden Aufgabe 1.

Neben vielen weiteren Unterscheidungen werden Evaluationsansätze häufig in extern und intern differenziert:

• Externe Evaluationen (auch Fremdevaluation genannt) werden von Fachleuten (z. B. wissenschaftliches Institut, Evaluationsagentur) vorgenommen, die nicht den Akteurinnen und Akteure angehören, welche die Intervention konzipieren und leiten.
  Sie haben den Vorteil, dass keine subjektive Verzerrung bei der Bewertung der eigenen Intervention erfolgt, kosten aber unter Umständen mehr als interne Evaluationen.
• Interne Evaluation (auch Selbstevaluation genannt) wird von den Akteurinnen und Akteure selbst durchgeführt, welche die Intervention konzipieren und leiten. Hinweise zur internen Evaluation finden Sie auf der Website des Landeszentrums für Gesundheitsförderung Nordrhein-Westfalen: https://www.lzg.nrw.de/ges_foerd/qualitaet/leitfaden_selbstevaluation/index.html
  Interne Evaluationen unterliegen der Gefahr der subjektiven Verzerrung bei der Interpretation von Daten. Sie haben aber den Vorteil weniger zu kosten und auf Interna (z. B. der geplante aber noch nicht bekannte gegebene Bau eines Altenheimes für eine größeres Einzugsgebiet) zugreifen zu können, die externen Evaluationen gegebenenfalls verborgen bleiben.  

In der Prävention und Gesundheitsförderung sind für eine Evaluation Fragestellungen bedeutsam, die darauf abzielen, die Alltagswirksamkeit und -tauglichkeit von Interventionen zu beurteilen.

Folgender Fragekomplex sollte dabei beantwortet werden:

Evaluierungsmodelle

Zur Beantwortung dieses Fragekomplexes sind zwei Evaluierungsmodelle gut geeignet, um den Fragenkomplex zu beantworten. Die Modelle können sowohl für interne als auch externe Evaluationen angewendet werden.

Die beiden Modelle werden unter den Akronymen RE-AIM und PRISM geführt.

RE-AIM steht für Reach, Effectiveness – Adoption, Implementation und Maintenance 2. PRISM steht für Robust Implementation and Sustainability Model 3. Beide Modelle können für die Praxis als wichtige Orientierungen dienen, um Daten zu erfassen, mit denen verschiedene Elemente einer Intervention bewertet und somit förderliche und hinderliche Faktoren für die Zielerreichung identifiziert werden können. Auf Basis dieser Bewertung kann die Intervention kontinuierlich optimiert und nachhaltig gestaltet werden.

In der Tabelle 1 finden Sie neben kurzen Erläuterungen der Kernelemente der beiden Evaluierungsmodelle auch beispielhafte Operationalisierungen.

Wenn Sie eine Evaluation durchführen, dann listen Sie nicht nur Maßnahmen auf, die durchgeführt wurden. Dokumentieren und bewerten Sie den Kontext, das Programm und alle zugeordneten Aktivitäten Ihrer Intervention. Nur so sind Sie in der Lage, Programmelemente anzupassen, weiterzuentwickeln und gegenüber kommunalen Gremien (z. B. Stadt- oder Gemeinderat, Fachausschüsse wie der Umwelt-, Verkehrs-, Sozialausschuss), Dezernentinnen und Dezernenten, Förderquellen, Geldgebenden, der Zielgruppe und der Bevölkerung Rechenschaft über den Nutzen einer Intervention abzulegen. Letztlich können Sie auch nur so belegen, dass sich die Ausgaben für Ihre eigenes Wirken in der Kommune bezahlt machen.

Um die Alltagswirksamkeit und -tauglichkeit Ihrer Intervention zu evaluieren, können Sie die Kernelemente von RE–AIM und PRISM nutzen. Sie können auch Kosten-Nutzen-Analysen erstellen lassen. Dazu benötigen Sie in der Regel externe Unterstützung von Fachleuten auf dem Gebiet der Evaluation.

Falls Sie eine externe Evaluationsagentur beauftragen, sollte diese versichern, dass Sie nach den Kriterien der Deutschen Gesellschaft für Evaluation (DeGEval) arbeitet. Sie sollte einen dezidierten Evaluationsplan ausarbeiten, der zu Ihren Zielvorgaben passt und diesen Plan mit Ihnen abstimmen, bevor Daten erhoben werden. Vor allem nutzenorientierte Ansätze der Evaluation binden die Auftraggeberinnen und Auftraggeber eng in ihr Konzept und ihr Vorgehen ein. Solche Ansätze wollen den Nutzen der Intervention oder – besser – die praktische Verwertbarkeit der Ergebnisse für alle Beteiligten (z. B. Akteurin oder Akteur der kommunalen Gesundheitsförderung, politische Verantwortliche der Kommune, Gruppe der älteren Menschen, Kooperationspartnerinnen und -partner) beurteilen.

Tipp

DEVACHECK ist eine Online-Plattform, mit der Sie Ihre Präventions­projekte oder –maßnahmen dokumentieren können. Es bietet ebenfalls Unterstützung bei der Planung und Durchführung einer Evaluation, also einer Qualitäts- und Wirksamkeits­überprüfung von Projekten. DEVACHECK wurde insbesondere für Projekte, die eine zielgruppen- und setting­orientierte Prävention und Gesundheitsförderung adressieren, entwickelt. Diese Plattform kann von jedem sofort und kostenfrei genutzt werden. DEVACHECK ist aus einem gemeinsamen Projekt des Leibniz-Instituts für Präventions­forschung und Epidemiologie in Bremen -BIPS  und der Bundeszentrale für gesundheitliche Aufklärung (BZgA) entstanden.

www.devacheck.de

Evaluation

Entscheiden Sie zusammen mit der Steuerungsgruppe, welche Frage(n) Sie durch eine Evaluation beantworten wollen:

• Wollen sie wissen, ob und wie stark die Intervention wirkt (Evidenz)?
• Wollen Sie auch die Bedingungen kennen, warum die Intervention unter den gegebenen Bedingungen wirkt (Alltagswirksamkeit) oder auch, ob sie sich unter anderen Umständen und anderen Voraussetzungen wirkungsvoll realisieren lässt (Alltagstauglichkeit)?
• Wollen Sie Prozesse begleiten und ein Programm fortlaufend anpassen?
• Wollen Sie alle genannten Fragen beantwortet haben?

Wenn Sie sich für Evidenz entscheiden, wählen Sie Indikatoren für die outcomes nach der Z.W.E.R.G-Regel aus. Damit prüfen Sie die Wirksamkeit der Interventionen.

Entscheiden Sie sich für Alltagswirksamkeit und -tauglichkeit, können Sie nach der Logik von RE-AIM und PRISM verfahren. Operationalisieren Sie die Kernelemente und legen Sie die Instrumente fest, mit denen Sie die Kernelemente erheben wollen (z. B. Interview, Befragung, Dokumentenanalyse).

Streuung der Ergebnisse

Damit sich Ihre gesundheits- und bewegungsförderliche Kommune kontinuierlich weiterentwickeln kann, empfiehlt es sich, die Evaluationsergebnisse den Bürgerinnen und Bürgern, der politischen Akteurinnen und Akteuren sowie den beteiligten Entscheidungsträgerinnen und -trägern mitzuteilen.

• Stellen Sie den kommunalen Gremien die Ergebnisse der Evaluation vor. Diskutieren Sie mit den Repräsentantinnen und Repräsentanten der Kommune, was gut, was schiefgelaufen ist und warum und was geändert werden sollte. Erläutern Sie die Ergebnisse in möglichst einfachen Worten und motivieren Sie dazu, das Ziel eine bewegungsförderliche Kommune aufzubauen, weiterzuverfolgen.
• Nutzen Sie zusätzlich Formate, die geeignet sind, die Zielgruppe der älteren Menschen über die Evaluationsergebnisse zu informieren (z. B. Lokalzeitung, Amtsblatt der Gemeinde, Lokalradio/TV, Bericht auf einer Website, Informationsveranstaltungen im Seniorentreff).
• Für Außenstehende wäre es auch wünschenswert, die Ergebnisse außerhalb Ihrer Kommune einsehen zu können. Schließen Sie sich zum Beispiel dem WHO European Healthy Cities Network oder dem deutschen Gesunde Städte-Netzwerk an, um Ihre Erfahrungen mit anderen Akteurinnen und Akteuren zu teilen.

Berücksichtigen Sie bei der Aufbereitung der Ergebnisse die unterschiedlichen Zielgruppen. Orientieren Sie sich hierbei an vier Erfolgskriterien 6:

• Eine an das jeweilige Publikum angepasste Aufbereitung der Daten und Fakten ist zentral: Statistische Parameter, Tabellen und komplexe Grafiken taugen ebenso wenig für die Zielgruppe der älteren Menschen selbst, noch für die kommunalpolitischen Entscheiderinnen und Entscheider. Machen Sie es kurz, halten Sie es einfach und wiederholen sie die Fakten, die besonders wichtig sind.
• Der Zweck der Kommunikation ist wichtig: Wollen Sie sachlich über Ihre Ergebnisse informieren? Wollen Sie überzeugen, damit im Sinne Ihres Programmes entschieden wird? Oder wollen Sie kritisch über mögliche Verbesserungen Ihres Programms mit anderen reflektieren? Der Zweck legt das Format fest, er bestimmt die Medien und den Ton mit dem Sie berichten.
• Ihre Haltung ist entscheidend: Begreifen Sie alle am Prozess beteiligten als Partnerinnen und Partner. Respekt, Vertrauen und Befähigung sind geeignet, eine Win-Win-Situation zu schaffen, bei der alle durch die Zusammenarbeit profitieren können.
• Konzentrieren Sie sich auf das Wesentliche: Am besten, Sie bereiten alle wesentlichen Informationen auf einer Seite auf und stellen die Ergebnisse graphisch dar. Eine methodische Anleitung finden Sie beispielsweise in 7. Dies ist oft geeigneter als Vorträge mit vielen Folien.