Rezension: Edgar Baumgartner, Sigrid Haunberger: Wirkungsevaluationen in der Sozialen Arbeit

In der Einleitung zeigen Edgar Baumgartner und Sigrid Haunberger mit dem Wirkungskompass, welcher vier Grundformen der Auseinandersetzung mit Wirkungsfragen unterscheidet, bereits bildlich auf, worum es ihnen mit ihrem Buch geht: um Orientierung und Entscheidungshilfe für die Praxis.

In einem ersten Kapitel werden recht ausführlich Grundlagen und Begriffe der Wirkungsevaluation vorgestellt und damit die Basis für die weiteren Kapitel gelegt. In einem Folgekapitel wird der Frage nachgegangen, weshalb Wirkungsevaluationen in der Sozialen Arbeit bedeutsam sind. Das dritte Kapitel thematisiert organisationale Bedingungen für gelingende Wirkungsevaluationen, wobei sowohl strukturelle Aspekte als auch die Evaluationskultur angesprochen werden. Das vierte Kapitel befasst sich mit der Eingrenzung und inhaltlichen Fokussierung von Evaluationen, indem auf unterschiedliche Evaluationsgegenstände und verschiedene Arten von Evaluationsfragestellungen eingegangen wird. Es folgt eine Übersicht über das Thema Wirkungsmodelle (Kap. 5): nach einführenden Erläuterungen werden unterschiedliche Arten von Wirkungsmodellen vorgestellt und Anwendungsfragen beleuchtet. Die Kapitel sechs und sieben fokussieren auf Wirkungsziele, wobei das Thema eng mit der Frage der Bewertung verknüpft wird und u.a. Bewertungsreferenzen, -kriterien und -massstäbe thematisiert werden. Anforderungen an Wirkungsziele und insbesondere die Operationalisierung derselben bilden weitere Schwerpunkte dieser beiden Kapitel. Bevor Methoden der Datenerhebung und Datenauswertung in Wirkungsevaluationen thematisiert werden, werden zu deren Einbettung Evaluationsansätze und -designs vorgestellt (Kap. 8). Es wird dabei zwischen positivistischen, theoriebasierten und interpretativen Evaluationsansätzen unterschieden. Anschliessend werden im neunten Kapitel quantitative und qualitative Erhebungsmethoden vorgestellt, mit einem knappen Überblick über Mixed Methods Designs und ein paar Worten zu Big Data und Verwaltungsdaten. In einem weiteren Kapitel werden Grundlagen der quantitativen und qualitativen Datenauswertung präsentiert – von der Datenaufbereitung über Analysetechniken bis hin zu einer Übersicht über einschlägige Software. Die Ausführungen zu quantitativer und qualitativer Analyse schliessen mit Hinweisen auf entsprechende Gütekriterien. Es folgt ein elftes Kapitel, welches sich mit der Darstellung und Nutzung von Evaluationsergebnissen befasst, wobei der Fokus auf der Strukturierung und Beurteilung von Evaluationsberichten liegt sowie auf der Frage, wie die Nutzung von Evaluationsergebnissen gesteigert werden kann, mit einem Verweis auf evidenzbasierte Soziale Arbeit. Das letzte Buchkapitel geht über die eigentliche Wirkungsevaluation hinaus, indem es Wirkungen mit investierten Ressourcen verbindet und einen Überblick über gängige Arten der Effizienzanalyse gibt, zur professionsspezifischen Verortung des Buches passend mit einem Unterkapitel zu Social Return on Investment (SROI) endend.

Die einzelnen Kapitel werden je mit einer Kurzzusammenfassung eingeleitet und mit einem etwas ausführlicheren Fazit abgeschlossen. Im Anhang befindet sich ein umfassendes Glossar mit zentralen Begriffen rund um Wirkung, Evaluation und deren Kombination, sowie ein Stichwortverzeichnis.

Wie der Titel vorgibt, will das Buch der Praxis der Sozialen Arbeit eine Orientierungshilfe im Bereich der Wirkungsevaluation sein. Genau das ist es auch, was es zu leisten vermag. Es bietet einen breiten Überblick über unterschiedliche Dimensionen der Wirkungsevaluation, von der Klärung zentraler Begriffe und Konzepte über Wirkungsmodelle, Wirkungsziele, die Planung von Evaluationen, Datenerhebungs- und auswertungsmethoden bis hin zur Valorisierung von Evaluationsergebnissen. Diese breite Auslegeordnung hilft dabei, sich in diesem aktuellen Themenfeld zu orientieren und eigene Evaluationsvorhaben richtig einzuordnen und zu reflektieren.

Das Buch verfolgt den Anspruch, sowohl wissenschaftlich fundiert zu sein als auch praxisorientiert. Es stützt sich umfassend auf die aktuelle Evaluationsliteratur ab, verwendet Begriffe, Theorien und Konzepte präzise, thematisiert Gütekriterien sozialwissenschaftlicher Forschung und bezieht sich auf die Evaluationsstandards der Schweizerischen Evaluationsgesellschaft SEVAL. Gleichzeitig bietet es mit einer Vielzahl von Checklisten, Praxisbeispielen und Leitfragen konkrete Hilfestellungen für die Praxis. Dadurch wird eine wertvolle Brücke zwischen Wissenschaft und Praxis geschaffen; allerdings werden auch Grenzen eines solchen Spagats deutlich. Fachleute aus der Praxis, an welche sich das Buch richtet, mögen durch die wissenschaftliche Sprache, die Vielfalt und Komplexität der vorgestellten Konzepte, sowie durch den Anspruch, sich fachlich selbst darin orientieren zu müssen, teilweise gefordert sein. Trotz seines logischen Aufbaus, den Praxishilfen und dem Wirkungskompass darf kein rezeptartiger Praxisleitfaden erwartet werden – dies scheint allerdings auch nicht der Anspruch des Buches zu sein.

Ein zweiter Spagat, welcher sich zeigt, ist jener zwischen thematischer Breite (Evaluation) und Fokus (Wirkungen). Weil sich Wirkungsfragen mit praktisch dem gesamten Spektrum an Evaluationsmethoden bearbeiten lassen, kommen der Autor und die Autorin nicht umhin, Evaluationsansätze sowie quantitative und qualitative Datenerhebungs- und Datenauswertungsmethoden sehr breit darzustellen. Dies bringt mit sich, dass sie die einzelnen Ansätze und Methoden (leider) nicht vertiefen können und deren Auswahl teilweise etwas willkürlich erscheint. Die breite Auslegeordnung, welche das Buch bietet, eignet sich zur Orientierung, und um Anregungen für weiterführende Vertiefungen zu erhalten. Im Unterschied zu allgemeinen forschungsmethodischen Fachbüchern werden die Methoden im vorliegenden Buch konsequent im Kontext von Evaluation und Wirkungsfragen thematisiert. Dies ist ein grosser Gewinn, den das Buch bietet.

Im Wissen darum, dass das Buch bereits recht umfangreich ist und eine Fülle an Ansätzen, Modellen und Methoden umfasst, hätte ich mir zwei Erweiterungen gewünscht: Zum einen hätte das Kapitel zu Evaluationsdesigns und -ansätzen um einige spezifische Ansätze ergänzt werden können, die sich – analog dem vorgestellten Ansatz der Realist Evaluation – explizit mit Wirkungsfragen und der Beurteilung von Wirkungszusammenhängen auseinandersetzen (z.B. Contribution Analysis, Process Tracing, Qualitative Comparative Analysis). Zum anderen hätte das kurze Kapitel zu Mixed Methods angesichts der Bedeutung entsprechender Ansätze in der Evaluationspraxis und angesichts des Potenzials von Mixed Methods zur Beurteilung von Wirkungszusammenhängen und zur Plausibilisierung von Wirkungen etwas ausgebaut werden können.

Das Buch ermöglicht der Leserschaft mit einem klaren Aufbau, dem Wirkungskompass sowie den praktischen Kurzzusammenfassungen und Fazits zu den einzelnen Kapiteln, gut durch die Vielfalt an Themen zu navigieren. Auch das Glossar unterstützt das Sich-Zurechtfinden. Trotz seiner Dichte liest sich das Buch verhältnismässig leicht, was neben dem guten Aufbau der kohärenten Darstellung der verschiedenen Aspekte der Wirkungsevaluation geschuldet ist.

Obwohl das Buch thematisch in der Sozialen Arbeit verortet ist, kann es weit über diesen Bereich hinaus als fundierte Grundlage für Wirkungsevaluationen empfohlen werden. Es gibt einen breiten Überblick über das Thema Wirkungsevaluation und eignet sich insbesondere für Fachleute an der Schnittstelle zwischen Theorie und Praxis. Es bietet Evaluierenden, Auftraggebenden von Evaluationen sowie Evaluationsverantwortlichen in Organisationen eine wissenschaftlich fundierte Orientierung für die Auseinandersetzung mit Fragen der Wirkungsevaluation. Darüber hinaus dürfte es Studierenden und interessierten Fachleuten den Einstieg ins Feld der (Wirkungs-)Evaluation erleichtern.

Dr. Günter Ackermann, selbständiger Berater, Qualität & Evaluation sowie Dozent am Institut für Public Health, Zürcher Hochschule für angewandte Wissenschaften ZHAW, Winterthur.