1. Wieso ein Dialog zwischen Evaluierenden und Auftraggebenden?
Eine von Beginn weg gute Zusammenarbeit zwischen Evaluierenden und Auftraggebenden ist ein wichtiger Erfolgsfaktor für eine gelingende und wirkungsvolle Evaluation. Im Rahmen der Veranstaltung «Aus- und Weiterbildung in der Evaluation – Quo Vadis?» der Schweizerischen Evaluationsgesellschaft (SEVAL) im April 2022 (siehe auch den Werkstattbericht in LeGes 34 (2023) 1) wurde insbesondere die Qualifizierung von Auftraggebenden als dringlicher Bedarf identifiziert, um dies zu gewährleisten. Die AG Kompetenzen der SEVAL organisiert daher eine vierteilige Dialogreihe (siehe Abbildung 1) zur Förderung des Austauschs zwischen Auftraggebenden und Evaluierenden, zur Verbesserung ihrer Zusammenarbeit und zur Weiterentwicklung von Kompetenzen in verschiedenen Phasen einer Evaluation.
Abbildung 1: Dialogreihe
2. Wer hat an der ersten Dialogveranstaltung teilgenommen und was war der inhaltliche Fokus?
Die erste Veranstaltung wurde gemeinsam von den SEVAL Arbeitsgruppen Kompetenzen, Standards und Ausschreibungen organisiert. Evaluierende und Auftraggebende wurden eingeladen, sich als «Tandem» oder individuell zur ersten Dialogveranstaltung am 23.11.2023 am Zentrum für universitäre Weiterbildung der Universität Bern anzumelden. 16 Evaluierende und 15 Auftraggebende sind der Einladung nachgekommen, darunter 7 «Tandems». Der Fokus der Veranstaltung lag auf zentralen Aspekten bei der Erstellung des Pflichtenhefts, u.a.: Was kann ich von der Evaluation erwarten? Wie gehe ich vor, um Evaluationszweck, -gegenstand und -fragen zu bestimmen? Wie viel Zeit und Kosten muss ich einkalkulieren? An welchen Standards können wir uns orientieren? Welche Kompetenzen werden benötigt?
Die AG Standards verwies zu Beginn der Veranstaltung auf die SEVAL Standards mit besonderer Bedeutung bei der Erstellung von Pflichtenheften: A1 Ergebnisoffenheit und Unvoreingenommenheit, A4 Nutzungsorientierung, A5 Angemessenes Verhältnis von Aufwand und Nutzen, A6 Sicherstellung der erforderlichen Kompetenzen, A7 Qualitätssicherung, B1 Klärung von Gegenstand, Zweck, Evaluationsfragestellungen und Nutzung.
Interessant für die Teilnehmenden war auch die Vorstellung der AG Ausschreibungen. Diese wurde 2021 vor dem Hintergrund gegründet, dass es wiederkehrende Fragen rund um die Ausschreibung von Evaluationen und sozialwissenschaftlichen Studien gibt (z.B. Fristen, Art der Ausschreibung, Budget etc.) und dass der Umfang der Unterlagen für Ausschreibungen komplexer und umfangreicher wird. Die AG hat sich daher zum Ziel gesetzt, ein Vademecum für die Ausschreibung von sozialwissenschaftlichen Mandaten allgemein und von Evaluationen im Speziellen zu erstellen. Dieses Vademecum soll Handlungsspielräume bei Ausschreibungen aufzeigen, gute Beispiele nennen und Unterstützung bei Problemen bieten.
3. Welche Erfahrungen haben Evaluierende und Auftraggebende gemacht?
In Arbeitsgruppen wurden aus der jeweiligen Perspektive von Evaluierenden und Auftraggebenden sowohl positive Erfahrungen also auch Herausforderungen bei Ausschreibungen und explizit bei der Erstellung des Pflichtenhefts thematisiert. Tabelle 1 fasst die wesentlichen Aspekte zusammen.
| Pflichtenheft | |
| Positive Erfahrungen | Herausforderungen |
| - Gut ausbalanciert (nicht zu wenig, nicht zu viel vorgegeben) - präzise - so kurz wie möglich, so lang wie nötig - ein Kostendach, das Raum für Innovation und zusätzliche Leistungen lässt - zweckmässige und ausreichend umfassende Erläuterung des Gegenstands und des Kontextes der Evaluation - verständliche Evaluationsfragen, die im Einklang mit dem Budget stehen - Hinweise auf verfügbare Informationsgrundlagen (Daten, Dokumente, Studien, Literatur) - klarer Zeitplan - Vorhandensein eines Wirkungsmodells | - Unklarer Zweck der Evaluation, oder der dargelegte Zweck stimmt nicht mit den Erwartungen überein - Budgetrahmen nicht angegeben - Vorgaben zu Leistungen nicht präzise genug vs. zu ausführliches Pflichtenheft - Vorgabe von Methoden vs. Offenlassen - (zu) viele und detaillierte Evaluationsfragen (Dilemma zwischen Breite und Tiefer der Analyse, oft schwer, alles im Budgetrahmen unterzubringen) - unklare Fragestellungen - unrealistische Zeitpläne - zu hohe Ansprüche mit zu kleinem Kostendach - zu wenig Informationen |
| Prozess der Ausschreibung | |
| - Möglichkeit, telefonische Rückfragen zu stellen - gemeinsamer Prozess der Auftragsklärung zwischen Auftraggebenden und Evaluierenden - Responsivität der Ausschreibenden (Schnelligkeit, Gehalt, Tonfall) - Transparenz der Bewertungskriterien | - zu umfangreiche Formalitäten zum Verfahren und zu Eignungs- und Zuschlagskriterien - zu starre Orientierung an Leitlinien des BBL - fehlende Möglichkeit, Feedback von Evaluierenden vor einer Ausschreibung einzuholen - Verhältnis Preis/Leistung schwer abschätzbar/bewertbar |
Tabelle 1: Erfahrungen beim Pflichtenheft und Ausschreibungen
Ausserdem wurde von Teilnehmenden als grosse Herausforderung benannt, wenn vor dem Start des Programms keine Problemanalyse und kein Wirkungsmodell erstellt wurden oder diese ungenügend waren und wenn Ergebnisoffenheit ausdrücklich nicht gewünscht war, weil die Evaluation politisch motiviert war.
4. Welche Fragen konnten beantwortet werden?
Im Rahmen der Diskussion zu o.g. Erfahrungen wurden spezifische Fragen gestellt, auf die einige Antworten gefunden werden konnten:
Wie kann die Qualität der Pflichtenhefte verbessert werden?
Es braucht v.a. Zeit, um ein gutes Pflichtenheft zu erarbeiten. Oft herrscht Zeitdruck und das Pflichtenhaft ist widersprüchlich, damit sinkt die Qualität der Offerten. Es sollte einen Bezug zum Budget geben und die Auftraggebenden müssen wissen, welche Fragen beantwortet werden können und was methodisch mit welchen Ressourcen umgesetzt werden kann. Die Evaluierenden müssen klar zurückmelden, was möglich ist und was nicht.
Wer soll das Pflichtenheft schreiben? Die Person, die das Dossier betreut?
Zunächst sollte abgeklärt werden, welche Good Practices es ggf. in anderen Abteilungen der beauftragenden Organisation gibt. Ein Tandem aus Personen mit Fachwissen und mit Evaluationswissen wäre ideal, oder ein Sparring Partner, der/die einen anderen Blick auf das Dossier hat als der/die Projektverantwortliche.
Sind Kostendächer bei Evaluierenden gerne gesehen?
Grundsätzlich ja. Kein Kostendach zu haben erweckt den Eindruck, dass sich die Auftraggebenden wenig Gedanken gemacht haben.
Wie kommen die Auftraggebenden zu den Kostenschätzungen?
Beispielsweise hat das BAG interne Methodentabellen, die zeigen, wie viel man wofür etwa ausgehen muss (Durchführung von Interviews, Fokusgruppen, Workshops, Bericht etc.). Dafür müssen Auftraggebende aber klare methodische Vorstellungen haben.
Wie viel Offenheit verträgt ein Pflichtenheft?
Grundsätzliches muss klar geregelt sein (Gegenstand, Fragestellungen, Kostendach), aber es sollte genügend methodischen Spielraum geben. Pflichtenhefte, die nicht superkonkret sind, bieten mehr Raum für Kreativität.
5. Welches Zwischenfazit kann gezogen werden?
Die Veranstalter:innen ziehen ein positives Fazit der ersten von vier «Episoden» des Austauschs zwischen Evaluierenden und Auftraggebenden. Ein konstruktiver Dialog zu den Erfahrungen und Herausforderungen in der Startphase einer Evaluation aus der jeweils anderen Perspektive hat stattgefunden und zentrale Punkte, die auf dem Weg von der Evaluationsidee zum Pflichtenheft zu beachten sind konnten herauskristallisiert werden. Ein erster wichtiger Schritt zum gegenseitigen Verständnis, aber auch zur Wissenserweiterung bei Auftraggebenden in dieser entscheidenden Phase ist getan.
Schliesslich hat die AG Ausschreibungen Feedback und Inputs zu ihrem Produktentwurf eines Vademecums für Ausschreibungen erhalten, insbesondere zum Bedarf und den Themen, die ein Vademecum vorrangig ansprechen sollte. Bis Ende 2024 soll nun ein Entwurf erarbeitet, dieser mit dem Netzwerk der Bundesverwaltung diskutiert und das fertiggestellte Vademekum auf der SEVAL-Seite bereitgestellt werden.
Eine Zusammenfassung der Veranstaltung durch Teilnehmende kann HIER angeschaut werden (YouTube-Kanal der SEVAL).
6. Wie geht’s weiter?
Die nächste Episode «Vom Pflichtenheft zum Vertrag» folgt am 23.05.2024, von 17h bis 19h und anschliessendem Apero.
Veranstaltungsort: Zentrum für universitäre Weiterbildung, Universität Bern, Gebäude UniS, Schanzeneckstr. 1, Raum A-119.
Es sind alle Teilnehmenden der ersten Veranstaltung, aber auch neue Auftraggebende und Evaluierende herzlich eingeladen!
Anmeldung bis 13. Mai 2024 an: evaluation.zuw@unibe.ch
Dr. Stefanie Krapp leitet den Bereich Evaluation am Zentrum für universitäre Weiterbildung der Universität Bern und ist Mitglied der AG Kompetenzen der SEVAL.
Dr. Günter Ackermann ist selbstständiger Evaluator und Dozent am Institut für Public Health an der ZHAW. Er leitet die AG Kompetenzen der SEVAL.