„Es geht um Wirkungen“
Die internationale Zusammenarbeit ist komplex und stetigem Wandel unterworfen. Deshalb muss die GIZ immer wieder prüfen und entscheiden, welche Ansätze wirken und welche nicht. Dafür schafft die Evaluierung die Voraussetzungen: Sie misst und bewertet und ermöglicht, daraus Lehren für die Zukunft zu ziehen. Wie sie genau funktioniert und was sie zur aktuellen Debatte über die Wirksamkeit der internationalen Zusammenarbeit beitragen kann, darüber reden Martha Gutiérrez von der GIZ und Jörg Faust vom DEval in einem Doppelinterview.
Die internationale Zusammenarbeit ist zuletzt in die Kritik geraten. Warum sind Evaluierungen in diesen Zeiten wichtiger denn je?
Martha Gutiérrez (MG) Die Öffentlichkeit hat ein berechtigtes Interesse zu erfahren, wohin ihr Steuergeld geht. Dieser Rechenschaftspflicht kommen wir mit den Evaluierungen nach. Sie zeigen, was die internationale Zusammenarbeit erreicht, was funktioniert und was nicht. Was gut funktioniert, gilt es auszubauen und zu replizieren. Aber manchmal zeigen uns Evaluierungen auch, dass wir bei der Lösung bestimmter Probleme in unseren Partnerländern auf dem Holzweg sind. Dann muss vor Ort umgesteuert werden. Aus den Evaluierungen entstehen Berichte, die wir transparent und allgemein zugänglich machen – auch dann, wenn Projekte schlecht beurteilt wurden. Außerdem werden die Berichte in andere Sprachen übersetzt, um diese Rechenschaft auch gegenüber Partnerregierungen sicherzustellen.
Jörg Faust (JF) Es gibt in Deutschland vermutlich kein Politikfeld, das so strukturiert und systematisch durchleuchtet wird wie die internationale Zusammenarbeit. Die traditionell starke Rolle der Evaluierung hängt damit zusammen, dass Steuergelder in oftmals schwierigen Kontexten außerhalb Deutschlands ausgegeben werden.
MG Jeder dritte Euro, den die GIZ für das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung umsetzt, wird nach internationalen Standards und unabhängig evaluiert. Im Schnitt beleuchten wir jährlich 80 Projekte weltweit. Dazu kommen Auswertungen zu einzelnen Sektoren oder Ländern, Spezialanalysen zu unternehmenspolitischen Themen und Evaluierungen für andere Auftraggebende. Mit dieser Anzahl an Evaluierungen stehen wir nach der Koreanischen Agentur für Internationale Zusammenarbeit weltweit an zweiter Stelle. Das bedeutet: Wir prüfen intensiv, ob wir mit den eingesetzten Mitteln tatsächlich die größtmögliche Wirkung entfalten.
DEval erforscht in seinem Meinungsmonitor regelmäßig die Einstellungen der Bevölkerung zur Entwicklungspolitik. Herr Faust, was ist das wichtigste Ergebnis der letzten Befragung? Und was bedeutet das für die Evaluierung?
JF Unser Meinungsmonitor spiegelt die aktuelle kritische Debatte wider. Die Unterstützung der Bevölkerung für einen gleichbleibend hohen oder steigenden Entwicklungsetat hat zwischen 2022 und 2024 um mehr als 20 Prozentpunkte abgenommen. Eine wichtige Erklärung dafür ist die als schlechter eingeschätzte eigene und staatliche Finanzlage. Vor diesem Hintergrund kann unabhängige Evaluierung die Effektivität und Glaubwürdigkeit des Politikfeldes verbessern. Dabei ist selbstbewusste Kommunikation wichtig, die Erfolge wie Fehler benennt und institutionalisiertes Lernen betont.
„Wirkungen erfassen, Wirkungen kommunizieren und aus Wirkungen lernen – das ist der Dreiklang der Evaluierung in der GIZ. Wir haben ihn als Kernprozess definiert, weil die drei eine Einheit bilden.“
Trotzdem ist immer wieder der Vorwurf zu hören, das System sei eine Blase, bei der eine befreundete Einheit eine andere durchleuchte …
MG In der Praxis zeigt sich ein anderes Bild: Die Evaluierungen werden von unabhängigen Gutachter*innen erstellt. Dafür findet alle drei Jahre eine europaweite Ausschreibung statt, bei der wir am Ende einen Pool von etwa 100 internationalen Evaluator*innen bilden. Diese arbeiten in Teams zusammen, auch mit lokalen Evaluator*innen. Zudem handelt unsere Stabsstelle unabhängig; sie ist direkt dem Vorstand unterstellt und nicht in das operative Geschäft der GIZ eingebunden. Wir koordinieren die Evaluierungen also nur, wir beeinflussen sie nicht. All diese Faktoren stellen sicher, dass wir am Ende methodisch saubere und unabhängige Bewertungen erhalten.
JF Die Evaluierungen in Deutschland folgen anerkannten Standards der OECD, nämlich den Kriterien Nachhaltigkeit, Relevanz, Kohärenz, Effektivität, Wirkungen und Effizienz. Der Rechnungshof hat das Evaluierungssystem der internationalen Zusammenarbeit 2021 unter die Lupe genommen; es gab keine Kritik im Hinblick auf Unabhängigkeit. Wo die Evaluierung noch besser werden kann, ist in der Kommunikation. Sie ist häufig zu technisch und manchmal auch jargonlastig – das gilt für das Politikfeld insgesamt.
Neben der Rechenschaftspflicht ist das Lernen aus Evaluierungen ein wichtiger Aspekt. Könnten Sie illustrierende Beispiele dafür anführen?
MG Dafür gibt es viele Beispiele, von denen wir eine Auswahl in diesem Bericht erläutert haben. So hat die GIZ etwa das Ägyptisch-Deutsche Komitee zur Förderung der erneuerbaren Energien, der Energieeffizienz und des Umweltschutzes unterstützt. Im Zuge der Evaluierung kam u.a. heraus, dass das eigene Wissensmanagement des Komitees verbessert werden könnte, um weniger auf externe Hilfe angewiesen zu sein. Daraufhin hat die Agentur mit der Unterstützung der GIZ nachgesteuert, Train-the-Trainer-Programme eingeführt, Handbücher geschrieben, Prozesse und Wissen besser dokumentiert – und wurde dadurch bei ihrer Arbeit wirksamer. Das ist ein gutes Beispiel für den Dreiklang der Evaluierungen bei der GIZ: Wirkungen erfassen, Wirkungen kommunizieren und aus Wirkungen lernen. Wir haben ihn als Kernprozess definiert, weil die drei eine Einheit bilden.
Zwei Einheiten – ein Ziel: Evaluierungen bei GIZ und DEval
Die Stabsstelle Evaluierung der GIZ untersucht die eigenen Programme und Projekte, hauptsächlich solche, bei denen das BMZ der Auftraggeber ist. Aber die GIZ evaluiert auch Projekte und Programme von anderen Auftraggebenden wie dem Auswärtigen Amt. Dabei ist die Stabsstelle nicht in das operative Geschäft der GIZ eingebunden; die Projekte werden von unabhängigen Evaluator*innen begutachtet. Das schafft die nötige Distanz für konstruktive Kritik. Demgegenüber evaluiert das DEval die deutsche Entwicklungszusammenarbeit. Das Mandat für seine unabhängige Evaluierungsarbeit stammt von der Bundesregierung. Zudem fragt es regelmäßig außen- und sicherheitspolitische Einstellungen in der Bevölkerung ab. DEval und GIZ stehen in ständigem Austausch, so dass sie voneinander profitieren und lernen. Ihre Tätigkeiten ergänzen sich.
Wie wichtig ist das Lernen durch Evaluierung, Herr Faust?
JF Evaluierung hat drei Funktionen: praktisch relevante Erkenntnisse schaffen, Rechenschaft legen und Lernimpulse geben. Oftmals findet das Lernen bereits während der Evaluierung statt und nicht erst am Ende. Das ist meist dann der Fall, wenn die Evaluierten das Ganze als Chance und weniger als Risiko begreifen. Zudem gilt: Auch von der Kontrollfunktion der Evaluierung können starke Lernimpulse ausgehen.
Frau Gutiérrez, wie funktioniert das in der GIZ? Wann werden Projekte evaluiert?
MG Wir nehmen eine Stichprobe, die etwa 40 Prozent der BMZ-Beauftragungen entspricht, aus Vorhaben, die innerhalb der nächsten eineinhalb Jahre zu Ende geführt werden. Wir wählen diesen Zeitraum, damit wir einschätzen können, ob und was erreicht wurde. Bis 2017 haben die Projekte ihre Evaluierungen selbst gesteuert. Das hat die GIZ damals geändert und sie zentralisiert, um die schon erwähnte Unabhängigkeit zu stärken. Die Projekte selbst arbeiten heute mit guten Monitoring-Systemen, um zu beobachten, ob die angestrebten Indikatoren erreicht werden oder nicht. Merken sie, dass etwas schiefläuft, steuern sie in der Regel um. Dadurch erzielen von der GIZ umgesetzte Projekte gute Gesamtbewertungen. Nur ein kleinerer Teil erhält das Urteil „nicht erfolgreich“. Und das, obwohl wir 2022 noch ein entscheidendes Qualitätsmerkmal zusätzlich eingebaut haben. Schneidet ein Projekt in einem der OECD-Kriterien Effektivität, Wirkungen und Nachhaltigkeit mit 4, 5 oder 6 auf einer mit Schulnoten vergleichbaren Sechserskala ab, gilt es insgesamt als erfolglos. Wir nennen diese drei deshalb K.-o.-Kriterien.
Die Projekte im Energiebereich schneiden im Vergleich zu anderen Sektoren besonders gut ab. Woran liegt das?
MG Das ist richtig. Die Durchschnittsnote liegt hier bei 1,97, während sie für alle evaluierten Projekte im aktuellen Berichtszeitraum insgesamt bei 2,50 lag. Ein wesentlicher Grund dafür ist: Wir reagieren hier direkt auf einen weitreichenden Bedarf der Partnerländer und der Wirtschaft. Sie brauchen für ihre weitere Entwicklung Energie, und das am besten klimafreundlich und ressourcenschonend. Das ist mittlerweile zum Teil billiger und macht unabhängiger von Energieimporten. Mit unseren Angeboten können wir hier gut ansetzen. Die Relevanz, die Effektivität und die Nachhaltigkeit sind in Energieprojekten vergleichsweise groß, weil Partnerländer und Unternehmen in die Projekte investieren und diese weiterführen. Das ist einer der Gründe für die gute Benotung.
„Kein anderes Politikfeld wird so strukturiert und systematisch durchleuchtet wie die Entwicklungszusammenarbeit.“
Müsste angesichts dieser Erkenntnisse nicht viel stärker in den Bereich Klima und Energie investiert werden?
JF Die Themen werden in der internationalen Zusammenarbeit auf absehbare Zeit von großer Bedeutung bleiben. Beim Zugang zu Energie im ländlichen Afrika bestehen neben Erfolgen noch Herausforderungen, etwa in Bezug auf den Zugang von benachteiligten Gruppen über dezentrale Netze oder auch hinsichtlich unserer Empfehlung, zusätzliche Mittel für gesundheits- und klimafreundliche Kochenergie bereitzustellen.
MG Aus meiner Sicht zeigen die Ergebnisse vor allem, dass internationale Zusammenarbeit wirkt, gerade im Energiesektor. Davon profitieren die Partnerländer, aber davon profitiert letztlich auch unsere Wirtschaft. Jeder zweite Euro wird in Deutschland im Export verdient.
JF Frau Gutiérrez spricht den wichtigen Punkt der Außenwirtschaft an. Seit den 2010er Jahren belegt eine Reihe von Studien, dass die internationale Zusammenarbeit Exporte der Geberländer begünstigt. Ökonom*innen der Universität Göttingen haben diesen Zusammenhang erst jüngst wieder bestätigt.
MG Die Frage nach dem Nutzen für die deutsche und europäische Wirtschaft ist erheblich, denn diese profitiert auch von mehr Klima- und Umweltschutz weltweit. Aber es geht nicht nur um wirtschaftliche Zusammenarbeit. Es geht uns um Wirkungen vor Ort: Bessere Verhältnisse für die lokale Wirtschaft und auch für die Menschen sind wesentlich in der internationalen Zusammenarbeit. Als GIZ wollen wir einen Beitrag für eine weltweit lebenswerte Zukunft leisten. Die Evaluierung zeigt uns, dass wir dazu tatsächlich beitragen, aber immer auch, wo wir noch besser werden können. Wir hören nie auf zu lernen.
