"Wir sind nicht zum Erbsenzählen gekommen"


Verbessern die Hilfsprojekte von Menschen für Menschen die Lebenssituation der Bevölkerung nachhaltig? Sind die Aktivitäten, die gemeinsam mit den Menschen umgesetzt werden, adäquat und tragfähig? Die Überwachung der eigenen Arbeit durch fortlaufendes Monitoring und regelmäßig durchgeführte Evaluierungen ist für Menschen für Menschen ein wichtiges Instrument, um zu überprüfen, ob die Projekte die gesteckten Ziele erreichen oder ob Maßnahmen angepasst und weiter verbessert werden können. Im Oktober 2013 führten die entwicklungspolitische Gutachterin und Anthropologin Annette Schmidt und ihr äthiopischer Kollege, Agrarwissenschaftler Girma Mengistu von der Beratungsorganisation FAKT, im Auftrag der Stiftung eine Evaluierung in den Projektgebieten Borena und Ginde Beret durch.

Interview mit Annette Schmidt: von Nina Roggenbuck-Bauer

Sie haben vier Wochen in Äthiopien verbracht und vier Projektregionen von Menschen für Menschen besucht. Wie ist Ihr Eindruck?
Ich habe einen sehr guten Eindruck von der Arbeit der Stiftung gewonnen. Die Projekte sind gut geplant und entsprechen mit ihren vielfältigen Aktivitäten den Bedürfnissen der Bevölkerung. Dies haben alle Befragten übereinstimmend bestätigt. Die technischen Ausführungen sind von hoher Qualität.

Wenn die Projekte alle so gut laufen – wozu braucht es dann eine Evaluation?
Evaluierung ist heute ein essentieller Bestandteil moderner Entwicklungszusammenarbeit – es gehört einfach dazu. Und obwohl wir die Projekte für sehr gut halten, haben wir viele Vorschläge gemacht, wie sie noch besser laufen könnten – angefangen von kleinen Details wie Wasserhähne bei den Schullatrinen bis hin zu umfassenden Aspekten wie die Themen Gender. Wie Robert Bosch schon sagte: "Wer aufhört, besser zu werden, hat aufgehört, gut zu sein!"

Müssen alle Empfehlungen eines Evaluationsberichtes umgesetzt werden?
Nein, ich gehe nicht davon aus, dass alle Empfehlungen umgesetzt werden. Das wäre sogar unmöglich. Aber es ist sinnvoll, sich ernsthaft damit auseinander zu setzen und Themen nicht vom Tisch zu wischen. Alle relevanten Personen sollten an diesen Diskussionen beteiligt sein, nicht nur die Geschäftsführer. Dann sollte man sich Schritt für Schritt überlegen, was ist für die Organisation machbar ist, wohin wollen wir uns weiter entwickeln, steigen wir z.B. in das Thema Förderung von Kleingewerbe ein oder nicht.

Gab es ein Ergebnis, das Sie überrascht hat?
Als ich in den Projektunterlagen gelesen habe, dass sich die Qualität des Unterrichts durch die von Menschen für Menschen gebauten Schulen verbessert haben soll, schien mir das übertrieben. Gemeinhin geht man davon aus, dass die Qualität der Lehre und nicht die Ausstattung der Schule den Lernerfolg bestimmt. Allerdings ist es wohl so, dass viele Lehrerinnen und Lehrer um eine Versetzung an eine der neu gebauten Schulen ersuchen und die neuen Räumlichkeiten einen Motivationsschub beim Lehrpersonal und den Schülerinnen und Schülern auslösen. Das ist sehr nachvollziehbar, wenn man sich die baufälligen, dunklen alten Schulen anschaut. Also ist es tatsächlich  vorstellbar, dass sich sogar der Unterricht verbessert – das hat mich überrascht.

Sie waren vor der Evaluation noch nie in Äthiopien. Wie können Sie Ihnen unbekannte Entwicklungsprojekte beurteilen?
Gute Frage. Ich bringe einen großen Erfahrungsschatz in der Evaluierung von Projekten im Bereich der Entwicklungszusammenarbeit mit. Daher kann ich einschätzen, wie gut die Planung ist und was mit einer bestimmten Summe in einem bestimmten Zeitraum erreicht werden kann – und was eben auch nicht zu erreichen ist. Ich ziehe außerdem Vergleiche zu anderen Projekten und stelle viele Fragen. Aber ohne meinen lokalen Kollegen, der mir immer wieder Hintergründe erklärt hat, wäre alles viel schwieriger gewesen.

Wonach werden die Gutachter für eine Evaluation ausgesucht? Wie wird ein Evaluationsteam zusammengestellt?
Die Gutachter sollten über eine großen Erfahrungsschatz in der Evaluierung verfügen und außerdem profunde Monitoring-Kenntnisse mitbringen. Ideal ist ein gemischtes Team, d.h. in diesem Fall eine Person, die aus Äthiopien stammt, die regionalen Bedingungen sehr gut kennt und natürlich auch den fachlichen Hintergrund mitbringt. Und eine weitere Person sollte aus Deutschland/ Österreich/Schweiz stammen und vertraut sein mit den Anforderungen, die in diesen Ländern an Evaluierungen gestellt werden. Sie sollte auf der Höhe der Zeit sein, was die Debatten über die Messung von Effizienz oder die Evaluierung mit Hilfe von Kontrollgruppen angeht. Ein gemischtgeschlechtliches Team ist fast ein Muss.

Warum sind Monitoring und Evaluierung so wichtig? Wer profitiert?

Alle profitieren! Von einer Evaluierung profitiert die Zielgruppe, weil die Projekte noch nachhaltiger werden. Zudem werden die Nutznießer im Rahmen eines partizipativen Monitorings stark eingebunden. Die Hilfsorganisation profitiert, weil sie mit den Vorhaben bessere Wirkungen erzielen – und diese klar auf einzelne Aktivitäten zurückführen kann. Die Spender profitieren, weil sie detaillierte Informationen über die Verwendung ihrer Mittel erhalten und sicher sein können, dass diese gewinnbringend eingesetzt werden. Monitoring und Evaluierung dienen vor allem zum Lernen und helfen so, dass Projekte noch besser werden können. Durch kontinuierliches Monitoring erhält man Information darüber, was gut läuft und wo man nachjustieren sollte. Regelmäßige Evaluierungen, die von externen Gutachtern durchgeführt werden, ermöglichen einen konstruktiv-kritischen Blick von außen.

Was ist die Voraussetzung für eine gute Evaluierung?
Zuallererst eine gute Vorbereitung: Man sollte möglichst alles gelesen haben, was es zum Projekt gibt. Und man braucht eine klare Vorstellung von den Zielsetzungen. Dies muss auch mit den Projektmitarbeitern abgeklärt werden, damit eine gemeinsame Basis für die Evaluierung geschaffen wird. Dann braucht man genug Zeit vor Ort für Gespräche, Workshops und Besichtigungen und nicht zuletzt das Vertrauen der Projektmitarbeiter darauf, dass man nicht zum Erbsenzählen gekommen ist, sondern um mit ihnen die Projekte zu diskutieren und sich gegebenenfalls neu zu orientieren.

Mit wem sprechen Sie vor Ort?
Wir sprechen mit den unterschiedlichsten Personen: Mit dem Projektmanager, mit seinen Mitarbeitern, mit den Mitarbeitern des Landkreises, die mit dem Vorhaben in Verbindung stehen, mit den Personen, die vor Ort in den Dörfern die Arbeit machen, also den Entwicklungsagenten und Sozialarbeitern. Ganz wichtig, dass wir uns immer die meiste Zeit für die Bevölkerung selbst nehmen. Wir sprechen mit ihnen lange und ausführlich. Zudem führen wir einen Workshop über zwei Tage durch, bei dem nur die Nutznießer der Aktivitäten zu Wort kommen. Dabei können wir uns intensiv über die Entwicklung in der Region austauschen und informieren. Diese partizipativen Workshops sind das Herzstück der Evaluierung.

Sie haben in Äthiopien nach Ihrer Evaluation einen Workshop zu "wirkungsorientiertem Monitoring" mit den lokalen Projektleitern der Stiftung durchgeführt. Wozu?
Wir wollten die lokalen Mitarbeiter in die Lage versetzen, noch besser die weitreichenden Wirkungen eines Projektes messen zu können. Unter anderem durch Vorgaben des äthiopischen Staates befasst man sich in Äthiopien im Monitoring sehr stark mit den Resultaten einzelner Aktivitäten. Die Projektmitarbeiter wissen beispielsweise genau, wie viele Brunnen gebaut  wurden und wie viele Menschen davon profitieren. Das ist gut. Aber sie können die weiteren Auswirkungen oft nicht klar benennen bzw. auf eine bestimmte Aktivität zurückführen. Besuchen jetzt zum Beispiel mehr Mädchen die Schule, statt stundenlang aus entfernten Gebieten Wasser holen zu gehen? Oder welche Krankheiten kommen dadurch weniger vor. Dieses wirkungsorientierte Monitoring ist zeitintensiv und relativ aufwändig, trägt aber zur Weiterentwicklung von Projekten bei – und zeigt auch schlichtweg, was alles erreicht wurde!


Zur Person: Annette Schmidt arbeitet seit 1999 als Gutachterin und evaluiert unter anderem im Bereich Armutsbekämpfung, Ländliche Entwicklung, Wasserversorgung und Bildung. Darüber hinaus unterstützt sie beim Aufbau wirkungsorientierter Monitoring-Systeme.

CHF

Beneficiary:
Donations account:
Account Number 18180018
Bank Code 701 500 00
BIC SSKMDEMM
IBAN DE64701500000018180018
Donations account:
Account Number 18180018
Bank Code 701 500 00
BIC SSKMDEMM
IBAN DE64701500000018180018
Spendenkonto:
Postkonto 90-700000-4

Stiftung Menschen für Menschen Karlheinz Böhms Äthiopienhilfe, 8002 Zürich

IBAN-Code:
CH97 0900 0000 9070 0000 4
BIC SSKMDEMM
IBAN DE64701500000018180018
Evaluierung_Ein Interview