Warum gute Förderung ohne solide Evaluation Zufall ist

Prof. Dr. Felicitas Thiel betont im Interview, wie elementar Evaluationen von Förderprogrammen im Bildungsbereich sind – und erläutert, was bisher schiefläuft.

Wie wirksam sind Förderprogramme im Bildungsbereich? Was leisten sie wirklich und wo muss es eine Umkehr oder Kurskorrekturen geben? Diese Fragen sind schwer zu beantworten ohne eine wirksame Evaluation der Maßnahmen. Das Problem: Deutschland praktiziert Evaluation im Bereich Bildung nur mangelhaft. Die Ständige Wissenschaftliche Kommission (SWK) hat mit einem Positionspapier auf die Situation reagiert. Im Interview gibt Professorin Felicitas Thiel, Ko-Vorsitzende der SWK einen Überblick über die Situation – und legt dar, was sich ändern muss.

Redaktion: Frau Thiel, im Positionspapier der SWK „Entwicklung von Leitlinien für das Monitoring und die Evaluation von Förderprogrammen im Bildungsbereich“ thematisiert die Kommission, dass Deutschland in Sachen Evaluation im Sinne von methodisch basierten Wirkungsanalysen im Vergleich zu anderen Ländern hinterherhinkt. Sie verweisen in dem Zusammenhang darauf, dass die Evaluation von Fördermaßnahmen auch in der Bundeshaushaltsordnung festgeschrieben ist. Warum wird hierzulande trotzdem nicht hinreichend evaluiert? 

Prof. Dr. Felicitas Thiel: Zuerst möchte ich darauf hinweisen, dass die mangelnde Evaluation nicht nur ein Problem im Bildungsbereich darstellt. Und anders herum: Auch im Bildungsbereich gibt es einige Programme, die eine ganze Reihe der Kriterien einer guten Evaluation erfüllen. Grundsätzlich gilt: Förderprogramme im Bildungsbereich sind häufig sehr komplex, weil in der Regel viele verschiedene Ebenen und Akteure beteiligt sind, die die Maßnahmen des Programms dann oft ganz unterschiedlich interpretieren und ganz unterschiedliche Schwerpunkte setzen. Dies ist insbesondere dann der Fall, wenn die Ziele, die mit einem Förderprogramm verfolgt werden, sehr vage formuliert sind.

„Wenn eine Evaluation nicht aussagekräftig ist, können wir nichts aus einem Förderprogramm lernen.“

Prof. Dr. Felicitas Thiel

Redaktion: Welche Folgen hatte und hat eine mangelhafte Evaluierung von Förderprogrammen im deutschen Bildungssystem? Erkennen Sie bildungspolitische Sackgassen, etwa in Reformbemühungen, die sich mit einer besseren Evaluation eventuell hätten vermeiden lassen können?

Thiel: Wenn eine Evaluation nicht aussagekräftig ist, können wir nichts aus einem Förderprogramm lernen. Häufig werden nur subjektive Einschätzungen von Projektbeteiligten erfasst und diese Einschätzungen entsprechen nicht zwangsläufig messbaren Effekten. Um Wirkungen zu messen, benötigt man valide Maße, die – nehmen wir als Beispiel eine hypothetische Maßnahme zur Förderung der naturwissenschaftlichen Kompetenzen – den Lernfortschritt in den relevanten Kompetenzbereichen erfassen. Das reicht aber alleine noch nicht aus. Wenn nicht genau erfasst wurde, bei welchen Adressatinnen und Adressaten in welchem Umfang und in welcher Qualität die Fördermaßnahme implementiert wurde und welche anderen möglichen Einflussfaktoren im Zeitraum der Implementation der Maßnahme noch bestanden, können gemessene Effekte nicht eindeutig zugerechnet werden. Vielleicht war ja – um bei dem Beispiel zu bleiben – gar nicht die Maßnahme zur Förderung der naturwissenschaftlichen Kompetenzen wirksam, sondern ein anderer Einflussfaktor, der gar nicht erfasst wurde. Das könnte etwa eine gleichzeitige Erhöhung des Stundenumfangs in den naturwissenschaftlichen Fächern sein. Oder die Durchführung der Maßnahme wies erhebliche Mängel auf, was den Umfang oder die Qualität betrifft. Dann wären ausbleibende Wirkungen vielleicht gar nicht der Maßnahme selbst zuzuschreiben, sondern ihrer mangelhaften praktischen Umsetzung. Es muss also beides gemacht werden: Bezogen auf das Förderziel muss eine valide Erfassung der erwarteten (Lern-)Effekte erfolgen und es müssen die Art und Weise, wie die Maßnahmen implementiert wurden, sowie andere mögliche Einflussfaktoren in dem Zeitraum erfasst werden. Ich halte wenig davon, im Nachhinein bildungspolitische Sackgassen zu identifizieren. Besser ist es doch, positive Beispiele zu nennen: Da ist zum Beispiel das Programm Bildung durch Sprache und Schrift (BISS). In diesem Rahmen sind zum Beispiel Interventionsstudien durchgeführt worden, die die Wirksamkeit von bestimmten Maßnahmen der Sprachförderung überprüft haben, und diese Ansätze werden jetzt für alle in einer Online-Toolbox zur Verfügung gestellt.

„Es ist wichtig, bereits bei der Planung einer Fördermaßnahme konkrete Ziele zu formulieren und potenziell wirksame Maßnahmen zu identifizieren.“

Prof. Dr. Felicitas Thiel

Redaktion: Sie schreiben im Positionspapier von Evaluation, die vorab (ex ante) passieren soll, also noch bevor ein Projekt umgesetzt wird. Wie kann so etwas konkret funktionieren?

Thiel: Das ist ein sehr wichtiger Begriff, der deutlich macht, dass es darum geht, bereits bei der Planung eines Förderprogramms erstens die Ziele genau und präzise zu formulieren. Nehmen wir zum Beispiel ein Programm zur Leseförderung. Ein konkretes Ziel wäre hier: Die Zahl der Schülerinnen und Schüler, die die Mindeststandards im Lesen erreichen, soll in einem Zeitraum von fünf Jahren um fünf Prozentpunkte erhöht werden. Zweitens meint Ex-ante-Evaluation, dass bereits im Vorfeld auf der Grundlage wissenschaftlicher Befunde identifiziert wird, welche Ansätze und Maßnahmen überhaupt erfolgversprechend sind. Damit wird dann das Spektrum von förderfähigen Projekten von vornherein eingegrenzt. Das bedeutet, dass nicht mehr alle vermeintlich guten Ideen gefördert werden, sondern nur die, von denen man mit guten Gründen annehmen kann, dass sie helfen, das konkrete Ziel zu erreichen.

Redaktion: Das Positionspapier beschreibt Fördermonitoring als unverzichtbar. Warum ist das so und worauf kommt es beim Fördermonitoring an?

Thiel: Mit einem Fördermonitoring wird erfasst, wie die geförderten Maßnahmen implementiert werden (in welchem Umfang, mit welcher Reichweite, in welcher Qualität). Dies dient einerseits dem Projektcontrolling. Probleme und Hürden können frühzeitig identifiziert werden und es kann gegengesteuert werden. Auf der anderen Seite ist ein Fördermonitoring für die Evaluation zentral. Nur wenn man etwas über die Implementation weiß, kann man etwas darüber sagen, ob und unter welchen Bedingungen eine Maßnahme oder ein Ansatz funktioniert.

Redaktion: Das Papier erwähnt auch die methodischen Herausforderungen der Evaluation. Wie können bisherige Mängel in der methodischen Umsetzung von Evaluation vermieden werden?

Thiel: Man braucht Forschungsdesigns, die es erlauben, Wirkungen auf Maßnahmen zuzurechnen. Im Idealfall werden dazu randomisierte Feldexperimente durchgeführt. Das wird im Bereich der Arbeitsmarktförderung teilweise gemacht. Das bedeutet: Eine zufällig ausgewählte Gruppe von Arbeitssuchenden bekommt eine bestimmte Fördermaßnahme, etwa eine besondere Beratung (Interventionsgruppe), und eine andere Gruppe bekommt diese Fördermaßnahme nicht, die Kontrollgruppe. Unterschiede zum Beispiel im Kompetenzerwerb zugunsten der Interventionsgruppe können dann mit einer hohen Wahrscheinlichkeit der Fördermaßnahme zugerechnet werden. Das gilt allerdings nur, wenn die Teilnehmenden den beiden Gruppen zufällig zugeordnet, also randomisiert, werden. Die Durchführung solcher randomisierten Feldexperimente ist manchmal schwierig. Ein Grund dafür ist, dass einer Gruppe, der Kontrollgruppe, eine potenziell wirksame Maßnahme zumindest eine Zeitlang vorenthalten wird. Das kann zu Akzeptanzproblemen führen. In der Bildungsforschung wurden allerdings auch alternative methodische Ansätze entwickelt, die eingesetzt werden können, wenn keine randomisierten Feldexperimente möglich sind. Aber, wie bereits erwähnt, es ist nicht nur wichtig, gute Forschungsdesigns zu nutzen, sondern bereits bei der Planung einer Fördermaßnahme konkrete Ziele zu formulieren und potenziell wirksame Maßnahmen zu identifizieren.

Redaktion: Frau Prof. Dr. Thiel, wir danken Ihnen für dieses Gespräch.

Zur Person

Prof. Dr. Felicitas Thiel ist Professorin für Schulpädagogik und Schulentwicklungsforschung an der FU Berlin. Seit 2014 ist Thiel Herausgeberin der Zeitschrift für Erziehungswissenschaft. Seit 2021 ist sie die Ko-Vorsitzende der Ständigen Wissenschaftlichen Kommission der Kultusministerkonferenz. Thiel gehört zu den Herausgebern des Online-Magazins schulmanagement.