Warum gute Förderung ohne solide Evaluation Zufall ist

Prof. Dr. Felicitas Thiel: Zuerst möchte ich darauf hinweisen, dass die mangelnde Evaluation nicht nur ein Problem im Bildungsbereich darstellt. Und anders herum: Auch im Bildungsbereich gibt es einige Programme, die eine ganze Reihe der Kriterien einer guten Evaluation erfüllen. Grundsätzlich gilt: Förderprogramme im Bildungsbereich sind häufig sehr komplex, weil in der Regel viele verschiedene Ebenen und Akteure beteiligt sind, die die Maßnahmen des Programms dann oft ganz unterschiedlich interpretieren und ganz unterschiedliche Schwerpunkte setzen. Dies ist insbesondere dann der Fall, wenn die Ziele, die mit einem Förderprogramm verfolgt werden, sehr vage formuliert sind.

Thiel: Wenn eine Evaluation nicht aussagekräftig ist, können wir nichts aus einem Förderprogramm lernen. Häufig werden nur subjektive Einschätzungen von Projektbeteiligten erfasst und diese Einschätzungen entsprechen nicht zwangsläufig messbaren Effekten. Um Wirkungen zu messen, benötigt man valide Maße, die – nehmen wir als Beispiel eine hypothetische Maßnahme zur Förderung der naturwissenschaftlichen Kompetenzen – den Lernfortschritt in den relevanten Kompetenzbereichen erfassen. Das reicht aber alleine noch nicht aus. Wenn nicht genau erfasst wurde, bei welchen Adressatinnen und Adressaten in welchem Umfang und in welcher Qualität die Fördermaßnahme implementiert wurde und welche anderen möglichen Einflussfaktoren im Zeitraum der Implementation der Maßnahme noch bestanden, können gemessene Effekte nicht eindeutig zugerechnet werden. Vielleicht war ja – um bei dem Beispiel zu bleiben – gar nicht die Maßnahme zur Förderung der naturwissenschaftlichen Kompetenzen wirksam, sondern ein anderer Einflussfaktor, der gar nicht erfasst wurde. Das könnte etwa eine gleichzeitige Erhöhung des Stundenumfangs in den naturwissenschaftlichen Fächern sein. Oder die Durchführung der Maßnahme wies erhebliche Mängel auf, was den Umfang oder die Qualität betrifft. Dann wären ausbleibende Wirkungen vielleicht gar nicht der Maßnahme selbst zuzuschreiben, sondern ihrer mangelhaften praktischen Umsetzung. Es muss also beides gemacht werden: Bezogen auf das Förderziel muss eine valide Erfassung der erwarteten (Lern-)Effekte erfolgen und es müssen die Art und Weise, wie die Maßnahmen implementiert wurden, sowie andere mögliche Einflussfaktoren in dem Zeitraum erfasst werden. Ich halte wenig davon, im Nachhinein bildungspolitische Sackgassen zu identifizieren. Besser ist es doch, positive Beispiele zu nennen: Da ist zum Beispiel das Programm Bildung durch Sprache und Schrift (BISS). In diesem Rahmen sind zum Beispiel Interventionsstudien durchgeführt worden, die die Wirksamkeit von bestimmten Maßnahmen der Sprachförderung überprüft haben, und diese Ansätze werden jetzt für alle in einer Online-Toolbox zur Verfügung gestellt.

Thiel: Das ist ein sehr wichtiger Begriff, der deutlich macht, dass es darum geht, bereits bei der Planung eines Förderprogramms erstens die Ziele genau und präzise zu formulieren. Nehmen wir zum Beispiel ein Programm zur Leseförderung. Ein konkretes Ziel wäre hier: Die Zahl der Schülerinnen und Schüler, die die Mindeststandards im Lesen erreichen, soll in einem Zeitraum von fünf Jahren um fünf Prozentpunkte erhöht werden. Zweitens meint Ex-ante-Evaluation, dass bereits im Vorfeld auf der Grundlage wissenschaftlicher Befunde identifiziert wird, welche Ansätze und Maßnahmen überhaupt erfolgversprechend sind. Damit wird dann das Spektrum von förderfähigen Projekten von vornherein eingegrenzt. Das bedeutet, dass nicht mehr alle vermeintlich guten Ideen gefördert werden, sondern nur die, von denen man mit guten Gründen annehmen kann, dass sie helfen, das konkrete Ziel zu erreichen.

Thiel: Mit einem Fördermonitoring wird erfasst, wie die geförderten Maßnahmen implementiert werden (in welchem Umfang, mit welcher Reichweite, in welcher Qualität). Dies dient einerseits dem Projektcontrolling. Probleme und Hürden können frühzeitig identifiziert werden und es kann gegengesteuert werden. Auf der anderen Seite ist ein Fördermonitoring für die Evaluation zentral. Nur wenn man etwas über die Implementation weiß, kann man etwas darüber sagen, ob und unter welchen Bedingungen eine Maßnahme oder ein Ansatz funktioniert.

Thiel: Man braucht Forschungsdesigns, die es erlauben, Wirkungen auf Maßnahmen zuzurechnen. Im Idealfall werden dazu randomisierte Feldexperimente durchgeführt. Das wird im Bereich der Arbeitsmarktförderung teilweise gemacht. Das bedeutet: Eine zufällig ausgewählte Gruppe von Arbeitssuchenden bekommt eine bestimmte Fördermaßnahme, etwa eine besondere Beratung (Interventionsgruppe), und eine andere Gruppe bekommt diese Fördermaßnahme nicht, die Kontrollgruppe. Unterschiede zum Beispiel im Kompetenzerwerb zugunsten der Interventionsgruppe können dann mit einer hohen Wahrscheinlichkeit der Fördermaßnahme zugerechnet werden. Das gilt allerdings nur, wenn die Teilnehmenden den beiden Gruppen zufällig zugeordnet, also randomisiert, werden. Die Durchführung solcher randomisierten Feldexperimente ist manchmal schwierig. Ein Grund dafür ist, dass einer Gruppe, der Kontrollgruppe, eine potenziell wirksame Maßnahme zumindest eine Zeitlang vorenthalten wird. Das kann zu Akzeptanzproblemen führen. In der Bildungsforschung wurden allerdings auch alternative methodische Ansätze entwickelt, die eingesetzt werden können, wenn keine randomisierten Feldexperimente möglich sind. Aber, wie bereits erwähnt, es ist nicht nur wichtig, gute Forschungsdesigns zu nutzen, sondern bereits bei der Planung einer Fördermaßnahme konkrete Ziele zu formulieren und potenziell wirksame Maßnahmen zu identifizieren.