Seite 2: Gesamtrangliste der 16 aktuellen Landtagswahlen

In der Gesamtrangliste für sämtliche aktuellen Landtagswahlen führt wieder FGW mit deutlichem Vorsprung wie bei unserer ersten Analyse Ende 2018. Zwischendurch konnte sich die anonyme Expertenprognose von Prognos nach einer Serie erfolgreicher Prognosen in den Jahren 2019 und 2020 an die Spitze setzen.

Nach den Doppelwahlen in Baden-Württemberg und Rheinland-Pfalz im März 2021 erreichte FGW, zunächst gemeinsam mit der PESM Wahlbörse, und schließlich nach den relativ guten Ergebnissen in Sachsen-Anhalt wieder allein, die Spitzenposition.

Zurzeit folgen hinter FGW mit jeweils geringen Abständen untereinander der Prog-no-sys-Master-Vote, eine Expertenschätzung von Professor Mohr, sowie die beiden Wahlbörsen von PESM und Wahlfieber. Hingegen ist Prognos nach den mäßigen Resultaten bei den letzten beiden Wahlen etwas weiter zurückgefallen. Diese fünf Institute bilden somit seit mehreren Jahren in wechselnder Reihenfolge eindeutig die Spitzengruppe.

Mit größerem Abstand wird das Mittelfeld von Birnstingl angeführt, einer kompetenten und diskussionsfreudigen Wahlbörsenspezialistin aus dem fernen Rom. Dahinter folgt mit dem Wahltipp eine erfolgreiche Version der direkten Schwarmintelligenz. Es sieht leider so aus, dass der Betreiber Wahlrecht dieses interessante Experiment nicht mehr fortsetzen wird.

Neu hinzugekommen ist dawum mit einer gewichteten Durchschnittsprognose von relevanten Wahlumfragen, wobei etwa aktuellere Umfragen höher gewichtet werden. Bemerkenswert ist der Sachverhalt, dass von den hier vertretenen vier Umfrageinstitute nur eines, nämlich FGW, besser anschneidet als dawum.

Im Schlussabschnitt der Tabelle sind nur noch Umfrageinstitute zu finden. Deren Prognosequalität steht somit in einem krassen Missverhältnis zum getätigten Aufwand. Auf Platz neun rangiert das renommierte und traditionsreiche Institut infratest dimap, das viele Analysen für die ARD durchführt. Dieses Institut hält als einziges immer noch an der früher postulierten Selbstverpflichtung fest, in der letzten Woche vor der Wahl keine Umfragen durchzuführen.

Wenn man nur die Prognosen in der vorletzten Woche vergleicht, könnte infratest durchaus mit dem Spitzenreiter FGW (ZDF) konkurrieren. Da die ARD sich über die Gebühren der Rundfunkabgabe finanziert, sollte sie eigentlich verpflichtet sein, mit ihrem Jahresetat von über fünf Milliarden Euro und ihrem sehr hohen Aufwand für Wahlanalysen und Prognosen bestmögliche Schätzungen vorzulegen.

INSA und Civey versuchen ebenfalls mit viel Öffentlichkeitsdrang und häufigen Umfragen im Umfeld von Wahlen für Bild (INSA) und Spiegel (Civey) zu punkten.

Insbesondere das relativ neue Institut Civey strebt an, mit seinen massenhaften, fast täglichen internetbasierten Umfragen zu Politikerinnen und Politikern, Parteien und anderen allgemein wichtigen Fragen unsere Gesellschaft zu vermessen. Es gibt dazu jedoch kaum reale Vergleichswerte, womit eine hinreichende, empirische Qualitätskontrolle nicht stattfinden kann. Man darf höchstens annehmen, dass die statistischen Aussagen in der Tendenz stimmen.

Wie INSA schneidet auch Civey im Ranking der finalen Wahlprognosen relativ schlecht ab, indem sie seit längerer Zeit die beiden letzten Plätze belegen. Das ist umgekehrt proportional zu ihren Aktivitäten und öffentlichen Auftritten.

Das Institut Forsa ist wegen der geringen Teilnahmen aus der Tabelle gefallen. Es lag vorher ebenfalls auf den hinteren Rängen. Weitere Traditionsinstitute wie Allensbach, Emnid (Kantar) oder GMS sind praktisch nicht mehr bei Landtagswahlen tätig, sondern machen lieber wie Forsa häufiger Umfragen zu den Bundestagswahlen, weil diese mehr Publicity bringen.

Auch wenn die Medien es wohl wieder nicht zur Kenntnis nehmen werden, ist als Fazit völlig einwandfrei festzuhalten: Von der Methode her stehen die Wahlbörsen mit großem Vorsprung vorn, insbesondere weil sie unter anderem häufig, wie bei der aktuellen Bundestagswahl, den last swing in den letzten Tagen aufnehmen können.

Klar auf dem zweiten Platz steht die Gruppe der Experten- und Modellprognosen, die nur fremde Informationen verarbeiten, aber selbst nicht wie Umfragen und Wahlbörsen empirische Daten erzeugen. Weit abgeschlagen landet die Gruppe der Umfrageinstitute auf dem letzten Platz.

Umfrageinstitute sind (mit Ausnahme von FGW bei Umfragen zu Bundestagswahlen) intransparent, weil die Rohdaten aus den Befragungen nicht veröffentlicht werden. Zudem wird mit dem Begriff Repräsentativität, der zum Goldstandard hochstilisiert wird, etwas vorgetäuscht, das in der mathematischen Stichprobentheorie nicht existiert.

Man arbeitet vielmehr mit approximativen Zufallsstichproben, wobei der wichtige Ausschöpfungsgrad (der wohl nur noch zwischen zehn und 15 Prozent liegt), ebenfalls geheim gehalten wird. Man kann doch ohne Imageverlust zugeben, dass man das Rohmaterial durch jahrelang gewonnene Expertise teilweise deutlich verändert.

Denn letztlich sollte nur die Prognosequalität entscheiden. Trotz dieser Einwände beherrschen Umfrageinstitute mit Hilfe der Medien den Meinungs- und Prognosemarkt für Wahlanalysen fast vollständig, wie man gerade bei den aktuellen Bundestagswahlen gesehen hat. Doch dort sprechen die Prognosevergleiche noch eindeutiger für Wahlbörsen als für die Umfrageinstitute.

Bei der Super-Rangliste dient als Kriterium die Rangsumme aus den Einzelrängen, die in den beiden Gesamttabellen erreicht wurden. Nur sieben Institute sind gleichzeitig in beiden Gesamttabellen vertreten.

An der Spitze steht zurzeit die Expertenprognose Prognosys-Master-Vote. Gemeinsam folgen das klar beste Umfrageinstitut Forschungsgruppe Wahlen (ZDF) und die PESM Wahlbörse von Prognosys. Knapp dahinter belegt Wahlfieber, eine österreichische Wahlbörse, den vierten Platz. Die Lücke zu den anderen Instituten ist ziemlich groß, was auf einen deutlichen Qualitätsunterschied hinweist.

Im unteren Teil sind die beiden Umfrageinstitute von INSA und infratest sowie die Expertenschätzungen von Prognos positioniert. Es hat zehn Jahre gedauert, um unser Produkt Prognosys-Master-Vote an die Spitze zu bringen. Mit diesem Projekt sollte gezeigt werden, dass die Prinzipien von Tetlock (im Buch Superforecasting) und Kahnemann (Schnelles Denken, langsames Denken, sowie Noise) erfolgreich auf die Erstellung von Wahlprognosen übertragen werden können.

Nach dem Vorbild von Tetlock in den USA könnte man auch in Deutschland eine Gruppe von Superprognostikern ausbilden, die Voraussagen von höchster Qualität für viele Gesellschaftsbereiche erstellen könnte. Das wäre ein Think-Tank, dessen Leistungen numerisch überprüfbar wären.

Fazit

Die beiden aktiven Wahlbörsen von Prognosys und ProKons schneiden, wie hier gezeigt, klar besser ab als die Gruppe der Umfrageinstitute. Nur Forschungsgruppe Wahlen kann mithalten und die Expertenprognosen von Prognosys-Master-Vote sowie Prognos (zumindestens bei Landtagswahlen).

Weil die Qualitätswerte in beiden Gesamttabellen sehr stabil sind, wird sich in den nächsten Jahren nur wenig ändern. Neue Institute wie INSA, Civey oder Wahlkreisprognose müssen Lehrgeld zahlen.

Nach diesen Statistiken ist es höchst verwunderlich, dass Wahlbörsen trotz ihrer Qualität und medialen Eignung praktisch keine Rolle spielen. Keine größere Zeitung oder Fernsehanstalt hat zum Beispiel auf die hervorragenden Ergebnisse der Wahlbörsen bei den letzten beiden Bundestagswahlen hingewiesen.

Vielleicht können wir mit diesem Artikel eine Diskussion anstoßen? Interessant wäre eine Begründung, warum trotz ihrer eindeutig schlechteren Qualität die Umfrageinstitute zusammen mit den Medien den Meinungs- und Prognosemarkt bei Wahlen vollständig dominieren.