Von der Wahrsagerei zur Wahlprognose

Umfragen zu Bundes- und Landtagswahlen liegen oft daneben. Warum ist das so und welche Alternativen gibt es? Ein Vergleich von Umfrageinstituten, Wahlbörsen und Expertenprognosen

Wie nach der letzten Bundestagswahl im September 2021 läuft es in Deutschland fast immer wieder ab. Vor der Wahl gibt es eine große Anzahl von Umfragen und Voraussagen, die von Medien und Politikern förmlich aufgesogen werden.

Dabei wird wenig über deren Genauigkeit und Qualität diskutiert. Vielmehr möchte man lieber hohe Aufmerksamkeit erregen, weil sich daraus besondere Geschichten schreiben lassen, die beim Publikum besser ankommen als nüchterne, aber viel informativere Statistiken.

Nach der Wahl folgt meist nur ein knappes Resümee. Je nach Prognosegüte zum Beispiel eine kurze, harte Kritik, wie nach den schlechten Analysen zur Landtagswahl in Sachsen-Anhalt oder Lob wie bei der aktuellen Bundestagswahl, allerdings nur für die Umfragen.

Dann verlangt man wieder nach neuen politischen Einschätzungen, die von speziellen Anbietern wie Civey mit Internetumfragen fast täglich durchgeführt werden, ohne deren Qualität empirisch nachweisen zu können.

Im Gegensatz dazu soll als Diskussionsgrundlage eine umfangreiche Qualitätsanalyse mittels einer Gesamttabelle zu den letzten sechs Bundestagswahlen sowie einem zweiten Ranking zu den 16 aktuellen Landtagswahlen vorgelegt werden. Damit ist ein mittel- bis langfristiger, objektiver Vergleich anhand von sechs sinnvollen Kriterien möglich.

Gesamtrangliste zu den Bundestagswahlen 2002-2021

Die Gesamtrangliste zu den Bundestagswahlen beginnt 2002, weil seitdem verstärkt Wahlbörsen eingesetzt worden sind. Ferner wird gefordert, dass ein Institut nur dann in diese Rangliste aufgenommen wird, wenn es an mindestens der Hälfte dieser Bundestagswahlen teilgenommen hat.

Bis zur letzten Wahl waren dies zehn Institute, die alle weiterhin dabei sind. Jetzt kommen sechs neue hinzu, und zwar die drei Umfrageinstitute INSA, Trend Research und Ipsos sowie die drei Expertenprognosen von Prognosys, PollyVote und Prognos.

In der Zusammenstellung zu einer Gesamtrangliste gibt es dadurch einige kleine Harmonisierungsprobleme, weil zum Beispiel insgesamt die letzten Bundestagswahlen 2017 und 2021 hinsichtlich der Prognosegüte recht gut ausgefallen sind, insbesondere im Vergleich zur bisher schlechtesten von 2005.

Bei den vier individuellen Kriterien MAF (mittlerer, absoluter Fehler), MAPF (mittlerer, absoluter, prozentualer Fehler), MQF (mittlerer, quadratischer Fehler) und MFIP95 (mittlerer Fehler für Intervall-Prognosen)1 kann man feststellen, dass die Neulinge dadurch einen gewissen Vorteil haben.

Bei den beiden kollektiven Kriterien ist es hingegen anders. Mit den Top drei/Flop drei Bewertungen sollen besonders gute bzw. schlechte Institute in jeder Wahl in Bezug auf alle Teilnehmer einen zusätzlichen Bonus bzw. Malus erhalten. Das ist bei den Wahlen 2002 bis 2009 mit insgesamt neun bis elf Teilnehmern leichter möglich als bei den letzten beiden Wahlen mit der Rekordzahl von 24 Instituten.

Noch deutlicher wird dieser Sachverhalt beim Kriterium MR des mittleren Rangs.2 Dort werden nur in Bezug auf die Teilnehmer am Gesamtranking für jede Wahl die Ränge ermittelt und der Durchschnitt gebildet. Da es bei den ersten Bundestagswahlen von 2002 bis 2009 deutlich weniger Konkurrenten gab als von 2013 bis 2021, haben hier die Neulinge ebenfalls einen Nachteil.

Bei Betrachtung aller sechs Kriterien kommt es damit zu einem Ausgleich (kurze Erläuterungen zu den Kriterien findet man im Anhang). Diese Rangliste, die neben der Gesamtrangliste aus allen aktuellen Landtagswahlen am wichtigsten ist, besitzt daher eine starke Aussagekraft.

Nach den Bundestagswahlen von 2013 und 2017 hatte sich ein stabiles Spitzentrio aus Forschungsgruppe Wahlen (FGW) und den beiden Wahlbörsen von Prognosys und ProKons aus Österreich gebildet. Jetzt hat der Neuling Prognosys-Master-Vote mit drei sehr guten bis guten Prognosen die Führungsposition erobert vor der PESM-Wahlbörse, ebenfalls von Prognosys, sowie Wahlfieber von ProKons.

Durch das im Vergleich zur Konkurrenz nicht ganz so gute Abschneiden im Jahr 2021 liegt FGW nun auf dem vierten Platz, vor dem zweiten Neuling, dem Umfrageinstitut INSA.

Hinter diesem Quintet klafft in der Rangsumme und damit der Qualität eine große Lücke. Im nachfolgenden Mittelfeld sind sechs weitere Institute positioniert. Zunächst Allensbach, das noch face-to-face-Umfragen durchführt und dieses Mal von allen zwölf teilnehmenden Umfrageinstituten am besten abgeschnitten hat.

Es folgt mit Trend Research ein weiterer Neuling vor Wahlstreet, der Wahlbörse von Ecce Terram, die 1998 in Kooperation mit Die Zeitund einem Rekord von 9.500 Teilnehmern die Wahlbörsen populär gemacht hat. Diese verdienstvolle Wahlbörse wird nach der nächsten Bundestagswahl wahrscheinlich ausscheiden, weil sie seit 2009 nicht mehr aktiv war.

Auf dem neunten Platz steht infratest. Das Institut könnte in der Spitzengruppe sein, wenn es nicht darauf verzichten würde, in der letzten Woche vor der Wahl Umfragen durchzuführen. Auf dem zehnten Platz steht mit PollyVote von der Universität München ein sehr interessanter Vertreter, der mit seinem kombinierten Ansatz in den USA große Erfolge errungen hat.

Die Methode enthält folgende Komponenten: Umfragen, Prognosemärkte, eine Expertengruppe sowie Spezialmodelle. In Deutschland scheint die Konkurrenz härter zu sein - wie die bisherigen Ergebnisse zeigen. Das Mittelfeld wird von Kantar (früher Emnid) komplettiert.

Das hintere Drittel führt Forsa an. Dahinter folgt mit eix eine Wahlbörse der Universität Karlsruhe, die ebenfalls bereits länger nicht mehr angetreten ist. Die Expertenprognose von Prognos erreicht nur einen enttäuschenden vierzehnten Platz. Bei Landtagswahlen hat sie wesentlich besser abgeschnitten und häufig Spitzenresultate erzielt. Schließlich liegen die beiden Umfrageinstitute GMS und Ipsos am Tabellenende.

Beim Methodenvergleich führen die drei Spezialprognosen von Prognosys-Master-Vote, PollyVote und Prognos knapp vor der Gruppe der vier Wahlbörsen. Klar auf dem letzten Platz rangiert die Gruppe der neun Umfrageinstitute.

Diese Gesamtrangliste für die sechs zurückliegenden Bundestagswahlen ist sehr aufschlussreich, weil sie über einen längeren Zeitraum mithilfe von sechs Kriterien eindeutig die Spreu vom Weizen trennt und die Institute mit besonders guter Prognosequalität auszeichnet.