"Die Umfragen sind nicht unsicherer geworden, sondern eher elaborierter", sagt Thomas Wind, Gründer und Geschäftsführer des Instituts für Zielgruppenkommunikation (IfZ). Der Meinungsforschungsexperte hat eher "ein Problem mit dem Umgang der Umfragen": "Jeden Tag wird eine neue Zahl oder eine neue Umfrage veröffentlicht, da wird ein Sog erzeugt", so Wind.

Mehr Umfragen, weniger Teilnehmer

Der Politikwissenschaftler und Publizist Frank Brettschneider, der bereits mehrere Studien zu Meinungsforschung und Wahlumfragen verfasst hat und an der Universität Hohenheim lehrt, bestätigt den Trend. Nach seinen Erhebungen haben sich in Deutschland seit 1980 sowohl die Anzahl der Wahlumfragen als auch die Berichterstattung darüber mehr als verzehnfacht.

Eine Folge davon ist die Tatsache, dass immer weniger Leute bereit sind, sich an Wahlumfragen zu beteiligen. Laut der internationalen Studie "Election polling errors across time and space"(Fehler von Wahlumfragen in Zeit und Raum) haben sich vor 20 Jahren noch 30 Prozent der Befragten an den Umfragen beteiligt, heute liegt die Rate bei weniger als zehn Prozent.

Für die im Juni 2020 aktualisierte Studie wurden 351 landesweite Wahlen in 45 Staaten mit mehr als 30.000 Umfragen zwischen 1942 und 2017 analysiert. Die beiden Autoren, Will Jennings, Professor für Politikwissenschaft an der Universität Southampton in Großbritannien, und Christopher Wlezien, Professor für Meinungsforschung an der University of Texas, halten die Entwicklung für bedenklich: "Dies gefährdet die Repräsentativität der Umfragen und führt zu Fehlern und Abweichungen".

Qualität der Stichproben

Ob eine Umfrage repräsentativ ist, entscheidet die Qualität der Stichproben. Ein systematisches Problem ist dabei unter anderem der Umgang mit der Gruppe der Unentschlossenen.

"Die Lehren aus den Umfragen zur Wahl von US-Präsident Donald Trump oder zum Referendum über den Brexit zeigen, dass man an bestimmte Zielgruppen nicht herankommt", erklärt Experte Wind. Die Gruppe der Unentschlossenen würde bei vielen Umfragen herausgerechnet, auch bei der Sonntagsfrage des ARD-Deutschlandtrends. Wind: "Das ist ein Problem, denn das können 20 Prozent oder mehr sein."

Politikwissenschaftler Brettschneider erklärt weiter: Zum Beispiel würden sich viele Trump-Anhänger an Umfragen prinzipiell nicht beteiligen, weil diese in ihren Augen wie die "Lügenpresse" zum Establishment gehörten.

"Da sie früher auch nicht wählen gegangen sind, ist das nicht ins Gewicht gefallen", so Brettschneider. "Jetzt nehmen sie an Wahlen teil – und das führt zu Abweichungen zwischen Umfrage- und Wahlergebnissen."

Auswertung und Transparenz

Auch die Art der Befragung kann sich auf die Repräsentativität von Umfragen auswirken. Gespräche übers Festnetz gelten als besonders aussagekräftig, weil sie regional zuzuordnen sind und die Interviewten sich Zeit für ein Gespräch nehmen können. Bei Befragungen am Mobiltelefon ist hingegen unklar, wo sich die Person gerade aufhält und ob sie ansprechbar ist. Online-Befragungen sind einfacher in der Erhebung, aber häufig anonym und erfassen nur Personen, die sich im Internet bewegen.

Um die Stichprobenqualität zu verbessern, werden deshalb von den Meinungsforschungsinstituten unterrepräsentierte Gruppen stärker gewichtet. Für Demoskopie-Experte Wind fängt es in diesem Moment an, "geheimnisvoll zu werden", denn die Institute würden ihre Gewichtungsformeln nur selten transparent machen.

Neben den Gewichtungsformeln sind auch Auswertung und Analyse von Wahlumfragen anfällig für Fehlerquellen. Denn die statistisch einkalkulierte Abweichquote zwischen zwei und drei Prozent steht bei den Informationen zu den Umfragen häufig nur im Kleingedruckten und wird bei der Veröffentlichung nicht immer erwähnt.

Bei einer möglichen Abweichung von 2,5 Prozent könnte also eine Partei, die in den Umfragen bei 50 Prozent liegt, in Wirklichkeit auch einen Stimmenanteil von 47,5 Prozent oder 52,5 Prozent aufweisen - also könnte es in diesem Fall sogar bedeuten, dass eine Partei die absolute Mehrheit hat, oder eben nicht. 

Präzision der Ergebnisse

Trotz der zahlreichen Unsicherheitsfaktoren fielen die Umfragen zu den Bundestagswahlen in den vergangenen 20 Jahren erstaunlich präzise aus. Wie aus den auf den Plattformen wahlrecht.de und dawum.de veröffentlichten Daten hervorgeht, überschritten die Umfragen nur zweimal die übliche Fehlerspannbreite von drei Prozent.

Aus einer Auswertung von Umfragedaten seit 2001 durch ZEIT ONLINE geht hervor, dass die Wahlergebnisse der einzelnen Parteien im Mittel auf 1,74 Prozentpunkte genau vorhergesagt wurden. Betrachtet man nur die letzten zehn Jahre, also 2011 bis 2021, hat die Abweichung im Durchschnitt um 0,41 Prozentpunkte zugenommen.

Die Union wurde bei den Bundestagswahlen 2017 von allen Meinungsforschungsinstituten deutlich überschätzt, die größte Abweichung lag bei 4,1 Prozent (siehe Grafik). 2005 erreichten die Abweichquoten für die Union sogar bis zu sieben Prozent.

"Keine Veränderung der Umfragequalität"

ZEIT Daten-Journalist Christian Endt vermutet, dass die zunehmende Abweichung mit dem Erfolg der AfD und der zunehmenden Zersplitterung des Parteienspektrums zusammenhängen könnte. "Ansonsten", so Endt, "lässt sich im zeitlichen Verlauf seit 2001 keine Veränderung der Umfragequalität feststellen".

Berücksichtigt wurden bei der Datenanalyse von ZEIT ONLINE knapp 500 Umfragen, die in den letzten 30 Tagen vor dem Wahltag erschienen sind. Zu den untersuchten Parteien gehörten CDU/CSU, SPD, Grüne, AfD und Linke. 

Die internationale Metaanalyse "Election polling errors across time and space” kommt zu demselben Ergebnis. "Es gibt keine Evidenz für die Zunahme von Fehlern", heißt es in der Studie. Zwischen 1940 und 1950 sowie 1960 und 1970 sei eine Abweichquote von 2,1 Prozent ermittelt worden, seit dem Jahr 2000 liege diese konstant bei zwei Prozent.

Die Autoren stellen allerdings fest, dass die Größe politischer Parteien Einfluss auf die Präzision von Wahlumfragen haben kann. "Je größer die Partei und ihr Kampf um den Machterhalt, desto größer die Abweichquoten", heißt es in der Studie, "insbesondere wenn die Umfragewerte eng beieinander liegen, wie 2015 in Großbritannien oder 2016 in den USA".

Fazit: Auch wenn Wahlumfragen besser sind als ihr Ruf, gibt es immer wieder Abweichungen, die über der üblichen Quote von zwei bis drei Prozent liegen. Denn die politischen Unwägbarkeiten haben trotz gleichbleibender Umfragequalität zugenommen. Besonders deutlich wurde dies bei der Landtagswahl von Sachsen-Anhalt am 6. Juni 2021. Die Umfragen hatten für den Urnengang nicht den klaren Sieg der CDU, sondern ein Kopf-an-Kopf-Rennen zwischen CDU und AfD vorhergesagt. Auch die zuweilen unpräzise Auswertung bei der Berichterstattung über Umfragen kann Ungenauigkeiten verstärken.