Dlaczego sondaże przegrywają z rzeczywistością

“Mądrość tłumu” (ang. the wisdom of crowd) to ciekawa obserwacja, mówiąca o tym, że średnia ze zbiorowo udzielonych odpowiedzi “tłumu” jest często lepsza niż odpowiedzi ekspertów. Co ciekawe ta właściwość jest zachowana nawet jeśli tłum składa się w większości z osób, które wcale nie znają się na badanej kwestii (sic!).

Żeby zrozumieć jak to możliwe powinniśmy wyobrazić sobie każdego uczestnika badania, jako osobę, która stara się poprawnie odpowiedzieć na pytanie (np. “Czy uważasz, że Polska jest w TOP 10 najbezpieczniejszych krajów pod względem małej liczby przestępczości?”), ale jest wprowadzana w błąd przez niekompletne informacje i całą znaną psychologii listę błędów poznawczych. 

Jako rezultat - każda odpowiedź (czerwone kropki) w prowadzonym sondażu ma pewien element losowości - kończą rozłożone wokół pewnej prawdziwej wartości z małymi i dużymi odchyleniami w losowe strony (w zależności od ilości posiadanej wiedzy i wspomnianych błędów poznawczych). Ponieważ błędy mają charakter losowy (jedni się mylą w jedną stronę, inni w drugą) - uśrednienie wszystkich odpowiedzi pozwala obliczyć środek - naszą niebieską kropkę - czyli de facto poprawną odpowiedź (matematycy powiedzą, że to dzięki prawu wielkich liczb i centralnemu twierdzeniu granicznemu).

Źle dobrana próba

Sondaże działają dobrze jeśli mamy grupę z dużym rozproszeniem opinii na dany temat. Problem zaczyna się wtedy, gdy błędy przestają być losowe, a stają się systematyczne. Czyli gdy cała próba badawcza — mimo że dobrana „zgodnie ze sztuką” — myli się w tę samą stronę. 

Przykład? Jeśli zapytamy, który kraj produkuje najlepsze samochody na świecie, a w naszej grupie badawczej będą tylko… Niemcy. Albo tylko Japończycy 😉 To klasyczny przypadek błędu selekcji (ang. selection bias). Problem polega na tym, że taki sondaż nadal wygląda wiarygodnie — bo ma niską wariancję (odpowiedzi nie “rozjeżdżają się” w różne strony) — ale jego średnia jest przesunięta względem prawdy.

Sondaże wyborcze

Szczególnym przypadkiem sondaży są sondaże deklaratywne przed wyborami, gdzie interesuje nas zachowanie samego respondenta (np. „Na kogo zamierzasz zagłosować?”). Chociaż teoretycznie uczestnik badania powinien wiedzieć najlepiej co sam zrobi w przyszłości, dalej mamy tutaj przypadki tzw. social desirability bias („nie powiem prawdy, bo się wstydzę”) albo błędy w przewidywaniu własnego zachowania („jeszcze nie wiem, ale coś kliknę”).

Co ważniejsze, w takich sondażach również spotykamy się ze źle dobraną próbą. Najczęstszym przypadkiem są często krytykowane sondaże CAWI (online), gdzie próba badawcza często nie reprezentuje w sposób wiarygodny np. osób starszych (które statystycznie rzadziej korzystają z internetu). W pozostałych metodach jest to jednak równie niebezpieczne, wystarczy, że w naszej próbie losowo dobranych numerów telefonów znajdzie się np. zbyt dużo osób z większych miejscowości.

Sondaże 2.0

Żeby walczyć z problemem źle dobranej próby, firmy badawcze stosują tzw. ważenie odpowiedzi. Jeśli np. w próbie jest zbyt dużo młodych ludzi, ich odpowiedzi są „odchudzane”, a odpowiedzi osób starszych — „doważane”, żeby całość lepiej oddawała strukturę społeczeństwa. Czasem stosuje się też bardziej złożone modele statystyczne, które próbują przewidzieć, kto faktycznie pójdzie do urn, a kto tylko deklaruje. To wszystko ma sens — ale ma też cenę. Bo każde takie ważenie to dodatkowe założenie: że wiemy, jak powinno być. A jeśli się mylimy — np. zakładamy, że starsi głosują tak samo jak kiedyś, a tymczasem zmienili zdanie — to nasza korekta nie tylko nie pomaga, ale wręcz pogarsza sytuację.

Nadchodzą Rynki Predykcyjne

Skoro sondaże mają tyle słabości, to co może je zastąpić? Tu pojawia się ciekawa alternatywa: rynek predykcyjny (ang. prediction market). To coś w rodzaju giełdy — ale nie handlujemy tam akcjami, tylko… przyszłością (a dokładniej pozycjami na przyszłe zdarzenia).

Działa to bardzo prosto. Załóżmy, że mamy pytanie: „Czy rakieta SpaceX wystartuje zgodnie z planem?” Rynek otwiera się od ceny 50 groszy za „TAK” i 50 groszy za „NIE”. Każdy może kupić dowolną pozycję. Jeśli kupię pozycję „TAK” za 50 groszy i rakieta wystartuje, dostanę 1 złotówkę (podwajam zainwestowaną kwotę!). Jeśli się pomylę - tracę wszystko. 

Dlaczego to działa? Bo żeby zarobić, muszę dobrze ocenić prawdopodobieństwo. Jeśli wiem, że SpaceX ma 95% skuteczności w takich startach, a cena za „TAK” to tylko 50 groszy, to mam okazję na (prawie) pewny zysk. Jak to na rynku - cena zależy od popytu i podaży. Jeśli 100 osób będzie chciało kupić “TAK”, a tylko 10 osób “NIE”, naturalnie cena pozycji “TAK” będzie warta dużo, dużo więcej. W ten sposób wraz z upływem czasu ceny pozycji TAK i NIE stabilizują się na poziomie rynkowego konsensusu - zbliżonym do realnego prawdopodobieństwa wystąpienia zdarzenia (np. 90 groszy za “TAK” - może być interpretowane jako 90% szans na wystąpienie zdarzenia, oraz 10 groszy za “NIE” - reprezentuje 10% szans, że zdarzenie jednak nie zajdzie).

Jest to więc kluczowa różnica względem sondażu: na rynku predykcyjnym ludzie mają motywację (finansową), żeby się nie mylić.

Motywacja do bycia precyzyjnym

W sondażu możesz kliknąć cokolwiek. Nikogo to nie kosztuje, więc często nie myślisz zbyt długo. Na rynku predykcyjnym każde kliknięcie ma cenę — a błędna decyzja boli portfel. To sprawia, że ludzie zaczynają naprawdę myśleć. Grzebać w danych, sprawdzać źródła, walczyć ze swoimi błędami poznawczymi.

Oczywiście można argumentować, że osoba z większym portfelem nie jest wcale lepszym ekspertem od kogoś biedniejszego. Nie chodzi jednak wcale o Twój stan konta, ale o to jak dużą masz pewność swojej predykcji = ile jesteś gotów za tą konkretną predykcję zapłacić. Student Politechniki może nie mieć na koncie tyle pieniędzy co sprzedawca nieruchomości, może mieć jednak większą wiedzę o rozwoju AI i przez to chcieć postawić znacznie większą kwotę na prognozę “Który model AI będzie najlepszy pod koniec 2025 roku?”.

W przeciwieństwie do sondaży, które traktują każdą odpowiedź równo (niezależnie od tego, czy pochodzi od eksperta, trolla czy losowego użytkownika), rynki predykcyjne ważą odpowiedzi nie na podstawie deklaracji, tylko na podstawie stawianej kwoty (która reprezentuje poziom wiedzy, a tym samym pewności uczestnika w swoją predykcję).

Można również argumentować, że rynek samodzielnie “uczy się”, kto ma rację. Dobry gracz, który regularnie podejmuje trafne decyzje, zarabia pieniądze i w kolejnych pytaniach może wpływać na rynek bardziej. Kto się często myli — szybko traci środki. To jak automatyczny mechanizm ważenia: lepsi gracze mają większy głos, a słabsi są filtrowani przez rynek (albo przestają uczestniczyć bo boli ich portfel, albo muszą zacząć być bardziej dokładni w swoich prognozach żeby zacząć wygrywać).

Jak rynki predykcyjne radzą sobie z błędem selekcji?

Błąd selekcji polega na tym, że wyniki sondażu są zafałszowane, bo pytamy niewłaściwą grupę ludzi — np. tylko młodych, tylko z miast, tylko z jednego środowiska. W sondażach to ogromny problem, bo nie każdy chce lub może wziąć udział, a sondażownia musi zgadywać, kogo jej zabrakło i jak to "przeliczyć".

Rynki predykcyjne radzą sobie z tym inaczej - są otwarte na wszystkich. Nie próbują odfiltrować nikogo na podstawie sztucznie przyjętych założeń. Podają aktualną cenę (konsensus rynkowy) i mówią: „Jeśli uważasz, że reszta się myli, to możesz na tym zarobić.”

Krótko mówiąc: rynek nie próbuje „zgadywać”, kto powinien być reprezentowany — tylko daje szansę każdemu, kto ma coś wartościowego do wniesienia.

Merytokracja

"Demokracja to system w którym dwóch meneli spod budki z piwem ma dwa głosy, a profesor uniwersytetu - jeden". - Janusz Korwin-Mikke

Znamy wszyscy trochę żartobliwy cytat z Janusza Korwin-Mikkego. W sondażach, podobnie jak w wyborach, każdy głos ma taką samą wagę - niezależnie od wiedzy, doświadczenia czy trafności wcześniejszych osądów. Rynek predykcyjny działa odwrotnie - to nie demokracja, tylko merytokracja: większy wpływ mają ci, którzy mają rację, a nie ci, którzy są głośni.

Na rynku, jeśli ktoś regularnie przewiduje wydarzenia lepiej niż inni, to:

• zarabia pieniądze,
• ma więcej kapitału, by wpływać na kolejne prognozy,
• i zyskuje większy „głos” w ustalaniu prawdopodobieństwa danego zdarzenia.

Z kolei ktoś, kto często się myli, traci środki i przestaje być słyszalny. Nie trzeba go banować, uciszać ani punktować — rynek sam go „odfiltrowuje”. To jak naturalna selekcja trafnych prognoz.

Dzięki temu rynek predykcyjny nagradza trafność, a nie popularność. Nie interesuje go, ilu ludzi coś uważa — tylko jak bardzo są pewni i jak często mają rację. W efekcie działa bardziej jak system naukowy niż polityczny: hipotezy są testowane w praktyce, a tylko te zgodne z rzeczywistością się utrzymują.

Kolejna zaleta rynków predykcyjnych: są świetne w wyciąganiu ukrytej wiedzy. Wyobraź sobie, że ktoś wie coś, czego inni nie wiedzą — np. Profesor z Harvardu, który wie, że nowy silnik SpaceX ma realnie duże prawdopodobieństwo usterki po 20 startach. W sondażu jego głos zostanie zagłuszony przez tysiące mniej poinformowanych ludzi. Ale na rynku? Może postawić duże pieniądze, zarobić — i przesunąć cenę. Wynik? Informacja nie ginie — zostaje „wyceniona”.

Niewidzialna ręka rynku

Oczywiście rynki predykcyjne też nie są pozbawione wad. Może się zdarzyć, że osoby zamożniejsze będą próbowały narzucać swoje prognozy, albo że ludzie będą bali się ryzykować własnymi pieniędzmi. Ale jest jedna różnica: te błędy system automatycznie koryguje. Jeśli ktoś uparcie obstawia rzeczy, które się nie sprawdzają – traci pieniądze. A jeśli ktoś wie lepiej – zarabia.

Co więcej, nawet jeśli ktoś z dużym portfelem spróbuje zmanipulować rynek, na przykład masowo wykupując opcje „TAK” i windując ich cenę do 90 groszy, to tym samym otworzy pole do arbitrażu dla innych uczestników. Dla graczy, którzy nie zgadzają się z tą oceną, opcja „NIE” stanie się nagle bardzo atrakcyjna – będą mogli kupować ją po zaledwie 10 groszy. To stworzy impuls do reakcji: inni zaczną dokładać swoje pieniądze i równoważyć rynek, aż cena znów zacznie odzwierciedlać realne prawdopodobieństwo. To klasyczny przykład działania niewidzialnej ręki rynku. W efekcie: osoba próbująca wpłynąć na wynik traci pieniądze, a ci, którzy ją „skorygują”, zarabiają.

Taki system zachęca też do udziału osoby z różnych środowisk i o różnych poglądach. W sondażu możesz się nie zgadzać z ogólnym wynikiem, ale nic z tym nie zrobisz. W rynku – możesz zadziałać. Po prostu stawiasz pieniądze tam, gdzie twoim zdaniem leży prawda. I jeśli masz rację – zyskujesz. A przy okazji pomagasz innym zobaczyć, że większość może się mylić.

✨ Rynki predykcyjne to przyszłość prognozowania

Rynki predykcyjne nie są magiczną kulą, nie dają gwarancji nieomylności. Ale w świecie pełnym szumu informacyjnego, fałszywych przekonań i źle dobranych prób, dają coś bardzo cennego: realną motywację do poszukiwania prawdy i szansę na predykcje jakościowo lepsze od sondaży. Bo sondaż zapyta: „jak Ci się wydaje?”, a rynek mówi: „pokaż, czy jesteś gotów za to zapłacić”.