II Edycja Konkursu o Puchar Pytii rozstrzygnięta
Na posiedzeniu w dniu 17 listopada 2015 r. na Wydziale Fizyki, Astronomii i Informatyki Stosowanej Uniwersytetu Jagiellońskiego Kapituła rozstrzygnęła II Edycję Konkursu o Puchar Pytii, organizowanego przez Centrum Badań Ilościowych nad Polityką UJ.
Kapituła uwzględniła w konkursie sondaże przeprowadzone i opublikowane w ostatnim miesiącu przed wyborami do Sejmu i Senatu wyznaczonymi na 25 października 2015 r. Dla ośrodków, które przeprowadziły więcej niż jeden sondaż w tym okresie, uwzględniono jedynie ostatni sondaż przed wyborami.
Do konkursu dopuszczono sondaże dziesięciu ośrodków: Ariadna, CBOS, Estymator, GfK Polonia, IBRIS, IPSOS, Millward Brown, PP / ROBOP, TNS Polska i Viavox Call Contact Center.
Dla każdego rozpatrywanego sondażu Kapituła uwzględniła wyłącznie wyniki w formie publikowanej, przy czym w przypadku, gdy różne źródła podawały wyniki tego samego sondażu z różną dokładnością, uwzględniono najbardziej dokładne źródło.
Przy ocenie trafności sondażu brane pod uwagę były wyniki ośmiu komitetów wyborczych, które zarejestrowały listy w całym kraju oraz zbiorczy wynik pozostałych komitetów. W przypadku sondaży, dla których wyniku takiego nie publikowano, Kapituła ustaliła go, odejmując sumę wyników wymienionych ośmiu komitetów od odsetka wyborców, którzy wskazali w sondażu swoje preferencje.
Przed porównaniem wyniki zostały znormalizowane tak, aby rezultaty wszystkich komitetów sumowały się do 100%.
Dla porównania w załączonych tabelach zamieszczono też wyniki sondaży exit poll i late poll. Sondaże te nie były jednak brane pod uwagę przy przyznawaniu nagrody.
Sondaże zostały porównane przy użyciu czterech metryk – patrz M. M. Deza, E. Deza, Encyclopedia of Distances, Springer 2014, rozdz. 14. Jako podstawową wielkość opisującą dokładność poszczególnego sondażu przyjęto kąt statystyczny DSTAT pomiędzy rezultatem sondażu a wynikami wyborów. Kąt DSTAT zdefiniowany jest (Bhattacharyya 1943) jako arcus cosinus współczynnika Bhattacharyi. Dodatkowo analizowano odległość „miejską" L1 (definiowaną jako suma modułów błędów), odległość euklidesową L2 (definiowaną jako pierwiastek z sumy kwadratów błędów) oraz odległość Czebyszowa L∞ (definiowaną jako maksimum z modułów błędów).
W przypadku wszystkich czterech metryk najbliższy oficjalnemu wynikowi wyborów ustalonemu przez Państwową Komisję Wyborczą był sondaż TNS Polska, przeprowadzony w dniu 21 października 2015 r. Ponadto sondaż ten najtrafniej przewidział wyniki czterech z ośmiu komitetów, które zarejestrowały listy w całym kraju, w tym – z dokładnością do 0,25 punktu procentowego – dwóch ugrupowań, które uzyskały najwięcej głosów (Prawa i Sprawiedliwości i Platformy Obywatelskiej).
W związku z powyższym Kapituła przyznała Złoty Puchar Pytii firmie TNS Polska.
Drugie i trzecie miejsce według trzech metryk (DSTAT, L1 i L2) uzyskały odpowiednio sondaż IBRIS przeprowadzony 22 października 2015 r. oraz sondaż Estymator przeprowadzony 21 października 2015 r. Względem metryki LMAX oba sondaże zajęły medalowe miejsca w odwrotnej kolejności.
Dlatego Kapituła postanowiła przyznać wyróżnienia firmom IBRIS i Estymator.
Ze względu na brak ogólnopolskich sondaży odnoszących się do wyborów do Senatu w tej kategorii żadnych nagród nie przyznano.
Dodatkowo Kapituła oceniła trafność predykcji podziału mandatów w Sejmie. Ze względu na fakt, że – przy uwzględnieniu tylko ostatnich danych publikowanych przez każdy ośrodek – żadna z rozpatrywanych predykcji nie wskazywała na uzyskanie samodzielnej większości głosów przez Komitet Wyborczy Prawa i Sprawiedliwości, ani też nie wskazała poprawnie, które komitety będą reprezentowane w parlamencie, Kapituła postanowiła nie przyznawać w tej kategorii Złotego Pucharu Pytii.
Kapituła zadecydowała jednak o przyznaniu wyróżnienia p. Marcinowi Palade, którego prognoza – aczkolwiek również obarczona wymienionymi błędami – była najmniej odległa od rzeczywistego rozkładu mandatów w Sejmie zarówno według metryki DSTAT, jak i według metryk L1 i L2.
Tabela 1. Sondaże rozpatrywane w konkursie
Wyniki sondaży (po jednym ostatnim dla każdego ośrodka) znormalizowane tak, by głosy na wszystkie komitety sumowały się do 100% ( dokładnością do 0,1%)
PiS |
PO |
Kukiz'15 |
Nowoczesna |
Zjednoczona Lewica |
PSL |
KORWiN |
Partia Razem |
Pozostali |
Rozmiar próby |
|
Ariadna 20-21 X 2015 |
35.0% |
24.0% |
9.0% |
8.0% |
12.0% |
4.0% |
8.0% |
0.0% |
0.0% |
1006 |
CBOS 15-21 X 2015 |
40.5% |
28.4% |
7.2% |
6.1% |
7.2% |
5.6% |
3.9% |
0.3% |
0.8% |
1114 |
Estymator |
37.0% |
23.0% |
8.0% |
6.0% |
8.0% |
6.0% |
6.0% |
5.0% |
1.0% |
1501 |
GfK Polonia |
43.7% |
27.1% |
5.7% |
5.1% |
5.9% |
5.6% |
4.1% |
0.0% |
2.8% |
1020 |
IBRIS |
37.4% |
22.4% |
10.2% |
7.8% |
8.9% |
5.5% |
3.7% |
3.4% |
0.7% |
2000 |
IPSOS |
38.3% |
22.1% |
12.5% |
6.6% |
8.1% |
6.5% |
3.5% |
1.7% |
0.7% |
3003 |
MillwardBrown |
36.8% |
23.0% |
6.9% |
9.2% |
10.3% |
5.7% |
6.9% |
1.1% |
0.0% |
1019 |
PP/ROBOP |
39.5% |
24.5% |
7.5% |
6.0% |
9.0% |
6.0% |
4.5% |
2.0% |
1.0% |
8000 |
TNS Polska |
37.8% |
24.1% |
9.1% |
6.6% |
8.6% |
4.8% |
4.9% |
3.5% |
0.6% |
1002 |
Viavox |
35.3% |
25.3% |
6.5% |
8.8% |
10.1% |
5.6% |
5.9% |
2.6% |
0.0% |
1040 |
Exit poll |
39.1% |
23.4% |
9.0% |
7.1% |
6.6% |
5.2% |
4.9% |
3.9% |
0.8% |
|
Late poll (50% komisji) |
38.0% |
23.4% |
9.1% |
7.2% |
7.0% |
5.7% |
4.9% |
3.9% |
0.8% |
|
Late poll (90% komisji) |
37.7% |
23.6% |
8.7% |
7.5% |
7.7% |
5.2% |
4.9% |
3.9% |
0.8% |
|
Wybory |
37.6% |
24.1% |
8.8% |
7.6% |
7.6% |
5.1% |
4.8% |
3.6% |
0.9% |
Tabela 2. Ocena dokładności sondaży
Rozmiar próby |
DSTAT = |
L1 = |
L2 = |
LINF = |
|
TNS Polska |
1002 |
0.0325 |
0.0345 |
0.0157 |
0.0105 |
IBRIS |
2000 |
0.0474 |
0.0663 |
0.0283 |
0.0169 |
Estymator |
1501 |
0.0598 |
0.0815 |
0.0303 |
0.0160 |
PP/ROBOP |
8000 |
0.0720 |
0.0957 |
0.0371 |
0.0192 |
IPSOS |
3003 |
0.0980 |
0.1268 |
0.0516 |
0.0369 |
Viavox |
1040 |
0.1219 |
0.1299 |
0.0481 |
0.0254 |
MillwardBrown |
1019 |
0.1488 |
0.1430 |
0.0526 |
0.0280 |
CBOS 15-21 X 2015 |
1114 |
0.1515 |
0.1541 |
0.0664 |
0.0431 |
GfK Polonia |
1020 |
0.2287 |
0.2307 |
0.0909 |
0.0612 |
Ariadna |
1006 |
0.2361 |
0.1657 |
0.0723 |
0.0445 |
Exit poll |
|
0.0264 |
0.0442 |
0.0202 |
0.0152 |
Late poll (50% komisji) |
|
0.0217 |
0.0342 |
0.0127 |
0.0069 |
Late poll (90% komisji) |
|
0.0110 |
0.0154 |
0.0064 |
0.0049 |
Wybory |
|
0.0000 |
0.0000 |
0.0000 |
0.0000 |
Tabela 3. Predykcje podziału mandatów w Sejmie
PiS |
PO |
Kukiz'15 |
Nowoczesna |
Zjednoczona Lewica |
PSL |
KORWiN |
Partia Razem |
MN |
|
Estymator |
210 |
135 |
33 |
11 |
37 |
22 |
10 |
1 |
1 |
IBRIS (sondaż |
213 |
116 |
44 |
29 |
41 |
16 |
|
1 |
|
IBRIS (prognoza) |
225 |
132 |
24 |
15 |
45 |
18 |
|
1 |
|
IPSOS |
213 |
116 |
58 |
20 |
30 |
22 |
|
1 |
|
PP/ROBOP |
224 |
140 |
27 |
11 |
35 |
22 |
|
1 |
|
TNS Polska |
223 |
132 |
42 |
22 |
41 |
0 |
|
0 |
|
Marcin Palade |
221 |
127 |
41 |
16 |
31 |
23 |
|
1 |
|
Exit poll |
242 |
133 |
44 |
22 |
18 |
|
1 |
||
Late poll |
238 |
135 |
44 |
24 |
18 |
|
1 |
||
Late poll |
232 |
137 |
42 |
30 |
18 |
|
1 |
||
Wybory |
235 |
138 |
42 |
28 |
16 |
|
1 |
Tabela 4. Ocena dokładności predykcji
DSTAT = |
L1 = |
L2 = |
LINF = |
|
Marcin Palade |
0.272 |
76 |
38.37 |
31 |
IPSOS |
0.272 |
104 |
47.16 |
30 |
PP/ROBOP |
0.300 |
86 |
43.59 |
35 |
IBRIS (sondaż |
0.305 |
88 |
51.52 |
41 |
IBRIS (prognoza) |
0.330 |
94 |
51.56 |
45 |
Estymator |
0.343 |
108 |
50.10 |
37 |
TNS Polska |
0.359 |
82 |
46.41 |
41 |
Exit poll |
0.034 |
22 |
10.86 |
7 |
Late poll |
0.024 |
14 |
6.48 |
4 |
Late poll |
0.015 |
8 |
4.24 |
3 |
Wybory |
0.000 |
0 |
0.00 |
0 |
Osoba publikująca: Dariusz Stolicki