II Edycja Konkursu o Puchar Pytii rozstrzygnięta

Na posiedzeniu w dniu 17 listopada 2015 r. na Wydziale Fizyki, Astronomii i Informatyki Stosowanej Uniwersytetu Jagiellońskiego Kapituła rozstrzygnęła II Edycję Konkursu o Puchar Pytii, organizowanego przez Centrum Badań Ilościowych nad Polityką UJ.

 

Kapituła uwzględniła w konkursie sondaże przeprowadzone i opublikowane w ostatnim miesiącu przed wyborami do Sejmu i Senatu wyznaczonymi na 25 października 2015 r. Dla ośrodków, które przeprowadziły więcej niż jeden sondaż w tym okresie, uwzględniono jedynie ostatni sondaż przed wyborami.

Do konkursu dopuszczono sondaże dziesięciu ośrodków: Ariadna, CBOS, Estymator, GfK Polonia, IBRIS, IPSOS, Millward Brown, PP / ROBOP, TNS Polska i Viavox Call Contact Center.

Dla każdego rozpatrywanego sondażu Kapituła uwzględniła wyłącznie wyniki w formie publikowanej, przy czym w przypadku, gdy różne źródła podawały wyniki tego samego sondażu z różną dokładnością, uwzględniono najbardziej dokładne źródło.

Przy ocenie trafności sondażu brane pod uwagę były wyniki ośmiu komitetów wyborczych, które zarejestrowały listy w całym kraju oraz zbiorczy wynik pozostałych komitetów. W przypadku sondaży, dla których wyniku takiego nie publikowano, Kapituła ustaliła go, odejmując sumę wyników wymienionych ośmiu komitetów od odsetka wyborców, którzy wskazali w sondażu swoje preferencje.

Przed porównaniem wyniki zostały znormalizowane tak, aby rezultaty wszystkich komitetów sumowały się do 100%.

Dla porównania w załączonych tabelach zamieszczono też wyniki sondaży exit poll late poll. Sondaże te nie były jednak brane pod uwagę przy przyznawaniu nagrody.

 

Sondaże zostały porównane przy użyciu czterech metryk – patrz M. M. Deza, E. Deza, Encyclopedia of Distances, Springer 2014, rozdz. 14. Jako podstawową wielkość opisującą dokładność poszczególnego sondażu przyjęto kąt statystyczny DSTAT pomiędzy rezultatem sondażu a wynikami wyborów. Kąt DSTAT zdefiniowany jest (Bhattacharyya 1943) jako arcus cosinus współczynnika Bhattacharyi. Dodatkowo analizowano odległość „miejską" L1 (definiowaną jako suma modułów błędów), odległość euklidesową L2 (definiowaną jako pierwiastek z sumy kwadratów błędów) oraz odległość Czebyszowa L (definiowaną jako maksimum z modułów błędów).

 

W przypadku wszystkich czterech metryk najbliższy oficjalnemu wynikowi wyborów ustalonemu przez Państwową Komisję Wyborczą był sondaż TNS Polska, przeprowadzony w dniu 21 października 2015 r. Ponadto sondaż ten najtrafniej przewidział wyniki czterech z ośmiu komitetów, które zarejestrowały listy w całym kraju, w tym – z dokładnością do 0,25 punktu procentowego – dwóch ugrupowań, które uzyskały najwięcej głosów (Prawa i Sprawiedliwości i Platformy Obywatelskiej).

W związku z powyższym Kapituła przyznała Złoty Puchar Pytii firmie TNS Polska.

 

Drugie i trzecie miejsce według trzech metryk (DSTAT, L1 i L2) uzyskały odpowiednio sondaż IBRIS przeprowadzony 22 października 2015 r. oraz sondaż Estymator przeprowadzony 21 października 2015 r. Względem metryki LMAX oba sondaże zajęły medalowe miejsca w odwrotnej kolejności.

Dlatego Kapituła postanowiła przyznać wyróżnienia firmom IBRIS i Estymator.

 

Ze względu na brak ogólnopolskich sondaży odnoszących się do wyborów do Senatu w tej kategorii żadnych nagród nie przyznano.

 

Dodatkowo Kapituła oceniła trafność predykcji podziału mandatów w Sejmie. Ze względu na fakt, że – przy uwzględnieniu tylko ostatnich danych publikowanych przez każdy ośrodek – żadna z rozpatrywanych predykcji nie wskazywała na uzyskanie samodzielnej większości głosów przez Komitet Wyborczy Prawa i Sprawiedliwości, ani też nie wskazała poprawnie, które komitety będą reprezentowane w parlamencie, Kapituła postanowiła nie przyznawać w tej kategorii Złotego Pucharu Pytii.

Kapituła zadecydowała jednak o przyznaniu wyróżnienia p. Marcinowi Palade, którego prognoza – aczkolwiek również obarczona wymienionymi błędami – była najmniej odległa od rzeczywistego rozkładu mandatów w Sejmie zarówno według metryki DSTAT, jak i według metryk L1 i L2.

Tabela 1. Sondaże rozpatrywane w konkursie

Wyniki sondaży (po jednym ostatnim dla każdego ośrodka) znormalizowane tak, by głosy na wszystkie komitety sumowały się do 100% (z dokładnością do 0,1%)

 

PiS

PO

Kukiz'15

Nowoczesna

Zjednoczona Lewica

PSL

KORWiN

Partia Razem

Pozostali

Rozmiar próby

Ariadna
20-21 X 2015

35.0%

24.0%

9.0%

8.0%

12.0%

4.0%

8.0%

0.0%

0.0%

1006

CBOS
15-21 X 2015

40.5%

28.4%

7.2%

6.1%

7.2%

5.6%

3.9%

0.3%

0.8%

1114

Estymator
21-22 X 2015

37.0%

23.0%

8.0%

6.0%

8.0%

6.0%

6.0%

5.0%

1.0%

1501

GfK Polonia
1-6 X 2015

43.7%

27.1%

5.7%

5.1%

5.9%

5.6%

4.1%

0.0%

2.8%

1020

IBRIS
22-23 X 2015

37.4%

22.4%

10.2%

7.8%

8.9%

5.5%

3.7%

3.4%

0.7%

2000

IPSOS
17-22 X 2015

38.3%

22.1%

12.5%

6.6%

8.1%

6.5%

3.5%

1.7%

0.7%

3003

MillwardBrown
20-22 X 2015

36.8%

23.0%

6.9%

9.2%

  10.3%

5.7%

6.9%

1.1%

0.0%

1019

PP/ROBOP
16-19 X 2015

39.5%

24.5%

7.5%

6.0%

9.0%

6.0%

4.5%

2.0%

1.0%

8000

TNS Polska
21 X 2015

37.8%

24.1%

9.1%

6.6%

8.6%

4.8%

4.9%

3.5%

0.6%

1002

Viavox
20-22 X 2015

35.3%

25.3%

6.5%

8.8%

  10.1%

5.6%

5.9%

2.6%

0.0%

1040

Exit poll
25 X 2015

39.1%

23.4%

9.0%

7.1%

6.6%

5.2%

4.9%

3.9%

0.8%

 

Late poll (50% komisji)
26 X 2015 1:30

38.0%

23.4%

9.1%

7.2%

7.0%

5.7%

4.9%

3.9%

0.8%

 

Late poll (90% komisji)
26 X 2015 5:50

37.7%

23.6%

8.7%

7.5%

7.7%

5.2%

4.9%

3.9%

0.8%

 

Wybory

37.6%

24.1%

8.8%

7.6%

7.6%

5.1%

4.8%

3.6%

0.9%

 

 

Tabela 2. Ocena dokładności sondaży

 

Rozmiar próby

DSTAT =
Kąt statystyczny

L1 =
suma modułów błędów

L2 =
pierwiastek z sumy kwadratów błędów

LINF =
max z modułów błędów

TNS Polska
21 X 2015

1002

0.0325

0.0345

0.0157

0.0105

IBRIS
22-23 X 2015

2000

0.0474

0.0663

0.0283

0.0169

Estymator
21-22 X 2015

1501

0.0598

0.0815

0.0303

0.0160

PP/ROBOP
16-19 X 2015

8000

0.0720

0.0957

0.0371

0.0192

IPSOS
17-22 X 2015

3003

0.0980

0.1268

0.0516

0.0369

Viavox
20-22 X 2015

1040

0.1219

0.1299

0.0481

0.0254

MillwardBrown
20-22 X 2015

1019

0.1488

0.1430

0.0526

0.0280

CBOS
15-21 X 2015

1114

0.1515

0.1541

0.0664

0.0431

GfK Polonia
1-6 X 2015

1020

0.2287

0.2307

0.0909

0.0612

Ariadna
20-21 X 2015

1006

0.2361

0.1657

0.0723

0.0445

Exit poll
25 X 2015

 

0.0264

0.0442

0.0202

0.0152

Late poll (50% komisji)
26 X 2015 1:30

 

0.0217

0.0342

0.0127

0.0069

Late poll (90% komisji)
26 X 2015 5:50

 

0.0110

0.0154

0.0064

0.0049

Wybory

 

0.0000

0.0000

0.0000

0.0000

 

 

Tabela 3. Predykcje podziału mandatów w Sejmie

 

PiS

PO

Kukiz'15

Nowoczesna

Zjednoczona Lewica

PSL

KORWiN

Partia Razem

MN

Estymator

210

135

33

11

37

22

10

1

1

IBRIS (sondaż
      dla Radia Zet)

213

116

44

29

41

16

 

 

1

IBRIS (prognoza)

225

132

24

15

45

18

 

 

1

IPSOS

213

116

58

20

30

22

 

 

1

PP/ROBOP

224

140

27

11

35

22

 

 

1

TNS Polska

223

132

42

22

41

0

 

 

0

Marcin Palade

221

127

41

16

31

23

 

 

1

Exit poll

242

133

44

22

 

18

 

 

1

Late poll
(50% komisji)

238

135

44

24

 

18

 

 

1

Late poll
(90% komisji)

232

137

42

30

 

18

 

 

1

Wybory

235

138

42

28

 

16

 

 

1

 

Tabela 4. Ocena dokładności predykcji

 

DSTAT =
Kąt statystyczny

L1 =
suma modułów błędów

L2 =
pierwiastek z sumy kwadratów błędów

LINF =
max z modułów błędów

Marcin Palade

0.272

76

38.37

31

IPSOS

0.272

104

47.16

30

PP/ROBOP

0.300

86

43.59

35

IBRIS (sondaż
dla Radia Zet)

0.305

88

51.52

41

IBRIS (prognoza)

0.330

94

51.56

45

Estymator

0.343

108

50.10

37

TNS Polska

0.359

82

46.41

41

Exit poll

0.034

22

10.86

7

Late poll
(50% komisji)

0.024

14

  6.48

4

Late poll
(90% komisji)

0.015

  8

  4.24

3

Wybory

0.000

  0

  0.00

0