Plebiscyty na ulubiony bądź najlepszy album, które pod koniec każdego roku kalendarzowego są niemal masowo organizowane przez stacje radiowe i portale muzyczne, zawsze budziły w mnie mieszane uczucia. Ponieważ nie jestem odosobniony w tym zmieszaniu [dziękuję Arturowi Chachlowskiemu za osobiście przekazane słowa poparcia J - przyp. aut.], to dokonałem pewnej szczególnej analizy sposobów ich przeprowadzania. Dodatkową inspiracją był dla mnie artykuł Johna Haigha „Uses and limitations of mathematics in sport”, opublikowany w czasopiśmie IMA Journal of Management Mathematics (2009, Vol. 20 No. 2, str. 97-108). Brytyjski matematyk specjalizujący się m.in. w optymalnych strategiach różnych gier, w szczególności hazardowych, zasygnalizował w nim problem zależności ostatecznej klasyfikacji w rywalizacji sportowej od przyjętego systemu punktacji. Swoje spostrzeżenia zilustrował na przykładzie Mistrzostw Świata Formuły 1. Gdyby w 1950 roku stosowano punktację z lat 2003-09, to trójka najlepszych kierowców byłaby co prawda ta sama, ale zostaliby oni sklasyfikowani w innej kolejności. Przeprowadzone przeze mnie dodatkowe obliczenia pokazały, że punktacja obowiązująca obecnie (wprowadzona już po publikacji wspomnianego artykułu) dałaby jeszcze inną kolejność. Ponieważ reguły większości plebiscytów muzycznych są bardzo podobne do zasad klasyfikowania w sporcie, to można bez cienia wątpliwości przyjąć założenie, że problem jest właściwie analogiczny.
Nie mając dostępu do kompletu głosów uczestników jakiegokolwiek plebiscytu [nawet gdyby autor dysponował kompletem danych, to ich przetwarzanie prawdopodobnie zajęłoby mu zbyt wiele czasu i temat przestałby być aktualny - przyp. krytyka ;) ], jako przykładowe dane do analizy wykorzystałem głosy 19 współpracowników Małego Leksykonu Wielkich Zespołów opublikowane pod TYM adresem oraz częściowe wyniki dwudziestu Topów Wszech Czasów Listy Przebojów Programu 3 Polskiego Radio dostępne pod TYM adresem. Użyłem 9 identycznych sposobów punktacji dla obu zestawu danych:
(Z3) 3 typy punktowanych 3-2-1, tj. 3 pkt. za I miejsce, 2 pkt. za II miejsce i 1 pkt za III miejsce
(P3) 3 typy punktowane 5-3-1,
(Z5) 5 typów punktowanych 5-4-3-2-1,
(F6) 6 typów punktowanych 9-6-4-3-2-1,
(Z8) 8 typów punktowanych 8-7-6-5-4-3-2-1,
(P8) 8 typów punktowanych 10-8-6-5-4-3-2-1,
(Z10) 10 typów punktowanych 10-9-8-7-6-5-4-3-2-1,
(P10) 10 typów punktowanych 12-10-8-7-6-5-4-3-2-1,
(F10) 10 typów punktowanych 25-18-15-12-10-8-6-4-2-1
oraz dodatkowo trzech systemów dla drugiego z nich:
(Z15) 15 typów punktowanych 15-14-13-12-11-10-9-8-7-6-5-4-3-2-1,
(P15) 15 typów punktowanych 25-18-15-13-11-10-9-8-7-6-5-4-3-2-1,
(Z20) 20 typów punktowanych 20-19-...-1.
Dość istotną kwestią jest specyfika różnych punktacji, ponieważ będzie to miało znaczenie w kontekście ostatecznych wniosków. Postaram się zatem objaśnić pewne szczegóły różniące rozważane podejścia:
- liczba oznacza oczywiście ilość propozycji, które są uwzględniane w punktacji;
- metody oznaczone literą Z to standardowe punktowanie - najlepszy otrzymuje tyle punktów, ile zgłasza się propozycji, a każde następne miejsce daje o 1 punkt mniej;
- metody oznaczone literą P przyznają więcej punktów kilku najlepszym propozycjom niż standardowe (im wyższe miejsce, tym wyższa ewentualna premia), np. w przypadkach P3 i P10 najlepszy otrzymuje o 2 punkty więcej, a drugi z kolei 1 dodatkowy punkt w porównaniu z Z3 i Z10, odpowiednio;
- jako metody oznaczone literą F zostały użyte systemy obowiązujące we wspominanej Formule 1 (w latach 1961-1990 oraz obecny, używany od 2010 roku).
Co najmniej trzy z powyższych systemów zostały faktycznie zastosowane w polskich plebiscytach płytowych organizowanych w zakresie bardzo szeroko rozumianego rocka progresywnego:
- Z10 w plebiscycie słuchaczy Nocy Muzycznych Pejzaży na Album roku 2013 (Program III Polskiego Radio) oraz Plebiscycie Małego Leksykonu Wielkich Zespołów (Radio KRK),
- P15 w Prog-Plebiscycie 2013 portalu progrock.org.pl.
W większości sprawdzonych w ostatnich tygodniach zagranicznych progresywnych portali muzycznych [nazwy prawdopodobnie pominięto, żeby autor nie został posądzony o kryptoreklamę - przyp. krytyka], albo plebiscytów w ogóle nie organizowano i publikowane były jedynie subiektywne typy/zestawienia redaktorów bądź jakieś analizy czy też podsumowania w formie opisowej, albo głosowanie polegało na wskazaniu dokładnie jednej płyty i najzwyklejszym zliczeniu głosów. W tym drugim przypadku zwykle była to jedna z proponowanych kategorii, obok najlepszego zespołu, wokalisty/wokalistki, instrumentalistów, itd.
Po tym niewątpliwie nieco przydługim wprowadzeniu przyszedł czas na konkrety czyli przedstawienie efektów żmudnych obliczeń, oczywiście w dużym skrócie [a przynajmniej na początku wydawało mi się, że tak będzie - przyp. aut.]. Oto wyniki głosowania członków redakcji MLWZ obliczone przy użyciu kolejnych systemów punktacji (dla uproszczenia pomijam tytuły płyt):
(Z3)
1. Steven WILSON i RIVERSIDE
3. DEEP PURPLE i Clive NOLAN
5. AYREON I BIG BIG TRAIN
7. Nick CAVE & BAD SEEDS
8. The BLACK NOODLE PROJECT, PFM i STING
(P3)
1. RIVERSIDE
2. Steven WILSON i Clive NOLAN
4. DEEP PURPLE
5. AYREON i BIG BIG TRAIN
7. Nick CAVE & BAD SEEDS
8. PFM i STING
10. dziesięć płyt ex aequo
(Z5)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. Clive NOLAN
5. AYREON, BIG BIG TRAIN i The BLACK NOODLE PROJECT
8. Nick CAVE & BAD SEEDS
9. PFM, STING i MILLENIUM
(F6)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. Clive NOLAN
5. AYREON
6. BIG BIG TRAIN
7. Nick CAVE & BAD SEEDS
8. The BLACK NOODLE PROJECT
9. STING
10. PFM, MILLENIUM i EDITORS
(Z8)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. Clive NOLAN
5. HAKEN
6. AYREON i The BLACK NOODLE PROJECT
8. MILLENIUM
9. BIG BIG TRAIN
10. Nick CAVE & BAD SEEDS
(P8)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. Clive NOLAN
5. AYREON
6. HAKEN, The BLACK NOODLE PROJECT i BIG BIG TRAIN
9. MILLENIUM
10. Nick CAVE & BAD SEEDS
(Z10)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. HAKEN
5. Clive NOLAN
6. MILLENIUM
7. AYREON i The BLACK NOODLE PROJECT
9. RENAISSANCE
10. BLACK SABBATH
(P10)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. Clive NOLAN
5. HAKEN
6. AYREON
7. MILLENIUM
8. The BLACK NOODLE PROJECT
9. RENAISSANCE i BIG BIG TRAIN
(F10)
1. Steven WILSON
2. RIVERSIDE
3. DEEP PURPLE
4. Clive NOLAN
5. AYREON
6. HAKEN
7. BIG BIG TRAIN
8. The BLACK NOODLE PROJECT
9. MILLENIUM
10. RENAISSANCE i Nick CAVE & BAD SEEDS
Pierwsza kwestia, która w oczywisty sposób rzuca się w oczy, to fakt, iż każda klasyfikacja jest inna. Niekiedy różnice bywają niemal śladowe, ale bliźniaczych zestawień nie znajdziemy! Co prawda aż w siedmiu przypadkach pierwsza trójka (Wilson, Riverside i Deep Purple) oraz sześć razy pierwsza czwórka (dodatkowo Nolan) są identyczne, ale pierwsza piątka powtarza się już tylko co najwyżej trzykrotnie. Mało tego, nietrudno wskazać wykonawców, których albumy były czasem notowane względnie wysoko (np. Haken znalazł pięciokrotnie w pierwszej piątce, a Millenium - aż 7 razy w dziesiątce), jednak przy pewnych sposobach obliczania wyników te same płyty znalazły się nawet poza pierwszą dwudziestką (m.in. w Z3 i P3). Ponadto, bardziej szczegółowa analiza wskazuje, że mogą istnieć bardzo duże odchylenia między najwyższymi i najniższymi pozycjami tej samej płyty, np. Haken - 21 miejsc (4. a 25.), Millenium i Blackfield - 15 miejsc (6. a 21. oraz 11. a 26., odpowiednio).
Niemal identyczne anomalie objawiły się na drugim testowym zbiorze danych, w którym wykorzystałem po 20 najwyżej sklasyfikowanych utworów z każdego notowania, traktując je tak, jak gdyby były to głosy hipotetycznych radiosłuchaczy. Poniżej przedstawiam wybrane zestawienia (tym razem dla uproszczenia na listach pozostawiłem tylko tytuły utworów, powszechnie znane zresztą):
(Z3)
1. Brothers In Arms
2. Stairway To Heaven
3. Another Brick In The Wall Part 2
4. Bohemian Rhapsody
5. Child In Time, One i With Or Without You
8. Autobiografia i Wish You Were Here
10. Again, Imagine, The Show Must Go On, Whole Lotta Love i 51
(Z8)
1. Stairway To Heaven
2. Brothers In Arms
3. Bohemian Rhapsody
4. One
5. Another Brick In The Wall Part 2
6. Child In Time
7. Wish You Were Here
8. Autobiografia
9. Again i Epitaph
(Z15)
1. Stairway To Heaven
2. Brothers In Arms
3. Bohemian Rhapsody
4. Child In Time
5. Epitaph
6. One
7. Autobiografia
8. Wish You Were Here
9. Another Brick In The Wall Part 2
10. Again
(P15)
1. Stairway To Heaven
2. Brothers In Arms
3. Bohemian Rhapsody
4. Child In Time
5. Epitaph
6. Another Brick In The Wall Part 2 i One
8. Autobiografia
9. Wish You Were Here
10. Again
(Z20)
1. Stairway To Heaven
2. Brothers In Arms
3. Bohemian Rhapsody
4. Child In Time
5. Epitaph
6. Autobiografia
7. One
8. Wish You Were Here
9. Another Brick In The Wall Part 2
10. Riders On The Storm
I tu identycznych wyników również można szukać jak igły w stogu siana, a niektóre rozbieżności były jeszcze większe, choć dwóch utworów to nie dotyczyło - bez względu na stosowaną punktację dwa pierwsze miejsca ‘okupowały’ niezmiennie Brothers In Arms oraz Stairway To Heaven (3-krotnie wygrało Dire Straits, 7-krotnie Led Zeppelin i dwa razy trafił się remis tj. pierwsze miejsce ex aequo). Największy rozdźwięk dotyczył Dorosłych dzieci - aż 31 pozycji (18. a 49.), 51 - 26 pozycji (10. a 36.) oraz Whole Lotta Love - 25 pozycji (10. a 35.). Natomiast Epitaph, który 3 razy zajął 5. miejsce i aż 9 razy był notowany w pierwszej dziesiątce, dwukrotnie nie znalazł się w zestawieniu wcale (sic!). Z drugiej strony wydaje się, że pierwsza dziesiątka była znacznie bardziej stabilna niż dla pierwszego zestawu danych, bo aż 8 utworów powtarzało się w niej niezależnie od przyjętego systemu punktowania (w przypadku MLWZ dotyczyło to jedynie 6 płyt) [aczkolwiek pierwszy zestaw klasyfikowano na 9 sposobów, a drugi - na 12, co oznacza dokładnie taki sam odsetek tj. 66.(6)% - przyp. krytyka].
Zanim przedstawię konkretne wnioski, zwrócę uwagę na różnorakie atrybuty plebiscytów, które niewątpliwie mogą mieć wpływ na końcowe wyniki. Na potrzeby niniejszego opracowania przyjąłem następujące określenia:
- zakres propozycji - zestaw utworów/albumów, na które uczestnicy plebiscytu głosują. Może być ograniczony (podana konkretna lista propozycji) lub nieograniczony (lista podana, ale istnieje możliwość głosowania na pozycje spoza niej), jak również może nie być określony w ogóle (brak listy);
- liczba propozycji - ilość propozycji, na które maksymalnie jeden uczestnik może zagłosować (w rozważanych powyżej przykładach mieści się w zakresie od 3 do 20);
- kolejność propozycji - określenie, czy pozycja na liście ma znaczenie, czy nie (w przypadku stosowania punktacji przy większej liczbie propozycji zwykle jest brana pod uwagę, natomiast przy zgłaszaniu co najwyżej 5 propozycji często nie jest uwzględniana, np. w plebiscycie Teraz Najlepsi czasopisma Teraz Rock). Jeśli kolejność nie jest istotna, to nie stosuje się żadnej punktacji, a opracowanie wyników plebiscytu sprowadza się do tradycyjnego zliczenia głosów;
- sposób punktacji - punktowanie poszczególnych propozycji, gdy ich kolejność jest brana od uwagę, zwyczajowo im wyższa pozycja na liście, tym więcej otrzymanych punktów, w efekcie ostateczny ranking jest ustalany na podstawie ilości uzyskanych punktów (malejąco);
- liczba głosujących - ilość osób, które oddają głosy [optymistycznie zakładam, że każdy głosuje tylko 1 raz - przyp. aut.];
- ograniczenia dla zgłoszeń - wszelkie dodatkowe warunki, których celem najczęściej jest zabezpieczenie przed spamowaniem, np. uwzględnienie tylko 1 zgłoszenia w przypadku przesłania kilku przez tę samą osobę (zwykle pierwszego), określony sposób przyznawania punktów w przypadku podania mniejszej niż maksymalna liczby propozycji, jak również konieczność podania elementarnych danych osobowych (imię i nazwisko oraz adres), najczęściej połączona z losowaniem nagród.
Bardziej wnikliwa analiza otrzymanych wyników doprowadziła mnie do następujących spostrzeżeń:
- liczba propozycji może relewantnie oddziaływać na ostateczne wyniki plebiscytu - wystarczy porównać np. F10 z P3 (dla płyt) albo Z8 z Z20 (dla utworów). Im więcej albumów/utworów, tym większe szanse mają często zgłaszane propozycje z niskich miejsc, a mniejsze wysoko plasujące się mniej znane rodzynki (doceniane przez niewiele osób). Osobiście nazwałbym to ‘ciułaniem’ punktów;
- dobór konkretnego sposobu punktacji dla ustalonej liczby propozycji nie ma raczej znaczącego wpływu na wyniki. Trudno wskazać naprawdę duże rozbieżności między zestawieniami Z3 i P3, Z8 i P8, Z10, P10 i F10 oraz Z15 i P15, odpowiednio. Oznacza to, że premiowanie pozycji znajdujących się na czele zgłaszanych propozycji właściwie nie ma znaczenia;
- jeśli kolejność propozycji nie będzie brana pod uwagę, to aby uzyskać zróżnicowane wyniki (niewielka ilość pozycji ex aequo), które faktycznie pokażą preferencje słuchaczy, liczba głosujących musi być dostatecznie duża. Przy czym, im szerszy zakres propozycji (nie mówiąc już o nieokreślonym), tym więcej zgłoszeń potrzeba. Trudno jednak określić wzorem tą zależność lub oszacować wymaganą liczbę w konkretnych przypadkach;
- większa ilość osób uczestniczących w głosowaniu prowadzi do zwiększenia różnic w liczbie punktów uzbieranych przez wyróżniane pozycje. W efekcie przy względnie niedużej liczbie głosujących i szerokim (bądź z góry nieokreślonym) zakresie propozycji, z których można wybierać, może pojawić się wiele miejsc ex aequo albo różnice punktowe są śladowe. Sytuacja taka będzie miała miejsce, szczególnie gdy można zgłaszać tylko kilka albumów/utworów (P3 i Z3).
I jeszcze dwie moje dodatkowe obserwacje oparte o faktyczne wyniki plebiscytów oraz doświadczenia osób zajmujących się bezpośrednio przetwarzaniem głosów konkretnych plebiscytów:
- niestety pewne znaczenie może mieć czas ukazania się konkretnego albumu. Wydanie płyty pod koniec roku (np. w grudniu 2013) powoduje, że zwykle jest ona w ogóle nie uwzględniana w zakresie propozycji za mijający/ubiegły rok (tenże 2013), a w kolejnym plebiscycie (2014) wiele osób często nie bierze już jej pod uwagę (bo przecież ukazała się w poprzednim roku). Ewentualnie niektórzy uczestnicy nie zdążają ‘obiektywnie’ przesłuchać bądź ‘polubić’ płyty wydanej zbyt późno. Również płyty, które ukazują się na samym początku roku, mogą mieć mniejsze szanse, będąc niejako skazane na zapomnienie (podobnie jest w sporcie, gdzie często słabsze wyczyny, ale dokonane krótko przed ogłoszeniem plebiscytu, wydają się bardziej znaczące od osiągnięć sprzed kilku miesięcy);
- typy ekspertów tylko w niewielkim zakresie pokrywają się z wynikami, co nie zdziwiło mnie ani trochę. Przykładowo, w plebiscycie MLWZ bardzo wysoko znaleźli się wykonawcy, których płyty nie uzyskały uznania większości członków redakcji, np. Fish, Airbag, Comedy of Errors i Dream Theater, natomiast odwrotna sytuacja miała miejsce z albumami Stinga, Editors, PFM oraz Nicka Cave’a;
- ograniczenia dla zgłoszeń w zasadzie nie mają negatywnego wpływu na ostateczne wyniki i rzeczywiście częściowo zapobiegają ‘sterowaniu’ wynikami plebiscytu [zagadnienia związane z przyczynami i motywacjami spamowania to temat na osobny felieton, ale na szczęście jako cyber-przemoc się nie kwalifikuje - przyp. aut.] [na szczęście chyba dla spamerów - przyp. krytyka].
Jakie praktyczne wnioski płyną z powyższych faktów? Oczywiście chodzi o konkluzje, które mogłyby posłużyć jako wskazówki przy ustalaniu regulaminu organizatorom wszelakich plebiscytów czy też rankingów opartych o głosowanie.
Rada pierwsza - najważniejszy jest sensowny wybór zakresu i liczby propozycji, sposób punktacji ma zdecydowanie mniejsze znaczenie.
Rada druga - warto podjąć próbę oszacowania rzędu wielkości liczby głosujących. Im większa, tym mniejsze znaczenie będą miały inne atrybuty: własności zakresu propozycji, liczba propozycji czy sposób punktacji.
Uwaga: przy względnie niedużej liczbie głosujących, kilka/kilkanaście zgłoszeń może znacząco zmienić ostateczne wyniki, zatem dobór wspomnianych powyżej atrybutów oraz wprowadzenie pewnych ograniczeń są bardzo istotne.
Rada trzecia - zbyt skomplikowane reguły plebiscytu (w szczególności przesadne ograniczenia dla zgłoszeń) tylko odstraszą potencjalnych głosujących, utrudniając im tworzenie lub przesyłanie zestawień.
Rada ostateczna i dla mnie fakt niepodważalny - nie należy się za bardzo przejmować, bo i tak o wynikach zadecydują osobiste preferencje słuchaczy związane raczej z konkretnymi wykonawcami niż płytami, jak również termin wydania konkretnych albumów.
PS. Nagłówek sugeruje planowaną drugą część felietonu z podtytułem "Plebiscyty płytowe czy rankingi popularności"? Jednak po owocnej dyskusji z Arturem Chachlowskim doszliśmy do wniosku, że z różnych przyczyn kontynuować tematu nie będziemy… A głównym powodem jest fakt, iż cokolwiek by nie zostało powiedziane na antenie bądź napisane na ten temat, to i tak w następnym plebiscycie nasz ulubiony wykonawca – ‘Dziamdziaboł’ znów nie pojawi się w czołówce, bo jest zbyt mało popularny ;).
