Poistin Markun kanssa käymääni keskustelua luokitusten arvioimisesta ja esitän alla yhteenvedon ja menetelmäkuvauksen. Kommentit tervetulleita. --Paavo Pietarila 29-11-02

Luokitusten säätäminen korottamalla kerhonsa pelaajia ei ole aivan yksinkertaista. Kun pelaajamäärä on vähänkään suurempi, ongelmia tuottaa se, että sillä, jolla korotusvastuu on, ei ole riittävää omakohtaista tietoa kaikkien korotustarpeessa olevien pelaajien nykyisestä pelitaidosta.

Markku Jantunen ja minä kävimme sekä täällä wikissä että offlinenä hieman keskustelua asian tiimoilta. Markku esitti, että pelaajien välisten keskinäisten tasoituskivien määrän taulukoimalla voidaan ainakin suuntaa-antavasti arvioida korotustarpeessa olevia pelaajia ja korotusten suuruutta. Itse olin aikaisemmin käyttänyt samankaltaista menetelmää Oulun Goonpellaajien alkuaikoina, kohtalaisin tuloksin. Esitän seuraavassa hieman viritetyn version algoritmista luokitusten arvioimiseen siitä, minkä kukin pelaaja luulee olevan oikea tasoitus suhteessa muihin.

Alla olevat esimerkit on kirjoitettu myös matlab (octave) -koodina, joka toivottavasti auttaa insinöörejäkin ymmärtämään, mitä tarkoitan.

Jokaiselta pelaajalta kysytään, mikä hänen mielestään on sopiva tasoitus kunkin muun pelaajan kanssa, ja tulokset laitetaan neliömatriisiin siten, että jokaisella rivillä on pelaajan näkemys tasoituskivista sen sarakkeen kohdalla, jonka kanssa samannumeroinen rivi vastaa k.o. pelaajan mielipiteitä. Mikäli arvausta ei ole saatavissa, laitetaan arvoksi pelaajien luokitusero. Valkoisen antama tasoitus on negatiivinen luku, mustan vastaanottama positiivinen.

Alla matriisiin H on kirjoitettu neljän täysin fiktiivisen pelaajan näkemykset siitä, mikä on tasaväkisen pelin aikaansaava tasoituskivien määrä keskinäisissä peleissään. Huomataan, että pelaajat 1 ja 2 pelaavat keskenään tasa-avauksella ja pelaajat 3 ja 4 ovat ensiksimainittuja joitakin kiviä heikompia.

>> H = [ 0 0 -8 -5; 0 0 -8 -4; 8 7 0 2; 5 5 -2 0]

H =

     0     0    -8    -5
     0     0    -8    -4
     8     7     0     2
     5     5    -2     0

Tarkoituksena on seuraavaksi laskea kunkin pelaajan antama tai saama keskimääräinen tasoitus. Tämän laskemiseksi matriisista H vähennetään sen transpoosi, jonka jälkeen rivit lasketaan yhteen ja tulos jaetaan pelaajien määrällä kertaa kaksi. (Koska vähennettäessä transpoosi luvut kaksinkertaistuvat.)

>> D = H - H'

D =

     0     0   -16   -10
     0     0   -15    -9
    16    15     0     4
    10     9    -4     0

>> h_rel = D * [1 1 1 1]' / (2*4)

h_rel =

   -3.2500
   -3.0000
    4.3750
    1.8750

Nyt vektorissa h_rel on jokaisen pelaajan antama keskimääräinen tasoitus. Miten tämä liittyy pelaajien luokituksiin? Kun lasketaan pelaajien keskimääräinen luokitus, on keskimääräinen tasoituskivien määrä suoraan suhteessa tähän. Kirjoitetaan pelaajien nimelliset luokitukset vektoriin r ja lisätään sen keskiarvo vektoriin h_rel.

>> r = [2 3 11 8]'

r =

     2
     3
    11
     8

>> r_est = h_rel + mean(r)

r_est =

    2.5000
    2.7500
   10.1250
    7.6250

Nyt vektorissa r_est on estimaatti kunkin pelaajan luokituksesta. Vektori r_est on minimietäisyydellä nimellisistä luokituksista. Mikäli nimelliset ja arvioidut luokitukset poikkeavat toisistaan, on syytä harkita korotuksia. Korotusmääriä voi kokeilla muuttamalla nimellisten luokitusten arvoja vektorissa r ja esim. laskemalla keskimääräisen neliövirheen.

>> r_mse = sum((r_est - r).^2 ) / 4

r_mse =

    0.4297

Edellisestä menetelmästä täytyy huomata, että se perustuu kahteen oletukseen:

1. Pelaajien luokitusero ja käytetty tasoituskivien määrä ovat toisiansa vastaavia, mikäli luokitukset ovat oikein.
2. Pelaajat osaavat arvioida oikean tasoituskivien määrän suurinpiirtein oikein

--Paavo Pietarila 29-11-02

Alla vielä vanhoja jorinoita.

Olli väittää, että minä olisin ehdottanut Suomen luokitusjärjestelmän korvaamista IGS-luokituksen kaltaisella järjestelmällä. Tässä kohden hän mätkii olkiukkoa. Minä vain tuonut luokittajien tietoon SM-karsintojen kärkipelaajien IGS-luokitukset ja esittänyt, että ne otetaan jollakin tavoin huomioon muun informaation ohella korotuksista päätettäessä.

IGS-luokituksia Olli näyttää pitävän liian epäluotettavina siksi, että ne päivittyvät liian hitaasti ja koska pelaajat voivat itse määrittää alkuluokituksensa. Mielestäni nuo tekijät eivät tee suomalaisten pelaajien IGS-luokitusten vertailusta millään tavoin kelvotonta, koska tiedämme milloin mainitsemani pelaajat ovat tunnuksensa luoneet ja minkä luokituksen he ovat asettaneet alkuarvoksi. Koska he ovat kaikki minua ja Teemu Roviota lukuunottamatta nousseet alkuarvostaan, hidas päivittyminen toimii argumenttina sille, että heidän vahvuuttaan on arvioitava ylöspäin.

Olli esittää myös, että luokituskriteerejä ei saa höllentää mielivaltaisesti, koska muutoin "homma voi hajota täysin alta aikayksikön". Voisiko joku kertoa mitä muuta kuin mielivaltaisia luokituskriteerit ovat alunperinkään olleet? Mistä jumalaisesta totuudesta ne on kenties johdettu, jos ne eivät ole mielivaltaisia?

Lisäksi tietysti olisi ihan mielenkiintoista myös kuulla mitkä ne kriteerit täsmälleen ovat, jos ne kerran eivät kerran perustu subjektiivisiin arvioihin.

Olli kysyy myös miten (luokitukseensa nähden) stabiilit pelaajat erottaa kehittyvistä, jos kerran hän ei osaa tehdä turnaustuloksista systemaattista erottelua. Eiköhän asia ole niin, ettei Suomen kaltaisessa pelaajapopulaatiossa ole helppoa tehdä minkäänlaisia aukottomia systemaattisia erotteluja. Lienee kuitenkin enemmän tai vähemmän kaikkien tiedossa se pelaajien joukko, joka on menestynyt turnauksissa nykyisillä luokituksillaan odotettua paremmin, vaikkei erityisiä teräviä menestyspiikkejä olisikaan ollut, ja joka panostaa gon opiskeluun ja pelaamiseen voimakkaimmin. Tätä pelaaja-aineista on juuri välillä 3 kyu - 1 dan. Kun vielä me kaikki tähän keskusteluun osallistujat, jotka asiasta ovat mielipiteensä lausuneet, olemme olleet yhtä mieltä siitä, että Suomi on taskuuntunut kokonaisuudessaan, olisi varmasti syytä ryhtyä antamaan toistaiseksi korotuksia jonkin verran aikaisempaa herkemmin.

Olli ilmeisesti puhuu tasoitusturnauksista esittäessään, ettei 3/5 tuloksella koroteta, koska kyseessä on liian lähellä odotusarvoa oleva tulos. Itse asiassa pelaajia on de facto korotettu huonomminkin menneiden turnausten jälkeen. Luokituskomitea ei nimittäin onneksi tyydy katsomaan vain yksittäisiä turnauksia päättäessään korotuksista. Esimerkiksi Teemu Rovio korotettiin 1 daniksi Herralan kesäleirin 2002 pikapeliturnauksen jälkeen, vaikka hänen tuloksensa tässä turnauksessa oli vain 3/6. Päätöksessä otettiin huomioon Teemun menestys kuluvan vuoden aikaisemmissa turnauksissa. Minut korotettin 2 daniksi Tampereen kesäleirillä 1998 kesken turnauksen (tasoituksia ei muutettu).

Sokea tuijottaminen voittoprosenttiin yksittäisissä turnauksissa on vielä vähemmän järkevää tasa-arvausturnauksissa. Huomioon pitää ehdottomasti ottaa, ketä pelaaja voitti ja kenelle hän hävisi. En tiedä mitä luokittajilla on mielessään, vai oliko kyseessä lipsahdus, kun Seppo Suorsaa ei korotettu SM-karsintojen jälkeen. Seppo (3k) voitti tämän vuoden SM-karsinnoissa seuraavat pelaajat: Antti Holappa (3k), Tapio Poutiainen (2k) ja Teemu Rovio (1d). Seppo hävisi seuraaville: Olli Lounela (4d) ja Pietarila Paavo (2k). Nykyisessä deflatorisessa tilanteessa tuollainen tulos oikeuttaisi omasta mielestäni yhden luokan korotukseen jo yksinään. Sepolla on kuitenkin muutakin menestystä: tulos 4/5 Oulun Älypelifestivaalien tasoitusturnauksessa (kaikki pelit luokituksiin nähden sopivilla tasoituksilla). Mielestäni on perusteltua väittää, että Sepon korottamatta jättäminen oli laiminlyönti.

Toinen ouluesimerkki on Ari Kauppi (4k), joka voitti SM-karsinnoissa kolme 4 kyuta: Mauri Torikan, Jari Kylmälän ja Tuomo Salon. Ari hävisi Tapio Poutiaiselle (2k) ja Antti Holapalle (3k). Isänmaamme karut olosuhteet (deflaatio) huomioon ottaen Ari olisi voitu aivan huvin korottaa 3 kyuksi. (Jos halutaan korottaa 2 luokkaa kerralla, kynnyksen Arin korottamiseen olisi syytä olla alhaalla seuraavissa turnauksissa.)

Olli väitti minun esittäneen, että ylemmät pelaajat jäävät pois tasoitusturnauksista siksi, että aliluokitettuja vastaan häviäminen pelottaa heitä (tasoitusturnauksissa varsin todennäköistä). Itse asiassa minä väitin, että pelko ei ole pienempi tasa-avausturnauksissa. Esitin väitteelleni perusteluna, että EGF-pistemenetysten (vaikuttavat taloudellisiin kannustimiin Euroopassa) odotusarvo on kummassakin tapauksessa sama. Tässä kohden Olli käsitti sanomani täysin väärin.

-- MarkkuJantunen, 12.11. 2002

Olisi sinänsä oikein kiva, jos ylle pitkiä pätkiä kirjoitelleet viitsisivät siivota ja lyhentää tekstejään, sekä listata _havaintoja_ Suomen luokitussysteemin hyvistä ja huonoista puolista, niin niistäkin voisi tehdä analyysiä.

Havaintoja siis, eikä pohdintoja että miten asioita voisi muuttaa. Pohdinnossa on aina se, että analysoijalle lyödään sanat suuhun ja näin viedään analyysin mahdollisuus, kun taas analyysin idea on nimenomaan pohtia havaintojen pohjalta että mikä on tilanne, ja arvioida sekä muutosmahdollisuuksia että niiden vaikutuksia.

Analyysin tekeminen on aivan eri asia kuin keskustella analyysin pohjalta vedetyistä johtopäätöksistä. Kuten turnaustyyppikeskustelussakin, aineisto analyyseineen on kaikkien nähtävillä, ja siitä voi huoletta vetää eri johtopäätökset kuin itse tein. Kunhan kertoo ne perustelut johtopäätöksilleen.

En todellakaan siis aio tehdä edes alustavaa analyysia ennen kuin arvon herrat siivoavat tekstejä.

-- Olli Lounela, 20.11.