• Ari Karppinen ylläpitää listaa suomalaisista pelaajista ja luokituksista: http://members.tripod.com/menashi/FI-go-rating.htm
• Suomalaisten EGF-pisteet
• Kokeiluversio luokituslistasta
• Luokitusoikeudet Suomessa

No keskustellaan vaikkapa siitä, minkä luokitusjärjestelmän antamat luokitukset antavat ajankohtaisinta ja paikkansapitävintä tietoa suomalaisten pelaajien pelitaidosta. Sanoisit, että nykyisessä tilanteessa IGS-luokitukset osuvat oikeimpaan. Suomen luokitusjärjestelmän kannalta ongelma on, että pelaajamäärä on kasvanut nopeasti viimeisen viiden vuoden aikana, mistä syystä nopeasti kehittyviä pelaajia on paljon. Luokitusjärjestelmä ei oikein tahdo pysyä pelitaidon kehittymisen perässä.

-- Markku Jantunen, 7.11. 2002

IGS:n luokitussysteemi on monella tavoin paljon heikommissa kantimissa kuin Suomen, ihan tosi. Ei niin että se olisi käyttökelvoton, vaan pikemminkin että sen (tunnetut) heikkoudet ovat juuri sellaisia jotka on jo ratkaistu Suomen zysteekissä.

Jos Suomen luokitusjärjestelmä ei pysy ajan tasalla, on syytä etsiä vikaa luokittajista tai taskuuntumisesta. On tietty ymmärrettävää että taskuuntumista tapahtuu, mutta luokitusvaltuuksia ainakin on annettu riittävästi. Taskuuntumiseen taas ei ole mitään oikeaa lääkettä.

Ideologisesti voisi ajatella että luokitus on ratkeava ongelma, mutta tosiasiassa näin ei ole.

Mainittakoon että IGS:n koodaaja, Tim Casey, on tietoinen heikkouksista, mutta on suoraan sanonut että asialle ei tulla tekemään mitään pelkkien arvailujen takia. Toisin sanoen, nykysysteemi saa välttää niin kauan kunnes joku kertoo mikä on parempi, ja tällaisen väitteen on syytä perustua oikeisiin faktoihin eikä mutuun tai arvailuun. Valitettavasti vaan liki kaikki tähänastiset näkemykset ovat olleet arvailua, eikä kukaan ole vuosikymmeniin edes yrittänyt nähdä sitä vaivaa että olisi tutkinut asiaa kunnolla -- ja tämä pitää paikkansa myös Euroopan luokitusjärjestelmän kanssa. EGF:n luokitussysteemi on oppikirjaesimerkki siitä kuinka otetaan tunnettu malli ja viritetään sitä hieman, sen sijaan että tutkittaisi asia perin pohjin.

Viimeiset varsinaiset yritykset selvittää luokitussysteemin toimivuutta ja parantaa niitä ovat tietääkseni Paul Matthewsin käsialaa ajalta miekka ja kypärä, ja ovat johtaneet AGA:n luokitusjärjestelmään. Tuon lisäksi on lähinnä tukeuduttu Elo-järjestelmään (joka on viime vuosisadan alkupuolelta, muistaakseni,) ja suunnilleen kaikki näiden ulkopuolelta on ollut mutua.

Toisin sanoen, onhan se helppoa aprikoida ja arvailla, mutta jos muutosta haluaa niin moisesta ei juuri ole iloa, vaan pitäisi tehdä ihka oikeaa työtä. Tämä taas on jostain syystä (heh!) ollut se puoli jota kukaan ei ole osannut tai halunnut tehdä. Helpompi jauhaa asiaa hypoteesitasolla kuin selvittää ihan oikeasti että mistä on kyse, hmm?

-- Olli, 7.11.

Shakkipuolella tutkimusta onkin jonkin verran:

• Mark Glickman

Käsittääkseni kyseessä ei ole kuitenkaan triviaali ongelma millään muotoa, ja vaatisi oikeasti kovan luokan tilastollista ymmärtämystä rakentaa fiksu automaattinen luokitussysteemi. Etenkin kun go:n tasoitusjärjestelmä kuitenkin poikkeaa shakista.

Luokitetaanko Suomessa ihmisiä muuten muutenkin kuin mutu-periaatteella? Kuinka tuo "mutu" käännetään sellaiseksi että se toimii automaattisesti ja tasapuolisesti ihmisille, joista toiset juoksevat daniarvoon vuodessa ja toiset kymmenessä? Toiset pelaavat 20 peliä päivässä; toiset taasen pelin on-line kerran kuussa ja muuten kerhossa? Argh!

(Ja sanoisin että tässä nimenomaisessa tapauksessa ei ole helppoa edes arvailla tai aprikoida :-/.)

--JanneJalkanen, 7-11-02.

(Siivosin sivun alkupäästä vanhaa roinaa poies.)

Tutustumatta tarkemmin Glickmanin papereihin (ps ja pdf eivät juuri nyt onnistu) voisin todeta että nuokin ovat elo-systeemin virittämistä. Tämän ei ole tarkoitus olla vähättelyä, vaan toteamus siitä kuinka vähän oikeaa uutta asiaa alalla on.

Elohan perustuu normaalijakaumaan ja siitä laskettaviin voittotodennäköisyyksiin. Toisin sanoen ajatellaan että pelaajat noudattavat normaalijakaumaa, ja tästä saadaan numeerinen luokitus. Venäjällä on tietääkseni käytetty elo-systeemiä gossakin jo pidempään, sillä oletuksella että pykälän luokitusero vastaa 100 elopistettä. Tällä ei kuitenkaan ole minkäänlaista teoreettista pohjaa, vaan kyseessä on lähinnä arvaus siitä, että mikä voisi toimia. Ja totta toisaalta, kunhan saadaan deterministinen malli joka vaimentaa häiriöitä, niin toimivathan ne lopulta.

Paul Matthewsin malli perustuu Bayesilaisiin todennäköisyyksiin, jossa tuloksista yritetään saada takaisinlaskennalla ihmisten luokitukset. AGA-pisteitä kuitenkin muokataan askeleittain, ja niistä saadaan mielivaltaisella muunnoksella kyu/dan-luokitukset. Turnauksissa paritukseen käytetään nopeutettua AGA-laskentamallia, siis samaa mallia eri parametreilla, ja tästä saadut pelitulokset taas viedään luokitusjärjestelmään. Toisin sanoen, systeemissä on vahva tilastopohja, mutta myös paljon mielivaltaisia parametreja.

IGS:n systeemi on juuri se mikä AGA:lla oli käytössä joskus viime vuosikymmenen puolivälissä. AGA on muistaakseni virittänyt systeemiä sen jälkeen, kun taas Tim on lopettanut asian rukkaamisen ihan vain kyllästyttyään ihmisten mussutukseen ja vinguntaan.

Näkemykset asian triviaaliudesta voi arvioida siitä että kuinka paljon luokitussysteemien toimivuudesta mussutetaan, sen sijaan että ehdotettaisi parannuksia. On huomattavan helppoa sanoa että jotain tarttis tehdä, vaan erittäin vaikea sanoa että mitä. Ja niin sitä itketään kun homma ei toimi tyydyttävästi. Yök.

Voittotodennäköisyyksistä ja niiden eroista gossa ja shakissa taas on huomattavasti tietoa, esmes on tunnettua että gossa noin 5% peleistä on tasapelejä (tasakomi.) Tanskalaiset ainakin aikoinaan perustivat luokitusjärjestelmänsä noin 85% voittotodennäköisyydelle (yhden pykälän tasoero,) joka sekään ei ole kaukaa haettu, muistaakseni perustuu ihan käytännön tuloksiin. Erittäin vähäisissä määrin perusteltu on elo-systeemiin sisäänrakennettu 67% todennäköisyys. Jos jo näin perustavanlaatuisesta parametrista on epäselvyyttä, niin mistä ihmeestä saadaan järkevä malli, hm?

Suomessakin on ollut käytössä deterministisiä numeerisia malleja, mutta ne on poikkeuksetta hylätty sen takia, etteivät ne mukaudu tasomuutoksiin riittävän nopeasti. Näistä ehkä pisimmälle viety oli yligossa viime vuosikymmenellä käytetty, ja se sisälsi useita systeemin adaptaatiota nopeuttavia oikoteitä. Sekään ei lopulta riittänyt.

Kuten niin monesti sanottua, yleensä ne tietävät vähiten jotka ensimmäisinä kyseenalaistavat erilaiset luokitusjärjestelmät. Realistinen näkemys lienee että gon luokitusjärjestelmissä on vain huonoja ja sitäkin huonompia, ja että Suomen järjestelmä loistaa toimivuudellaan useimpien muiden rinnalla.

-- Olli, 7.11.

Olen samaa mieltä Ollin kanssa siitä, että Suomen nykyisistä luokitusongelmista voi syyttää taskuuntumista ja luokittajia. Systeemi itsessäänhän on toiminut aiemmin erittäin hyvin. Nimenomaan nykyisessä tilanteessa Suomen luokitussysteemin ongelmat korostuvat: luokittajilla ei ole aina ajankohtaista tietoa eri kaupunkien kerhojen pelaajien pelitasosta. Kuten Laatikaisen Vesa sanoi, perifeeristen kerhojen kannattaisi pitää kansallinen luokituskomitea ajantasalla huippupelaajiensa viimeaikaisesta kehityksestä. Nykyisessä tilanteessa vain turnausmenestykseen katsominen ei riitä alkuunkaan, koska nopeasti kehittyviä pelaajia on liian suuri osuus aktiivisisista turnauksissakävijöistä ja koska turnauksia on liian harvoin.

Sattumalta tai ei, suomalaisten alemman tason dan-pelaajien ja ylemmän tason kyu-pelaajien IGS-luokituksilla on korkea korrelaatio SM-karsinnoissa ja -kisoissa menestymiseen (luokitukset ovat SM-kisoja edeltäneitä). Mukaan on otettu kaikki SM-kisoihin osallistuneet, joilla on tunnus *-tunnus IGS:ssä ja joiden luokitus Suomessa on 3 kyu tai parempi.

Näyttää Paavo olevan ainoa anomalia tuossa listassa. Liekö vanhentunut tunnus? Entä Ollin tunnus? Kuinka tuoreita sillä pelatut pelit keskimäärin ovat?

-- Markku Jantunen, 8.11. 2002

Hämmentävää ehkä, luokituskomitean jäsenenä asioihin tulee tututstuttua, ja niitä pohdittua. Varsin syvällisestikin. Mitään muuta siitä ei juuri opi kuin syvää kyynisyyttä kaikkia epämääräisiä arvauksia ja surkalemalleja kohtaan.

Sinänsä, ylläoleva tuloslista on väärä, koska A-sarjassa Puhan Timo _ei_ ohittanut meikäläistä. Itse olin ainoa 4. sillä aikaa kun Timo jakoi 5. sijan Joosen kanssa -- tai sitten Markku esittää jotain outoa dataa jonka relevanssista ei ole mitään tietoa, kas tässä tulokset. Vaikka ruostunut wanhus olenkin, niin ei nyt noin huonosti aina suju.

Oma IGS-luokitukseni on jostain vähintään puolen vuosikymmenen takaa, enkä muutamaan vuoteen ole juuri turnauksissakaan pelannut. Luokituksen relevanssia voi arvailla siitä että tulen vähintään loppuvuoden pelaamaan 3 danina -- asia johon meikäläisellä olisi omakin valtuutus, mutta tulin kuin tulinkin kysyneeksi luokituskomitealta luvan. Rebi siit, relevanssia kerrassaan.

Vaan niinhän se on, että aina kun yritetään pistää jotain maagista painoarvoa numeerisille luokitusjärjestelmille, tulos on että meikäläisen saa aina takajaloilleen. Niissä ei yleensäkään ole mitään relevanssia minkään muun suhteen -- uskokaa pois, esmes IGS-luokituksista kyseen ollessa meikäläinen tietää mistä puhuu -- hyvä jos toimivat itsensä kanssa, eivätkä moiset Suomen pelaajapopulaatiolla toimi.

Vaan löytyyhän sitä perustelemattomia asioita muualtakin, ellei peräti suoraa huuhaata. Näin ollen lienee hyvä idea yrittää vain saada Suomen luokitussysteemi niin toimivaksi kuin suinkin, ja antaa toimimattomien systeemien olla omassa rauhassaan.

-- Olli, 9.11.

Noniin, eiköhän yllä ala olla melkoisesti materiaalia, jonka perusteella tehdä (asiallinen!) asiakooste turnauskäytännöt-sivun tyyliin, että päästään eteenpäin ja ettei puuha jää pelkiksi mielipiteiden esittämiseksi. Vapaaehtoisia?

-- Olli, 9.11.

Korjasin taulukossa olevan virheen eli sen, että Olli olisi sijoittunut Timon taakse A-sarjassa. Pahoittelut virheestä. Se kuitenkaan tuskin muuuttaa havaintoa, että suomalaisten pelaajien nykyiset IGS-luokitukset ennustavat kuin ennustavatkin SM-karsinnoissa ja -sarjassa menestymistä paremmin kuin nykyiset suomalaiset luokitukset.

En ole kuitenkaan poikennut 1. postaukseni linjalta eli siitä, että Suomen ongelma on pohjimmiltaan luokittajissa ja taskuuntumisessa. Minusta luokittajien olisi ryhtyä ajatuksista tekoihin Suomessa viimeiset 3-4 vuoden aikana n. 3 kyu - 1 danin tasolle patoutuneiden korotuspaineiden purkamiseen. Taskuuntumisen välttämiseksi paikallisten luokittajien olisi syytä Vesan ohjeen mukaisesti toimittaa kansalliselle luokituskomitealle tietoa pelaajien keskinäisistä voimasuhteista.

-- Markku, 9.11.