Luokituskeskustelu tuntuu jatkuvan. Markku Jantusen argumentoinnista päättelen (onko näin Markku?), että hän usköö osoittaneensa, että suomalisten pelaajien luoklitukset ja IGS-luokitukset poikkeavat toisistaan eri tavalla, kuin ulkomailla. Ainakaan täällä Wikissä hän ei ole esittänyt kunnollista tilastollista päättelyä väittensä tueksi. Ellei perustelua esitetä, on argumentaatio rakennettu hiekan päälle.

-- Matti_Siivola 30.3.2003

Minusta näyttää siltä, että suomalaisten ja ulkomaalaisten IGS-luokitukset poikkeavat IRL-luokituksista eri tavalla. Epäsuorasti viittasin jakaumiin, kun kysyin Otsolta, miksi suomalaisista 12/16 pelaa vähintään yhden luokan paremmin IGS:issä kuin IRL - kyse ei siis ole muutamien piikkien aiheuttamasta vääristymästä keskiarvoissa. Toisen kerran sama asia tuli mainittua 3d* -pelaajien IRL-luokituksen vaihtelu yhteydessä.

Jakaumat näkee aineistosta aika suoraan yhdellä vilkaisullakin, mutta on aivan kohtuullista edellyttää selvitystä. Alla olevassa taulukosta näkee jakaumat.

Vähintään yhden kiven IGS:issä omaa luokitustaan paremmin pelanneista suomalaisten osuus oli 12/25 eli 48 prosenttia, vaikka suomalaisten kokonaisosuuden perusteella odottaisi 27 prosenttia. Vähintään yhden kiven luokitustaan huonommin pelanneista suomalaisia oli 1/12 eli 8 prosenttia, vaikka suomalaisten kokonaisosuuden perusteella odottaisi 27 prosenttia. Kaikissa muissa maissa suurin ryhmä oli luokituksensa mukaisesti pelanneiden ryhmä paitsi Saksan ryhmässä, jossa yhden kiven huonommin pelanneiden ryhmä oli niukasti suurempi. Suomalaisten suurin ryhmä oli yhden kiven luokitustaan paremmin pelanneiden ryhmä.

Muun Euroopan sisällä vaihtelu on pienempää kuin Suomen ja muun Euroopan välillä. Myös Suomen sisäinen vaihtelu on pienempää kuin Suomen ja muun Euroopan välinen vaihtelu.

Tarvitaanko tarkempaa analyysia? Kenties tuo ei vielä yksinään riitä. Suomalaisten kongressimenestyksen analyysi antaa samansuuntaisen ja samansuuruisen tuloksen. Onko kongressimenestyslaskelma sinusta oikein? Laskelma on alla.

Suomalaiset pelasivat Euroopan go-kongressissa keskimäärin 0.4 kiveä nimellisesti kovempia vastaan. Henkilökohtaisten voittoprosenttien keskiarvoksi tuli 56 prosenttia.

Alla kuvaus siitä, kuinka täsmälleen laskin nuo luvut.

Lähtökohtana on kunkin henkilön yhden turnauksen tulos. Tällainen turnaus voi olla kongressin pää-, viikonloppu- tai rapid-turnaus jonakin vuonna. Osallistumiskertoja johonkin turnaukseen oli 21:lla vuosina 1994-2002 kongresseihin osallistuneilla suomalaisilla 59. Muita kuin osallistumiskertoja pääturnaukseen oli alle kymmenen. Sivuturnaukset olivat joko viikonlopputurnauksia tai rapid-turnauksia (2 x 30 minuuttia). Pelejä oli kaikkiaan 501 kappaletta.

Kustakin turnaustulosrivistä lasketaan vastustajien keskimääräisen luokituksen ja oman kyseisessä turnauksessa käytetyn luokituksen erotus. (Perustelu: tämä luku kuvaa vastuksen nimellistä kovuutta suhteessa omaan luokitukseen kussakin turnauksessa.)

Kullekin henkilölle lasketaan keskimääräinen vastustajien nimellinen kovemmuus eri turnausosallistumiskerroilla painottaen turnausosallistumiskertoja pelien määrällä niissä. (Perustelu: esim. kolme peliä viikonlopputurnauksessa ei ole yhtä merkittävä tulosrivi kuin kymmenen peliä pääturnauksessa.)

Seuraavaksi lasketaan kullekin henkilölle erikseen koko kongressiuran aikana voittojen suhde pelien kokonaismäärään. (Perustelu: tästä saadaan voittamisprosentti koko kongressiuran aikana siten, että osallistumiskerrat painottuvat sen mukaan, kuinka paljon niissä on pelejä. Lisäperustelu: McMahon turnauksessa huippuryhmää ja aivan alimpia ryhmää lukuun ottamatta odotettu tulos on voittoprosentti 50, jos luokitukset ovat kohdallaan.)

Seuraavaksi lasketaan keskiarvot kahden edellisen kappaleen tunnusluvuille koko 21 Euroopan kongresseissa turnauksiin osallistuneiden pelaajien joukon yli.

Tuloksena oli, että suomalaiset olivat keskimäärin pelanneet 0.4 kiveä nimellisesti vahvempia vastaan ja voittaneet peleistään 56 prosenttia. (Perustelu: näin saadaan mielestäni kohtalaisen hyvin perusteltu vastaus kysymykseen: "ovatko suomalaiset aliluokitettuja suhteessa muihin eurooppalaisiin suurin piirtein kuinka paljon".)

Keräsin tiedot laatimaani Excel-taulukkoon Paavon turnaustulosautomaatista. Jos jotakuta kiinnostaa, voin lähettää tiedoston sähköpostitse tarkastettavaksi.

Kongressiurilla saavutettujen voittamisprosenttien jakauma (lähimpään viiteen prosenttiyksikköön pyöristettynä, henkilöitä en tässä mainitse nimeltä):

Keskihajonta oli 13 prosenttiyksikköä. (Jatkokysymys: onko tuo normaalia vaihtelua?)

Tietysti voidaan kysyä, oliko go-kongresseissa käyneiden joukko ollut kongressivuosinaan epätavallisen hyvässä pelikunnossa ja vain siksi kahminut kongressissa luokituksiinsa nähden liian hyviä tuloksia. Onneksi tämäkään kysymys ei jää käsienheiluttelun varaan vaan sitä voidaan arvioida suomalaisen turnausdatan perusteella.

Koska Suomessa oli aikavälinä 1994-2002 vain vähän tasa-alkuturnauksia, laskin kuinka hyvin kongressissa käyneet olivat kongressivuosinaan pelanneet suomalaisissa tasoitusturnauksissa.

Hain ensin Paavon turnaustulosautomaatista kullekin henkilölle hänen kunakin kongressiosallistumisvuonna saamiensa voittojen ja tappioiden määrät ja laskin ne yhteen (tämä oli useimmille helppoa, koska he olivat käyneet kongressissa jonain yhtenäisenä ajanjaksona tai vain yhtenä vuonna). Karsin joukosta alitasoituksilla pelatut pelit kokonaan pois (Perustelu: tulokset vääristyvät, koska joukossa on daneilla ja ylemmillä kyu-pelaajilla lievä yliedustus). Tällä tavoin karsitusta voittojen ja tappioiden kokonaismäärästä laskin henkilökohtaisen voittamistodennäköisyyden kongressivuosina.

Lopuksi laskin keskiarvon henkilökohtaisista voittamisprosenteista. Tulos: 48 prosenttia.

Johtopäätös: suomalaisten kongressikävijöiden hyvä menestys kongressissa erittäin todennäköisesti ei johdu siitä, että he olisivat olleet muihin suomalaisiin nähden epätavallisen hyvässä pelikunnossa kongressissakäyntivuosinaan.

-- Markku Jantunen, 30.3. 2003

Asiaan voi varmaan vaikuttaa panostus ja tarkoituksellinen tuloksen hakeminen esim korotusmeriitiksi. Onkos noista 7 kovimmasta tuloksesta poikinut aikoinaan korotuksia heti tai kohta ?

-- Jari Koivikko, 31.3. 2003

Vaikuttaako panostus ja korotuksen hakeminen eri tavalla ulkomaalaisiin? Miten panostus kannattaa yleensäkään ottaa huomioon turnaustuloksia arvioitaessa? Siis kannattaako jotkut turnaustulokset jättää huomiotta siksi, että ajatellaan niiden johtuneen lähinnä erityisestä panostuksesta?

Tuossa taulukossa ei ole yksittäisiä tulosrivejä vaan siinä on laskettu voittoprosentit eri henkilöiden kongressiurille. Tulosrivejä eli "tuloksia" oli aineistossa 59 kappaletta. Näistä kovimmat ovat varmasti johtaneet korotuksiin. Tämä on kuitenkin tässä yhteydessä epäolennaista, koska muunkinmaalaiset hyvin menestyneet ovat saaneet korotuksia.

-- Markku Jantunen, 31.3. 2003

Lähinnä hain sitä, onko näitä poikkeavuuksia käytetty kuinka säännön mukaisesti korjaamaan vääristymään. Missään tapauksessa niitä ei pidä jättää huomioimatta. Suomesta kun on kongressimatkoja tehty kovin vähänlaisesi niin niihin on varmaan suhtauduttu suurella vakavuudella, joten tuloksia voinee pitää hyvinkin arvokkaina indikaattoreina heidän tasostaan muun maalaisiin.

-- Jari Koivikko, 31.3. 2003

Nähdäkseni luokituskomitea on korottanut suomalaisia kongresseissa menestyneitä aivan asianmukaisesti. Tämä ei kuitenkaan ole heijastunut kovin paljon suomalaisten luokitusten yleiseen kovuuteen, koska kongressissa vähintään kerran käyneiden joukko muodostaa tuona aikana turnauksissa käyneiden joukosta arvioni mukaan vain noin 10 prosenttia. (En väitä, että sen olisi pitänytkään suorassa suhteessa heijastua, vaikka se yleisestä aliluokittuneisuudesta omalta osaltaan kertookin.)

Olen pyrkinut osoittamaan IGS-vertailulla ja kongressitulosvertailulla, että Suomessa on ollut viimeisen vuosikymmenen aikana jonkin verran tiukempi luokituspolitiikka kuin muualla Euroopassa yleensä. Arvelisin saatavilla olevan tiedon perusteella suomalaisten luokitusten olevan keskimäärin noin yhden kiveä verran kovempia kuin eurooppalaisten yleensä.

Vielä on käyttämättä pari muutakin vertailutiedon lähdettä. Ensiksikin voisi vertailla suomalaisten menestystä Suomessa järjestetyissä kansainvälisissä turnauksissa ulkomaalaisten menestykseen näissä samoissa turnauksissa. Toiseksi voisi vertailla suomalaisten menestystä muissa kansainvälisissä turnauksissa heidän luokitustensa perusteella odotettuun menestykseen. Kolmanneksi voisi vertailla miten suomalaiset menestyvät KGS:ssä verrattuna muunmaalaisiin.

Jos kaikki viisi (IGS, kongressit, KGS, kansainväliset turnaukset Suomessa ja ulkomailla) antavat samansuuntaisia ja -suuruisia tuloksia suomalaisten luokitusten suhteellisesta kovuudesta, lienee kasassa kattavin ja luotettavin tähän asti asiasta kerätty aineisto.

-- Markku Jantunen, 31.3. 2003

Tarkistin laskelmasi IGS vs. viralliset luokitukset. Suomessa erotus on 1 kivi (95% luottamusväli 0.84 - 1.21) isompi kuin muualla euroopassa. Muista analyyseistasi en saa tolkkua. Minulla on parempaakin tekemistä kuin opetaa sinulle tilastotiedettä. Sumoi erosi merktisevästi Saksata ja Romaniasta, mutta ei Ranskasta. Saksan osalta asian voi selittää se, että Saksassa kuka tahansa saa luokittaa itsensä mille tasolle haluaa vaikka 6 daniksi. Ainoastaan Romania jää jäljelle.

-- Matti_Siivola 1.4.2003

Tiesin ilman kommenttiasikin, että Suomi erosi merkitsevästi Saksasta ja Romaniasta mutta ei Ranskasta. Tunnut vihjaavan, että saksalaiset ovat aliluokitettuja siksi, että Saksassa kaikki luokittavat itsensä. Onko tuollaisilla vihjailujen perusteeksi antaa minkäänlaista näyttöä? Pärjäävätkö saksalaiset nimelliseen tasoonsa verrattuna odottamattoman huonosti?

Onko tällaisia asioita koskaan edes viitsitty yrittää selvittää Suomessa?

Kommenttisi "Minulla on parempaankin tekemistä kuin opettaa sinulle tilastotiedettä" osoittaa valitettavaa ylimielisyyttä. Se heijastuu myös siinä, ettet viitsinyt perehtyä lainkaan laskelmiin suomalaisten kongressimenestyksestä.

Luokituskomitea ei herätä luottamusta ylimielisellä suhtautumisellaan. Kehottaisin sen jäseniä pidättäytymään siitä.

-- Markku Jantunen, 1.4. 2003

Opetetaan nyt sitten hieman.

Yksi tilastotieteen perusasioista on, että on tolkuttoman vaikeata osoittaa mikä tahansa todeksi. Tarvitaan huomattavan isot, homogeeniset ja vertailukelpoiset aineistot (joita sinulla ei ole) sekä erittäin suuri tilastollinen ero (jota tässä ei ole.) Normaalikeino onkin rakentaa käänteishypoteesi, esmes tässä että eroa ei ole olemassa, ja osoittaa se vääräksi. Tämäkään ei vielä näytä että mikä se ero oli ja että miten se on tulkittava, vaan siihen tarvitaan yleensä uusi analyysi.

Tämän lisäksi vuodatuksistasi puuttuvat esmes kaikki tunnusluvut, virheanalyysit, luottamusvälit ja osa-aineistojen vertailukelpoisuusanalyysit. Käytännön esimerkki: käytät keskiarvoa (altis outliereille) ja keskihajontaa (olettaa normaalijakaumaa noudattavan aineiston.) Kumpikaan oletus ei ole suinkaan kirkossa kuulutettu kun kyseessä on biologinen aineisto -- esmes Bayesilaiset tai vinot jakaumat hajoittavat yleensä molemmat -- joten lukujen uskottavuus on arvailun tasoa. Käytännön esimerkki on, että esittämäsi Ranskan IGS-IRL -eron jakauma on silminnähden vino -- ja Matin käyttämät luottamusvälit kertovatkin että tuo "silminnähtävä yhden pykälän ero" ei ole tilastollisesti merkitsevä.

Tällä en tarkoita että lukusi olisivat sinällään harhaisia (vaikka olenkin huomannut että niissä on jotain pieniä epätarkkuuksia, ne tuskin ovat niin tärkeitä,) vaan että niiden "katsokaa nyt, näkeehän noista ilmiselvästi että näin on" -todistusvoima ei riitä vakuuttamaan tilastotiedettä tuntevaa. Eikä kukaan muu ainakaan vielä ole halunnut tehdä sitä työtä puolestasi että olisi ihan oikeasti analysoinut aineistosi tilastomenetelmin.

Huomautan vielä, että huonostikaan tehty tutkimus ei aina ole väärässä, mutta sellaisen todistusvoima on suunnilleen iltapäivälehtien tasoa. Kaiken kaikkiaan vaikuttaa kovasti siltä, että keräät itsellesi sopivia keskilukuja ja vedät niistä sitten perustelemattomia, omia mielipiteitäsi tukevia johtopäätöksiä. Täytyypä siis esittää sinulle samaa kuin olet muille tolkuttanut, että tutustuisit ensin siihen mistä niin vuolaasti selität. Tässä tapauksessa tilastotieteeseen.

-- DonOlli, 1.4.