| At line 20 added 4 lines |
| * Luokitusjärjestelmän tulisi olla reilu eli sen tulisi kohdella pelaajia näiden henkilöllisyydestä riippumatta. |
| * Luokitusten verrattavuudesta muihin luokitusjärjestelmiin (EGF, AGA, IGS...) pitäisi voida sanoa jotain. |
| * Uusien mutta kokeneiden pelaajien pitäisi saada helposti tasoaan vastaava luokitus (tarkoitan esim. kiinalaista amatööridania). |
|
| At line 102 added 142 lines |
|
| Henrille voisin mainita, että pelaajamassan tulosten soveltaminen |
| yksittäisen pelaajan tuloksiin, ilman perusteluja että miksi näin |
| voidaan tehdä, tunnetaan tilastotieteessä ''vääränä yleistyksenä.'' |
| Vaikka voikin kuulostaa hassulta, ''kenenkään'' yksittäisen pelaajan |
| tulosjakauma ei välttämättä noudata pelaajamassan tulosjakaumaa. |
|
| Tästä johtuu että kun pohditaan yksittäisten pelaajien luokituksia, |
| eikä siis pelaajamassan jakaumia, pitää tämä tulosten yleistettävyys |
| ''erikseen osoittaa.'' Ja juuri tätä tarkoitan sillä, että |
| yksittäisten pelaajien tulosjakaumat ovat ''tuntemattomia,'' eli esmes |
| GOR-tulosjakaumat eivät todellakaan itsestään selvästi kerro miten |
| kunkin yksittäisen pelaajan voi käydä. Ratakiskosta vääntäen, |
| tämänsuuntainen yleistys ei ole suoraan tehtävissä ellei varmisteta |
| että voiko sen tehdä. |
|
| Ennen kuin joku laukoo että tuo yleistyshän on itsestään selvästi OK, |
| muistutan että biologinen aineisto ei ole samanlaista kuin jonkin |
| mekaanisen prosessin tuotos (esmes teollisuudessa,) ja siksi sen |
| tilastollinen analyysi tunnetaankin omana alanaan, biometriana. |
| Biologinen aineisto tyypillisesti on nimenomaan täynnä erilaisia |
| yllätyksiä, kuten yleisestä aineistosta poikkeavat tapaukset, |
| epämuotoiset jakaumat, J-käyrät, jnpp. Esimerkiksi ei ole aina |
| arvioitavissa ''kuinka paljon'' jokin parametri muuttuu kun se kasvaa, |
| tiedetään vain että se kasvoi, jolloin joudutaankiin käyttämään |
| ei-parametrisia menetelmiä ordinaaliasteikolla. Suosittelen |
| ehdottomasti tutustumaan biometrian ongelmakenttään, ja erityisesti |
| ennen kuin yrittää väittää tätä puolta vastaan. |
|
| Näin ollen pitäydyn kokonaan näiden tilastollisten ongelmien |
| jauhamisesta väärin perustein. Tämän lisäksi ihmettelen |
| metakeskustelua koskien ''reiluus''-sanan merkitystä; katson ettei |
| se ole määriteltävissä tavalla joka on yksikäsitteinen, kaikkien |
| mielestä sama, ja joka kuitenkin antaisi työkalun luokitusten tai |
| -systeemin arviointiin. |
|
| Mainittakoon että haluan yhä vilpittömästi toivottaa onnea niille, jotka |
| aikovat oikeasti tutkia ja pohtia ''luokitussysteemien'' ongelmia ja niiden |
| rakentamista. |
|
| -- DonOlli, 27.4. |
|
| En täysin ymmärrä, mihin noilla yleistyksen vastaisilla argumenteillasi tähtäät. En ole käsittääkseni puhunut mitään yleistämisestä. Puhuin teoreettisesta otuksesta, joka antaa ihmisille vahvuuslukuja. Tällä hetkellä vahvuuslukuja antavia instansseja on kaksi: EGF:n systeemi ja suomalaisten omat luokittajat, tärkeimpänä tietysti luokituskomitea. |
|
| En lähde arvioimaan noiden toimivuutta millään tasolla. Koska erimielisyyttä eri järjestelmien toimivuudesta kuitenkin on, tarvitaan keskustelua siitä, miten toimivuutta voidaan arvioida ja mikä toimivuuden arviointimenetelmä on järkevä. Pelkkä jakaumien mahdollinen poikkeavuus ei ole mikään perustelu sille, ettei erilaisia luokitusjärjestelmiä voisi tilastollisesti arvioida. |
|
| Arvioita voidaan tehdä, vaikka jakaumat olisivat mitä. Voidaan nimittäin todeta ainakin seuraavat kolme faktaa: |
| * Pelitulokset eivät voi ''keskimäärin'' poiketa toisistaan kovin paljoa tasavahvoilla pelaajilla, vaikka pelitulosten jakaumat olisivatkin erilaisiakin. Tästä pitää huolen keskeinen raja-arvolause. |
| * Jos luokitusjärjestelmä ei ''keskimäärin'' tuota luokituksia, joka käy jollain tapaa yksiin pelitulosten kanssa, se ei toimi oikein. |
| * Luokitusjärjestelmän tuottamien luokitusten tuoma informaatio on käyttökelpoista vain, jos se toimii oikein. |
|
| Erilaiset pohdinnat tilastollisten ja muiden menetelmien vahvuuksista, luotettavuudesta ja reiluudesta/tasapuolisuudesta ovat mielestäni erinomaisen tärkeitä. Ihmettelen suuresti sitä, että ''jos'' kerran numeeriset järjestelmät ovat tuhoontuomittuja, niin ''miten'' ihmisten fiiliksellä hoitama järjestelmä on parempi ja oikeampi? Tästä en ole lukenut mitään, ja olisi mielenkiintoista kuulla tilastollisten ja numeeristen menetelmien vastustajilta myös perusteluja inhimillisen järjestelmän puolesta, ei ainoastaan numeerisia vastaan. |
|
| Lisäksi on mielestäni tunnustettava se tosiasia, että ihmisten hoitamanakin luokitusjärjestelmä on silti ''luokitussysteemi''. |
|
| --[H|Henri Hansen] |
|
| Yllä kirjoitettiin: "Tämän lisäksi ihmettelen metakeskustelua koskien ''reiluus''-sanan merkitystä; katson ettei se ole määriteltävissä tavalla joka on yksikäsitteinen, kaikkien mielestä sama, ja joka kuitenkin antaisi työkalun luokitusten tai -systeemin arviointiin." |
|
| Reiluuden käsite ei välttämättä ole täysin subjektiivinen. Siitä voidaan neuvotella ja sopia. Se on mielivaltainen juuri siinä mielessä, että se on sopimuskysymys. |
|
| -- Markku |
|
| Lisäsin kaksi asiaa jotka ovat mielestäni merkityksellisiä, vaikka eivät henk.koht. tärkeitä. |
|
| -- Pekka 27. huhtikuuta |
|
| Henri, eihän kyse ole sen kummemmasta kuin että mitä voidaan vertailla |
| mihin. [GOR-sivuilla oleva |
| voittotodennäköisyystaulukko|http://www.european-go.org/rating/statev.html] |
| ei sovellu ''itsestään selvästi'' pelisarjan tai turnauksen tulosten |
| ennustamiseen mielivaltaisesti valituilla pelaajilla mielivaltaisin |
| keinoin (huom, tuossa lukee "ei ole itsestään selvää että" eikä "on |
| itsestään selvää ettei") koska ei tunneta yksittäisten pelaajien |
| pelitulosjakaumaa. |
|
| ELO/GOR -malli perustuu olettamaan siitä, että pelaajan |
| pelitulosjakauma on (log-)normaali, tarkista vaikka. Se ei siis ole |
| välttämättä vertailukelpoinen esmes todellisuuden kanssa, vaikka |
| yksittäisten pelien ja nominaalitasoeron saakin tuosta GOR-aineiston |
| sivutuotteena saatavasta voittotodennäköisyystaulukosta -- taulukko ei |
| itse asiassa mitään muuta kuin tämän kerro. Mainittakoon etten ole |
| myöskään missään nähnyt GOR-mallin virhe/luotettavuusanalyysiä; |
| oletetaanko kenties että konsa ELO-systeemi sopii shakkiin, se ilman |
| muuta sopii go'onkin? |
|
| Tiesitkös muuten että keskiarvo on väärä keskiluku (l. väärän kuvan |
| antava) vinolle tai monihuippuiselle jakaumalle, samoin kuin |
| standardoitu virhe, standardipoikkeama tai keskihajonta sen |
| virheelle/hajonnalle? Tästä syystä korostan jakauman tuntemisen |
| merkitystä ja eri osa-aineistojen vertailukelpoisuutta. Katsopa myös |
| sivua [luokitusten paranteluehdotuksia], jonne kirjoittelin joistain |
| seikoista enemmän, joistain vähemmän. |
|
| Voisin vielä mainita, että toisaalla lasketut binomitodennäköisyydet |
| kahden pelaajan keskinäisten tulosten todennäköisyyksistä¹ ovat |
| tietysti oikeita, mutta sisältävät muita olettamuksia, esmes sen että |
| pelaajan taso on vakaa yli peleihin käytetyn ajan (tai ettei tästä |
| varianssista välitetä.) Totta kai yhdestä lyhytkestoisesta |
| pelisarjasta tätä voidaan pitää perusteltuna, mutta menetelmä on |
| tolkuttoman työläs, hidas, ja loppujen lopuksi virhealtiskin² tapa |
| selvittää pelaajajoukon keskinäinen vahvuusjärjestys³. |
|
| ¹Sic! Ne eivät ole yleistettävissä pelaaja ''a'' vastaan joukko |
| pelaajia ellei erikseen toisin osoiteta! Kun (esmes ulkomaisten tai |
| taskuuntuneiden) pelaajien nominaaliluokitukset ovat epäluotettavia, |
| ei luokitusta voi mielivaltaisesti sitoa olettamukseen |
| pelivahvuudesta. |
|
| ²En enään itsestään selvästi usko ettei esmes vain 5 pelaajan |
| jubangosarjassa (40 peliä per pelaaja) pelitason vaihtelu sotkisi |
| tuloksia melkoisen paljon -- ja mitenkä sitten 15 pelaajalla, huhhuh! |
|
| ³Binomitodennäköisyys asettaa pelaajat ''ordinaaliasteikolle'' |
| (aineistolla on vain järjestys) pareittain. Tiedetään pelaajan ''a'' |
| olevan pelaajaa ''b'' vahvempi todennäköisyydellä ''p,'' muttei |
| tiedetä miten paljon vahvempi, eikä tiedetä miten pelaajan ''c'' |
| vahvuus suhtautuu muihin ennen kuin ''c'' on pelannut molempia muita |
| vastaan -- ja mitäs sitten kun nämä tulokset ovatkin ristiriidassa |
| keskenään, aijjai. |
|
| Toivotanpa edelleen onnea ja pitkää pinnaa niille, jotka työtä |
| pelkäämättä yrittävät rakentaa toimivaa luokitusjärjestelmää. Homma on |
| raskasta ja epäkiitollista, mutta pidän sitä pitemmän päälle |
| välttämättömänä jos halutaan luopua nykyisestä luokitussysteemistä tai |
| virittää nykysysteemiä. |
|
| Ja koska tämänkin huolelliseen kirjoitteluun selvittelyineen meni |
| parisen tuntia aikaa, jonka olisin todellakin voinut käyttää paremmin, |
| meikäläiseltä lienee turha toivoa enempiä tilastotiedettä |
| yleistajuistavia (sic!) kirjoituksia tänne ennen kuin olen muuttanut. |
| Siihen mennee jotain parista viikosta muutamaan kuukauteen. Tietty |
| voisi olla arvokasta koota ja yhtenäistää kirjoitelmani yhdeksi |
| sivuksi jonka sitten tarkistuttaisi esmes Matilla, sekä organisoida |
| luokitusjärjestelmäkeskustelu siten, etteivät tekstini enään sotkisi, |
| mutta siihenpä vasta aikaa menisikin... |
|
| -- DonOlli, 29.4. |
|
| Lisää sivulla [LuokittamispolitiikkaJaTurnauskäytännöt]. |
|
| -- Markku 5.5. 2004 |