| At line 299 changed one line |
| Dokumentoin tässä TTgoK:n luokitushärvelin toiminnan (olen muistaakseni myös laittanut sorsatkin jakeluun, eli ohjelman oikeellisuuden voi sitten tarkistaa niistä): Oletetaan, että pelaajat ovat mustia laatikoita, joihin on sisällytetty ominaisuus ”pelaajan pelitasoa vastaava luokitus”. Mikäli pelaajat A ja B pelaavat keskenään ja käyttäjä käyttää pullauttimen toimintoa ”EGF:n laskennallinen voittoprosentti”, oletetaan, että pelaaja A voittaa B:n todennäköisyydellä, jota käytetään EGF:n GOR-mallissa (http://gemma.ujf.cas.cz/~cieply/GO/gor.html) kun A:n ja B: luokituksilla varustetut pelaajat kohtaavat. Oletetaan myös, että satunnaisesti valitussa populaatiossa kaikki luokitukset ovat yhtä todennäköisiä (tämä ei pidä paikkaansa, mutta ohjelman voisi suhteellisen helposti korjata käyttämään esim. tämän hetkistä luokitusjakaumaa). Kun nyt pullauttimelle annetaan pelaajan X tulosrivi, jonka ajatellaan syntyneen edelläkuvatun kaltaisten mustien laatikoiden välisten pelien lopputuloksena ja oletetaan että X:n vastustajien luokitukset ovat tiedossa, niin pullautin palauttaa likelihood-funktion estimoitavalle parametrille, joka on pelaajan X luokitus (tuntematon, toisin sanoen tulosrivin ajatellaan olevan otos jakaumasta, jonka parametri X:n luokitus on). Näissäkin keskusteluissa usein mainittu maximum likelihood tarkoittaa ko. likelihood-funktion maksimia. |
| Siirsin Takapotkuun liittymättömän keskustelun [Luokittamiskeskustelu]un. |
| At line 301 removed 26 lines |
| Jesse, Suomesta löytyy pelaajia, jotka ovat saaneet odottaa dan-korotustaan pisteeseen, jossa sen virhemarginaali on promilleluokassa. Sinun korottamattomuutesi ei ole vielä mitenkään poikkeuksellista, koska tulosrivisisihän antaa vielä esim. 6% mahdollisuuden, että olet 1 dan ko. mallilla. |
|
| -- Kari 26.2.2007 |
|
| Tuossa Karin mallissa oletetaan, että sekä pelaajalla että hänen vastustajillaan oli heidän nimellistä luokitustaan vastaava GoR, kun valitaan "laskennallinen voitto%". Siitä eteenpäin kussakin pelissä voittamistodennäköisyyksien laskenta tehdään täsmälleen [GoR-mallin|http://gemma.ujf.cas.cz/~cieply/GO/gor.html] mukaisella tavalla. |
|
| -- Markku, 27.2. 2007 |
|
| Muutama pikainen kommentti (vaikka tämä muualle kuuluisikin.) |
|
| * Miten perustellaan vastustajan vahvuustiedon analysoimattomuus? (Pelkkä nominaali(!)luokitus aiheuttaa sen, että pelituloksia tarvitaan moninkertainen määrä! Onko tätä vaikutusta arvioitu/laskettu?!?) |
| * Mikä on oletettu luokituksen sisäinen vahvuushajonta? (ELO olettaa normaaliutta, joka asettaa GOR <-> luokitus -muunnokselle melkoisen määrän oletuksia, josta ensimmäistäkään en ole nähnyt tutkitun saati oikeaksi osoitetun.) |
| * Miten huomioidaan maiden ja mahdollisesti turnaustenkin väliset systemaattiset erot? |
| * Onko asiasta tehty minkäänlaista virhemallia saati luotettavuusanalyysiä? |
|
| Kaikki ovat sellaisia, että ellei niitä ole huomioitu, ne vaikuttavat tulosten virhealttiutta lisäävästi -- paitsi viimeinen joka kertoo ettei asiaa ole edes ajateltu. Virhealttius kasvaa jopa siinä määrin, että pelejä tarvitaan moninkertainen aineisto että päästään samalle uskottavuustasolle. Silloin ero saattaa olla noin 10 pelistä -> 100 peliä, joten mainitut laskennalliset luvut, vaikkeivät sinänsä vääriä olekaan, ovat vain yhden mallin antamia laskennallisia lukuja, ja niiden oikeana pitäminen on vähintäänkin epäilyttävää. Näin niiden luonne on lähinnä suuntaa-antava tyyliin "kiinnitäs huomiota tähän," sen sijaan käyttö (varmana) korotusindikaattorina on huomattavan suurella tödennäköisyydellä väärin. |
|
| Mainittakoon että en myöskään ole nähnyt Cieplyltä minkäänlaista tekstiä joka indikoisi että hän on kiinnittänyt huomiota näihin. ELO-malli ei sinänsä ole väärä, mutta esmes jo sen sitominen dan/kyu -luokituksiin sekä näistä johtuvaan kivi/pykälä tasoeroihin perustuu tietääkseni Stetson-Harrison -analyysiin. (Huom. tiedän kyllä että on tehty joitakin ML-analyyseja EGF-aineistoista luokitus<->tulos, mutta tietääkseni analyyseja GORrin osalta ei.) |
|
| -- DonOlli, 28.2. |
|
| Osittain vastauksena esittämäsikaltaiselle kritiikille lisäsin ohjelmaan alunperin toisen moodin, joka käyttää voittoprosentteina toteutuneita tuloksia EGF:n turnauksista eikä näin ollen tee oletusta todellisesta vahvuudesta. Se siis ottaa mukaan "virheellisesti" luokitetut pelaajat, koska he ovat mukana tilastoissa. Ko. moodi antaa kuitenkin hieman hassuja käyriä, koska ekstrapoloin voittoprosentit aika karulla tavalla datan puuttuessa yli neljän kiven luokituseroille. Vastustajista on vaikea olettaa muuta kuin heidän luokituksensa tai GOR:nsa tällaisessa automaatissa ja maakohtaisia eroja jne. on hankala ottaa mukaan eikä mielestäni välttämättä pitäisikään. Väittämäsi kymmenestä pelistä sataan ei ole oikein, koska esim. normaalijakautuneet virheet kumoavat aika nopeasti toisensa, sillä virheitä tulee molempiin suuntiin. Ohjelmalla on myös suhteellisen helppo tehdä virheanalyysiä käsin kokeilemalla muuttaa luokituksia. |
|
| En yritä väittää, että yksinkertainen laskennallinen malli antaisi tarkempia tuloksia kuin ahkera, valistunut ja puolueeton luokittaja. Onko tällaisia olemassa ja mistä heidät tunnistaa onkin sitten vaikeampi juttu. |
|
| -- Kari 28.2. |