View Attach Info

Add new attachment

Only authorized users are allowed to upload new attachments.

This page (revision-85) was last changed on 31-Jul-2005 15:24 by 84.248.22.40  

This page was created on 19-May-2005 13:50 by LauriPaatero

Only authorized users are allowed to rename pages.

Only authorized users are allowed to delete pages.

Difference between version and

At line 14 added 4 lines
Poistin julkisesti näkyvillä olevat luokitussivut.
-- Lauri 30.5.2005
At line 139 added 17 lines
!!Pelaajan vahvuuden tarkkuus
Pelaajan arvioidun vahvuuden tarkuus onkin kiero juttu. Jotta tarkkuudesta puhumiseen saa järkeä, on syytä ensin ymmärtää hieman erilaisista vaihtoehdoista.
!Kahden pelaajan vahvuuseron tarkuus
Kahden pelaajan vahvuuseron tarkuus on selkeä suure. Sitä voidaan testata kysymällä tyyliin "mitkä ovat mahdollisia pelien voittosuhteita pelaajien välillä". Eli tuloksena voisi olla että (olemassa olevan tiedon valossa) toinen voitaa 70-80% tasa-alkupeleistä. Helppoa, muttei kovin hyödyllistä.
!Pelaajan vahvuuden "absoluuttinen" tarkuus
Järjestelmällä on (yleensä) jonkin tapa, jolla sen asteikon absoluuttinen taso on määräytynyt. Nyt pelaajan mahdollisia vahvuuksia voidaan testata tapaan, "mitkä absoluutiset vahvuudet olisivat pelaajalle mahdollisia". Tapa toimii, mutta absoluuttinen asteikkon kiinnitystapa vaikuttaa tuloksiin. Jos kiinnitystapa on hyvin toimiva, saadaan mielekkäitä tuloksia.
!Välimuodot
Yllä olevan kahden ääritavan lisäksi on mahdollista virittää erilaisia ryhmävertailuja, muttä näissä pitää aina lukia "pienellä painettu" teksti, koska tulokset heijastelevat vertailun määrittelytapaa.
!Vahvuusarvioiden virheiden korrelaatio
Kun vahvuuksien tarkuutta arvioidaan jollekkin yksittäiselle pelaajalle, ei voi olettaa, että hänen vastustajien tarkuus tunnataan tarkasti, vaan myös vastustajien vahvuuden tarkuus vaikuttaa. Tämä ilmiö voi olla erityisen voimakas kun puhutaan taskuuntuneeista pelaajista, koska tällöin pelaajien vahvuuden arviointivirheet ovat voimakkaan korreloituneita (eli virheet ovat todennäköisesti samansuuntaisia).
Ääriesimerkki tästä kaksi pelaajaa, jotka ovat pelanneet keskenään paljon pelejä, mutta eivät juuri muiden kanssa. Tässä tilanteessa pelaajien tasoero tunnetaan tarkasti, mutta absoluuttinen vahvuuden tarkuus on väkisin huono. Nyt absoluuttista tarkuutta laskettaessa jos toisen pelaajan vahvuus oletettaisiin tarkasti tunnetuksi, niin toisenkin vahvuus tunnetaan tarkasti.
At line 160 added 6 lines
At line 242 added one line
At line 311 added one line
At line 329 added 234 lines
No niin, jotta saataisiin asiat eteenpäin mahdollisimman pian, voinet kertoa miten seuraavaksi toimitaan. Voin aloittaa testaustyön vaikka jo tänään.
-- Markku, 28.6. 2005
Laitan tarkempaa meiliä huomenna (tänään menee ilta kerhossa).
-- Lauri 28.6.2005
Excel-taulukon kuvauksessa on teksti:
"Rating, where likelihood dropped to 0.75 from ML. Comparable to 75% confidence", tarkoittaako tuo
siis pistettä likelihood-funktion L pistettä x, jossa L(x)=0.75*L(ML) ? Sehän ei automaattisesti
tarkoita 75% todennäköisyyttä. Seuraako tämä siis mallin muista ominaisuuksista, vai ymmärsinkö tekstin
väärin?
-- Kari 29.6.2005
Ok, ilmeisesti vain ymmärsin lukemani väärin, sanamuoto oli aavistuksen hämmentävä.
-- Kari 29.6.2005
Systeemi ilmeisesti käyttää gor-voittotodennäköisyyksiä? Mukana näyttää olevan tasoitusturnauksia. Kuinka
tasoituspelit huomioidaan? Tasoituspelien mukaanotto on ongelmallista. Kuinka systeemi huomioi ajan?
-- Kari 29.6.2005
Ensinnä tosta 0.75ML: Tulkistasi L(x)=0.75*L(ML) on oikea.
Ja toisaalta likelihood-funtiolla ei edes ole kertymä-tulkintaa, joten kertymään ei voi asiallisesti laskea... Ero tässä on se, että likelihood-jakauma ei ole todennäköisyysjakauma, koska prior-todennäköisyyttä eri vahvuuksille ei ole mukana.
Hyvä esimerkki kertymän ongelmista on (20k) pelaaja, joka voittaa 20k:n ja häviää 7danille. Hänen luokituksen 95% luottamusrajat (kaikkia luokituksia yhtä todennäköisinä piteän) on jotakuinkin 17kyu-5dan, mutta tämä ei liene asiallinen korotusperuste...
Luoktuksessa esiintyvät jakaumat toimivat nätisti näiden likelihood-rajojen kanssa niiden luonteen takia (siitä ehkä lisää myöhemmin).
Mallin kaikki parametrit on optimoitu yllä olevan kirjoituksen mukaan, siis maksimoimaan kyky ennustaa pelituloksia. Eli ne eivät ole muualta otettuja. Optimointi jatkuu vielä, mutta suuria muutoksia tuskin tulee.
Ajan huomioon otto on myös yllä olevan kirjoituksen mukaan tehty.
Mallissa on sen verran paljon detaljeja, että en sitä jaksa ruveta perkaamaan, erityisesti kun siitä ei mallin tekemisen kannalta ole mitään iloa. Ainoa ilo olisi muiden mielenkiinnon tyydyttäminen. (ja sekö minua kiinnostaisi? :)
Mikä sinusta on tasoituspeleissä ongelmallista?
-- Lauri 29.5.2005
Kuinka niin likelihood-funktiolle ei ole kertymä-tulkintaa? Minusta kertymän käyttö olisi huomattavasti parempi tarkkuuden
mittari kuin tuo ylläoleva, joka ei oikeastaan kerro tarkkuudesta vielä paljoakaan. Kertymän antamaa luotettavuusväliä voi hyvin
käyttää korotusperusteena.
Mielestäni järjestelmän käyttämä algoritmi pitää julkistaa eksplisiittisesti jossain, jotta se on kaikille selkeä.
Onko mallissa jotain parametrejä, ja kuinka ne on valittu?
Tasoitusgo ja oikea go ovat eri pelejä.
-- Kari 29.6.2005
Luottamusvälit toimivat todennäköisyysjakaumille vain, kun jakaumat ovat nätin yksihuippuisia ja symmetrisiä. Usein näin ei ole vahvuuden todennäköisyysjakaumissa.
Tuossa yllä olevassa esimerkissäni korotat 20k:n 17k:ksi, 95% luottamus kun on kunnossa?
Jos et korota, niin miksi et usko luottamusväliä?
Miksi ykrityishenkilön pitää julkaista harrastuksestaan tuollaista?
Jos muistakin go:pelaajista systeemi pitää julkaista, niin sitten pistän homman koipusiin odottamaan sitä aikaa, että ehkä ehdin / jaksan. Sikäli kun Karin mielipide jää ainoaksi asiassa, niin lienee paras että suljen sivut.
-- Lauri 29.5.2005
Anteeksi jos sait käsityksen että suhtaudun projektiisi negatiivisesti. Mielestäni se on hyvää työtä, mutta jos sitä halutaan
käyttää pohjana jonkilaiselle virallisemmalle systeemille, niin pitää aloittaa keskustelua siitä, mitä parannuksia tarvitaan.
Jos taas aikomuksesi on vain yksityishenkilönä kehitellä, niin sitten se pitää hyvin selkeästi tuoda esille, jotta ihmiset
eivät sekoita sitä mihinkään viralliseen. Yleisesti ottaen kannatan työtäsi erittäin paljon.
Itse asiassa tuo 17k korottaminen on oikea ratkaisu mallin mukaan (virhe alle 5% todennäköisyydellä). Se miksi tämä riitelee
intuition kanssa johtuu siitä, että malli olettaa luokittamattomien pelaajien jakautuneen tasaisesti koko luokitusskaalalle ja
intuitiivisesti tiedämme että luokittamaton pelaaja, jolta tunnetaan vain yksi pelitulos, on todennäköisesti aloittelija.
Tiedämme myös mallin ulkopuolelta, että luokitukset ovat suurinpiirtein normaalijakautuneita tai ainakin kaukana tasajakaumasta.
Kyseinen ongelma on erittäin helppo ratkaista siten, että vaadimme luokittamiseen esim. vähintään 3 peliä. Tämän jälkeen ko. ongelma
on pienentynyt merkittävästi.
-- Kari 29.6.2005
Miksi oletuksena on virallinen systeemi? Virallisuushan tulee kun joku virallinen taho ilmoittaa, että tämä on nyt virallinen asia.
-- Gardan 29.7.2005
Kyse ei ollut virallisuudesta, vaan siitä, mitä monet ihmiset ajattelevat virallisena, mikä ei ole sama joukko asioita kuin
viralliset asiat.
-- Kari 29.7.2005
Kari,
"Tasoitusgo ja oikea go ovat eri pelejä."
Oletko sitä todella sitä mieltä, että kyu pelaajat pitää luokittaa pelkkien tasa-alkujen perusteella?
Ainakin HGK olisi vaikeuksissa...
Yllä olevassa testissä olen aiemmin käynyt asiaa läpi, missä kohdassa olet eri mieltä?
"Itse asiassa tuo 17k korottaminen on oikea ratkaisu mallin mukaan (virhe alle 5% todennäköisyydellä)."
Eli luottamusrajat eivät anna luttamukselle rajoja, joita voi todella käyttää.
Tämä on juuri se ongelma, jonka takia todennäköisyysjakauman kertymään ei luokituksessa voi juuri käyttää.
On parempi käyttää likelihood:n pistearvoja, niihin ei liity vastaavaa ongelmaa.
Kari, eniten tässä minua vitutaa sinun asenteesi. Voisit ottaa edes hieman rakentavan asenteen, sen sijaan, että vaadin ja heität perustelemattomia väitteitä. Tämä hyvin palauttaa mieleeni, miksi näiden kahden vuoden aikana tästä työstö mitään kirjoittanut.
-- Lauri 29.5.2005
Olen edelleenkin sitä mieltä, että kertymäfunktio on huomattavasti oikeampi pohja virhearvioille.
Esittämäsi ongelma voidaan joko korjata laittamalla lisävaatimuksia tulosriville (vähintään yksi häviö tarpeeksi lähellä
kohdetasoa jne..) tai sitten lisäämällä malliin tietoa. Koska mallin monimutkaistaminen on monessakin suhteessa hankalaa
(en pura kaikkea auki, jotta keskustelu pysyisi edes suurinpiirtein pääasioissa tässä vaiheessa), näyttäisi että
lisävaatimukset tulosriville ovat helpoin tapa korjata ongelma. Sitä paitsi on niitä tilanteita, joissa tyhjästä putkahtaa
pelivahvuudeltaan dan-tason kiinalainen jolla on 20k+ 7d- tulosrivi. Tässä tapauksessa luokittamisvirhe tapahtuisi alaspäin.
Ja olen muuten varmaan näissäkin keskusteluissa kommentoinut, että kyu-tason korottamisen tulisi olla vaikkapa täysin vapaata.
-- Kari
Eli jos oikein ymmärrän, niin et tuottaisi lainkaan virhearviota niille, joitka eivät täytä noita ehtoja?
Minusta parasta on laskea asiallinen virhearvio kaikille, mutta mieltymyksensä kullakin.
Miksi lainkaan kommentoit tätä systeemiä, jos kerran myös täysin vapaa olisi sinusta hyvä?
Ovatko kommenttisi ovat tässä mielessä asian sivusta?
-- Lauri
Öö, siis aloittelijat nousevat niin nopeasti ettei niiden perässä pysy kukaan eikä mikään kunnolla, mutta tarve tällaiselle
systeemille on erityisesti dan-tasolla, kun luokituksilla on enemmän merkitystäkin.
Kun minusta pistearvoihin perustuva virhearvio ei ole asiallinen. Ainoa syy, miksi kertymäfunktion käytössä näennäisesti
ilmenee ongelmia on mallin vääryys, käsitteellisesti kertymä on täsmälleen sama kuin virhetodennäköisyys mallin mukaan.
Vika ei siis ole kertymän käytössä vaan mallissa, mutta koska liian tarkan mallin kyhääminen on muuten epäkäytännöllistä,
ehdotan rajoituksia tulosriveille. Ei joku alle viiden pelin tulosrivi kuitenkaan anna kovin merkityksellistä dataa,
joten miksi sitten tuijottaa liikaa niitä.
-- Kari
Tulkitsen vastauksestasi, että kommenttisi eivät sitten liity tähän systeemiin, eli ne voi jättää huomiotta.
Ilmeisesti et ennen kirjoittamista lainkaan lue, mihin systeemi oli tarkoitettu?
Vai kommentoitko ihan tarkoituksella muuta käyttöä, kuin mihin systeemi oli tarkoitettu?
Jos kuulostaa, että olen vihainen, niin silloin sanoma välittyy hyvin. Kirjoitin systeemin tavoitteet moneen kertaan eri paikkoihin, jotta ne tulisivat selviksi. Ilmeisesti ei kuinkaan riittävän moneen paikkaan...
Et vieläkääm oikein sanonut, mikä on vikana likelihood arvorajan käytössä. Kun ongelmaia ei ole, se antaa saman tuloksen kuin kertymä. Kun kertymä alkaa antaa vääristyneitä tuloksia, niin likelihood raja antaa hyviä.
Ongelma kertymässä on todella se, että oletetaan tasainen pelaajan prior todennköisyys jakauma. jos oletus on ongelma, niin se pitää ottaa pois. Tällöin todennäköisyysjakauma ei ole saatavilla, mutta likelihood rajat ovat, ja ne antavat edelleen järkevän tuloksen.
-- Lauri
"Hommassa tulee varmaan erilaisia pikku ongemia, ja haluaisin kuulla niistä, jotta voin ne poistaa" ja se että kiinnostuksen
esittäminen systeemiin rohkaisisi sinua sen jatkamisessa olivat päävaikuttimeni kommentointiini. Ongelmana likelihood-arvorajan
käytössä on, että se ei yleisessä tapauksessa anna ollenkaan mielekkäitä virhetodennäköisyyksiä. Jos käyttämäsi malli kuitenkin
sattuu tuottamaan sen muotoisia likelihood-funktioita, että likelihood arvorajat antavat mielekkään näköisiä virherajoja, on
kyse lisäoletuksista, joita en voi ottaa argumentoinnissani huomioon, koska et ole julkaissut käyttämääsi algoritmia/mallia
täsmällisesti. Haluatko todella, että esitän täällä jonkun mallin X, jossa likelihood-arvorajojen käyttö antaa päättömiä tuloksia?
Mielestäni mallia ei pidäkään hioa liian tarkaksi todellisuuden vastineeksi. Tietyssä mielessä voimme ajatella mallin muodostavan
metapelin, jossa pelaajat ovat mukana kilpailemassa ranking:stä. Esimerkki liian tarkasta mallista: On havaittu, että alkoholin
käyttö edellisenä iltana heikentää pelituloksia -> siis malliin pitäisi saada mukaan pelaajien edellisen illan alkoholin käyttö,
jotta voimme arvioida heidän vahvuuttaan vieläkin tarkemmin.
-- Kari
Nyt kerroit lopulta mikä sinua vaivasi, kiitos.
Ja sitten vastaus: Tiedän, että likelhood rajat toivat luokituksissa hyvin, kun taas kertymäraja ei. Molemmista löytyy patologisia esimerkkejä (myös luokituksissa), mutta kertymälle niitä on paljon enemmän, esimerkkinä yksinkertaisesti kun kaikki pelaajan pelit ovat voittoja.
Tuo mallin tarkkuus on hyvä pointti ja ongelma rankking-tilanteessa. Mutta onko ongelma todellinen epäformaaleille luokituksille 15kyu-1kyu alueella? Minusta ei.
Jos jollakin (käytännöllisellä) tavalla saadaan tarkemmin todellisuutta vastaavat luokituiset, niin minusta se on hyvä. ("tarkemmin todellisuutta vastaavat luokitukset" == luokitukset ennustavat pelejä paremmin).
Tässä tulee hyvin esille, miksi en ruvennut tekemään rankking systeemiä dan pelajille :)
-- Lauri
Ok, "riita" poikki. Muuten myös vedonlyöjä on kiinnostunut mahdollisimman tarkasta systeemistä :) Ehkä pitäisi ajatella,
että tarvitaan kolme tasoa: 30k-15k: vapaa luokitus, 15k-1k: mahdollisimman tarkka systeemi tuottamaan tasoituksia,
1d-7d: urheilullinen ranking.
-- Kari
Eli "Ja olen muuten varmaan näissäkin keskusteluissa kommentoinut, että kyu-tason korottamisen tulisi olla vaikkapa täysin vapaata." olikin vain kusetusta?
Et ilmeisesti juuri seiso sanojen takana, vaan heität mitä mieleen tulee?
Minulla ei ole mielenkiintoa jatkaa tällaista väittelyä, tämän tuntuu lähinnä tekemäni työn halveksunnalta. Pistin luokitussivut kiinni, ja niin se saavatkin pysyä.
-- Lauri 20.7.2005
Sanojensa takana seisominen silloin kun huomaa muita mahdollisuuksia, on tyhmyyttä. En yritä voittaa
väittelyä, yritän oikeasti auttaa kehittämään asioita. Sitäpaitsi en ymmärrä mitä loukkaamiseni auttaa
tässä väittelyssä.
-- Kari
Kari, minua suuresti hämmästyttää teikäläisen into sotkea luokituspolitiikka kaikkiin mahdollisiin asioihin, kuten perustutkimukseen luokitusten mallintamisesta. Vaikka politiikka olisikin lähellä sydäntäsi, se ei Laurin ylle kirjoittaman perustella todellakaan ole tämän projektin tarkoitus. Myös se, että siirrät maalia etkä kerro siitä ja ettet kerro muuttaneesi mielipidettä oltuasi väärässä kertoo, että yrität halvalla didaktiikalla voittaa väittelyn etkä keskustella asioista. Onko ehkä väittelytekniikkasi väärä lähestymistapa? Etkö osaa eroittaa politikointia oikean tutkimuksen tekemisestä?
;:''(Niille, joille Laurin esittämät seikat kuulostavat vaikeilta, hieman perustietoa tilastotieteestä. Kuten olen aiemminkin kertonut, monet mallit olettavat normaalijakautunutta aineistoa. Tässä yhteydessä se tarkoittaa, että luokitusjakauman poikkileikkaus noudattaa normaalijakaumaa. Toisin sanoen kullekin luokitusarvolle x jakauma (hajonta) noudattaa normaalijakaumaa.
;:Jos tämä kuulostaa vaikealta, voi helpottaa vertauskuva: jakaumakuvio on kolmiulotteinen, ei siis viiva (kuten insinöörit usein ajattelevat) vaan pikemminkin vuorijono, ja jokaiselle arvolle x on oma hajonta (vuorijonon poikkileikkaus juuri sillä kohdalla.) Monihuippuinen jakauma on ikään kuin vuorijono haarautuisi (ehkä yhtyäkseen jälleen myöhemmin,) ja vino jakauma on kuin vuori olisi epäsymmetrinen, korkeampi toiselta laidaltaan.
;:Biologispohjaisessa aineistossa jakauman poikkileikkaus on erittäin harvoin normaalijakaumaa noudattava, vaan se on yleensä vino (toispuoleinen) ja usein monihuippuinen (vuorijono jakautuu kahteen harjanteeseen.) Normaalijakautunut aineisto on kuitenkin kaikkien regressio-, log-lineaaristen ja logististen mallien __perusoletus.__ Näin ollen, on jo kyseenalaista että onko ML luokittamiseen soveltuva, siis tähän tilanteeseen oikea malli, mutta sekin on nimenomaan yksi erityisen mielenkiintoinen seikka Laurin tutkimuksessa.)''
Lauri, normaali tapa esittää luottamusväli vaikeassa aineistossa on käyttää samaa tekniikkaa kuin mediaanin kanssa kontra keskiarvo: otetaan n:s havainto, jossa n edustaisi järjestetyn aineiston prosenttipistettä, sen sijaan että lasketaan mikä luku sitä vastaa jos jakauma olisi normaali. Lisään alle hieman tarkemmin kunhan saan kaivetuksi.
Ja edelleen, Lauri, olen erittäin pahoillani että annat politikointiin fakkiutuneiden ja perustutkimusta ymmärtämättömien torpedoida arvokasta työtäsi. Pyydänkin siis ettet poista asiaa paremmin ymmärtäviltä mahdollisuutta tutkia sitä, vaan mieluummin vain jätät asiaa ymmärtämättömien urputuksen omaan arvoonsa.
-- DonOlli, 30.7.
Ja sitten mitä lupasin prosenttipisteiden luottamusväleistä ei-normaalijakautuneelle aineistolle. Kaikille prosenttipisteille on laskettavissa luottamusväli siten, että
;:{{{r = n/2 - z * sqrt(n) / 2}}}
;:{{{s = 1 + n/2 + z * sqrt(n) / 2 }}}
;:{{{CL = [ x(r), x(s) ] järjestetyssä aineistossa x(1) ... x(n) }}}
;:{{{Lähde: Sarna S, Kliinisen biostatistiikan kurssimoniste, syksy 2004.}}}
Tässä siis lasketaan kaksi järjestyslukua r ja s, ja valitaan järjestetystä aineistosta näin monennet alkiot. Nämä sitten edustavat luottamusvälin päätepisteitä. Esimerkiksi 95% luottamusvälille z saa arvon 1,96.
Tällaisen luottamusväliarvon käyttö on täysin perusteltavissa, toisin kuin yritys käyttää jonkin ''oletetun'' jakauman prosenttipistettä, saati sellaisen kertymää.
-- DonOlli
Olli: Poistin vain julkisuuden, itse toki jatkan tämän mielenkiintoisen ongelman tutkimista. Näinollen myös osaltani kaikki keskustelu siirtyy ei-julkisille kanaville.
-- Lauri
Olli, minä en maininnut luokittamista tässä keskustelussa ensimmäisenä, vaan Lauri esimerkissään. Koska
onnistuit taas kerran viemään keskustelun täysin sivuraiteille, ja koska kirjoittamisestani
näyttää Laurillekin olevan vain mieliharmia, en jatka keskustelua enää.
-- Kari
Version Date Modified Size Author Changes ... Change note
85 31-Jul-2005 15:24 44.933 kB 84.248.22.40 to previous
84 30-Jul-2005 16:52 44.974 kB 80.221.27.162 to previous | to last
83 30-Jul-2005 14:08 44.931 kB 81.197.77.215 to previous | to last
82 30-Jul-2005 11:14 44.647 kB LauriPaatero to previous | to last
81 30-Jul-2005 10:26 44.464 kB 210.245.8.253 to previous | to last
« This page (revision-85) was last changed on 31-Jul-2005 15:24 by 84.248.22.40