View Attach Info

Add new attachment

Only authorized users are allowed to upload new attachments.

This page (revision-85) was last changed on 31-Jul-2005 15:24 by 84.248.22.40  

This page was created on 19-May-2005 13:50 by LauriPaatero

Only authorized users are allowed to rename pages.

Only authorized users are allowed to delete pages.

Difference between version and

At line 14 added 4 lines
Poistin julkisesti näkyvillä olevat luokitussivut.
-- Lauri 30.5.2005
At line 42 added 11 lines
Jokaisessa systemissä on pääosaat:
* Tulosten kerääminen
* Vahvuuden laskeminen
* Tulosten julkaisu
Näistä ylivoimaisesti työläin on tulosten kerääminen. Tällä hetkellä ainoa laaja keruu on GOR systeemin yhteydessä tapahtuva turnaustulosten keruu.
Vahvuuden laskeminen on mielenkiintoinen ja haukska, mutta kun systeemi kerran on toiminnassa, tämä on helppo vaihe.
Tulosten julkaisu on kohtuullisen helppo. Tässä lähinnä työtä aihettaa tulosten dokumentointi.
At line 63 added 2 lines
Systeemissä käytetään tausta-aineistona GOR pelidataa.
At line 105 added 2 lines
!Pelaajien muuttumisnopeudesta
At line 109 added one line
Yhdenkään järjestelmän toimita ei ole riippumatonta pelaajien (tyypillisestä) kehitysnopeuksista. Järjestelmien suunnittelussa pyritään sekä vakaan pelaajan tason tarkaan määrittämiseen ja toisaalta muuttuvan pelaajan muutoksiin reagointiin, ja nämä tavoitteet ovat jossain määrin ristiriitaiset.
At line 111 added 4 lines
Järjestelmiää tehtäessä syntyy aina jonkinlainan kompromissi reagointinopeuden ja tarkuuden välillä ja tämä sisältää jonkinlaisen ajatuksen siitä, miten pelaajat kehittyvät (mallin antamassa kehyksessä).
Yksi ero muutosnopeuden käsittelyssä tulee siinä, onko muutosnopeuden käsittely säädettävissä itsenäisesti, vain onko se kytketty kiinteästi systeemin rakenteeseen.
At line 139 added 17 lines
!!Pelaajan vahvuuden tarkkuus
Pelaajan arvioidun vahvuuden tarkuus onkin kiero juttu. Jotta tarkkuudesta puhumiseen saa järkeä, on syytä ensin ymmärtää hieman erilaisista vaihtoehdoista.
!Kahden pelaajan vahvuuseron tarkuus
Kahden pelaajan vahvuuseron tarkuus on selkeä suure. Sitä voidaan testata kysymällä tyyliin "mitkä ovat mahdollisia pelien voittosuhteita pelaajien välillä". Eli tuloksena voisi olla että (olemassa olevan tiedon valossa) toinen voitaa 70-80% tasa-alkupeleistä. Helppoa, muttei kovin hyödyllistä.
!Pelaajan vahvuuden "absoluuttinen" tarkuus
Järjestelmällä on (yleensä) jonkin tapa, jolla sen asteikon absoluuttinen taso on määräytynyt. Nyt pelaajan mahdollisia vahvuuksia voidaan testata tapaan, "mitkä absoluutiset vahvuudet olisivat pelaajalle mahdollisia". Tapa toimii, mutta absoluuttinen asteikkon kiinnitystapa vaikuttaa tuloksiin. Jos kiinnitystapa on hyvin toimiva, saadaan mielekkäitä tuloksia.
!Välimuodot
Yllä olevan kahden ääritavan lisäksi on mahdollista virittää erilaisia ryhmävertailuja, muttä näissä pitää aina lukia "pienellä painettu" teksti, koska tulokset heijastelevat vertailun määrittelytapaa.
!Vahvuusarvioiden virheiden korrelaatio
Kun vahvuuksien tarkuutta arvioidaan jollekkin yksittäiselle pelaajalle, ei voi olettaa, että hänen vastustajien tarkuus tunnataan tarkasti, vaan myös vastustajien vahvuuden tarkuus vaikuttaa. Tämä ilmiö voi olla erityisen voimakas kun puhutaan taskuuntuneeista pelaajista, koska tällöin pelaajien vahvuuden arviointivirheet ovat voimakkaan korreloituneita (eli virheet ovat todennäköisesti samansuuntaisia).
Ääriesimerkki tästä kaksi pelaajaa, jotka ovat pelanneet keskenään paljon pelejä, mutta eivät juuri muiden kanssa. Tässä tilanteessa pelaajien tasoero tunnetaan tarkasti, mutta absoluuttinen vahvuuden tarkuus on väkisin huono. Nyt absoluuttista tarkuutta laskettaessa jos toisen pelaajan vahvuus oletettaisiin tarkasti tunnetuksi, niin toisenkin vahvuus tunnetaan tarkasti.
At line 160 added 6 lines
At line 173 changed one line
Ainoa mielestäni hyväksyttävä tapa myöntää arvonimiluokituksia, on että määritellään arvonimikorotuksille pelituloskriteerit toisia arvonimiluokitettuja vastaan. Näin voidaan tehdä, koska arvonimet eivät viittaa mihinkään muuhun kuin toisiin arvonimiin. Ainoa vaihtoehto jonkinlaisille yhteisesti sovituille arvonimiluokituskriteereille on käytännössä mielivaltaan perustuva systeemi, joka vääjäämättä korruptoituu tykkäämis- ja valtapeleiksi. Ei ole lainkaan sattumaa, että lähes kaikissa urheilulajeissa, jotka eivät ole puhtaasti arvostelulajeja, luokittaminen perustuu sääntöihin (vrt. shakin arvonimikiinnitykset).
Ainoa mielestäni hyväksyttävä tapa myöntää arvonimiluokituksia on, että määritellään arvonimikorotuksille pelituloskriteerit toisia arvonimiluokitettuja vastaan. Näin voidaan tehdä, koska arvonimet eivät viittaa mihinkään muuhun kuin toisiin arvonimiin. Ainoa vaihtoehto jonkinlaisille yhteisesti sovituille arvonimiluokituskriteereille on käytännössä mielivaltaan perustuva systeemi, joka vääjäämättä korruptoituu tykkäämis- ja valtapeleiksi. Ei ole lainkaan sattumaa, että lähes kaikissa urheilulajeissa, jotka eivät ole puhtaasti arvostelulajeja, luokittaminen perustuu sääntöihin (vrt. shakin arvonimikiinnitykset).
At line 225 added 338 lines
Pyyntö kaikille keskusteluun osallisille: Älkää aloittako keskustelua arvonimiluokituksista, se on täysin off-topic tällä sivulla. Nyt puhutaan vahvuuden arvioinnista, ei arvonimistä.
Tuolle arvonimikeskustelulle on riittävän monta sivua jo olemassa, joissa pohditaan esimerkiksi suomalaisten [Luokitusten Parantelua].
-- Lauri, 3.6. 2005
Kuulostaa pirun hyvältä tämä projekti ja vaikuttaa siltä että yritystä on.
Käsittääkseni tässä tavoitellaan nyt jotain samansuuntaista, kuin esimerkiksi KGS:n pelivahvuutta kuvaava käppyrä (josta KGS johtaa suoraan oman käsityksensä luokituksesta). Kehittyvät pelaajat ovat olleet ongelma KGS:ssäkin ja vähän muissakin vastaavissa automaateissa. Shakkiservereillä on omat laskukaavansa pelivahvuudelle, joista osa ainakin minun mielestäni on toiminut ihan hyvin, joten en pidä onnistumista mitenkään mahdottomana.
-- Antti V, 14.6.2005
Kannattaa huomata, että kehittyvien pelaajien ongelma on ratkaistavissa monilla tavoilla, joista GoR:iin kuuluvat reset-korotukset ovat suunnilleen huonoin, jonka keksin.
[Ranskan luokitusjärjestelmä|http://ffg.jeudego.org/ECHELLE/algo.html] on hyvin samankaltainen kuin GoR, mutta siinä nopeasti kehittyvien tai taukoa pitäneiden pelaajien ongelma on ratkaistu seuraavalla tavalla:
\\"Two situations lead to a special processing:
\\ - The players who are unknown by the rating list. Their initial rating isset to their \\registering rank (1d = 50, 1k = -50). If after processing all games, the rating \\variation of an unknown player is greater than 50 points, then the initial rating is \\considered as incorrect (too optimistic or too pessimistic), an adjustment \\pre-processing is performed
\\- Known players whose level has significantly changed. This situationis typically met \\with beginners or players having not participated in a tournament for a long time. As \\for unknown players, an adjustment pre-processing is performed.For them, the threshold \\is set to 100."
The adjustement algorithm :A complete calculation is performed. Then, for all palyers whose variation exceeds the threshold, the straring rating is corrected by variation - theshold.This algorithm is repeated, if necessary, until convergence. Convergence is supposed to be reached when rating variation between tho iterations stay beneath 10."
Hyvää teoreettista taustatietoa vahvuudenarviointisysteemeistä: [Back to Basics in Chess Ratings|http://www.ratingtheory.com].
-- Markku, 14.6. 2005
Markku, kiitoksia mielenkiintoisesta linkistä. Jännä huomio: eivät nuokaan ole pelaajien kehitysnopeutta juuri tutkineet, toteavat vain systeemin "liukuvaksi keskiarvoksi". Vai enkö vain huomannut?
!Kehitysnopeuden ja alkupisteen huomiomistavoista
Minusta tavat, joissa on jokin "kynnys" nopea / hidas kehitys, ovat epäilyttäviä. Ei ihmisissä ole sisällä sellaista kynnystä (tai jos on, niin haluisin nähdä analyysin, jolla se on löydetty).
Usein hommaan liitetään fiilispohjaisia vaatimuksia (taso ei saa aluksikaan muutua paljoa, jos tulee ei-ennustettu tulos). Nämä vaatimukset näyttävät ovat seuraus osin siitä, että systeemit eivät anna tarkkuustietoa. Tarkuusarvion puute sitten yritetään paikata tekemällä muutoksia varovaisesti. Tuloksena on yleensö liian hitaasti muuttuvat luokituskset.
!Omasta puuhastelusta
Nykyinen käyttämäni malli laskee pelaajalle tasoa joka kuukaudelle.
Eli periaatteessa saadaan näkyviin kippura, mutta KGS:stä poiketen kippuran
vanhatkin pisteet elävät, kun uutta tietoa saadaan.
Tämän kuukausittaisen laskennan ansioista pelaajien kehitysnopeuden huomiominen
päästään tekemään hallitulla tavalla, eli kehitysnopeuden käytöstä päästään
tutkimaan ilman liian suuria häiriöitä muiden tekijöiden takia.
Käytännössä likelihood pohjaisessa mallissa syntyy likelihood-jakauma kehitysnopeudelle.
(Yleisemmin: likelihood jakauma saadan pelaajan koko kehityshistorialle. Tällöin voidaan huomioida myös "vakaat" tai "muuttuvat" pelaajat jakaumassa.)
-- Lauri
Käsittääkseni ranskalaiset eivät ole tutkineet pelaajien kehittymisnopeuksia. Positiivista silti on, että he poimivat joukosta ne, joiden vahvuusluku on muuttunut laskettavassa turnauksessa "liian" nopeasti ja laskevat heille uuden vahvuusluvun turnauksen perusteella ennen kuin koko turnaus lasketaan alusta asti uudelleen.
Näin minä ainakin ymmärsin tuon systeemin. Ranskalaisten selostus ei ollut selkein mahdollinen.
(Tuosta ranskalaisten systeemistä huomauttaisin, että jos pelaajan luokitus on arvioitu väärin - esim. 4 kiveä liian heikoksi - niin "pre-processing" -algoritmin" konvergenssiin ajaminen kyllä useimmissa tapauksissa nostanee tuollaista luokitusta niin korkealle kuin on oikeutettua kyseisen turnauksen perusteella vaikuttamatta muiden luokituksiin kohtuuttomasti. Toki se 100 pisteen (~ 1 luokitus) muutosraja, jonka jälkeen luokitusta aletaan "esiprosessoida" on mielivaltainen. Ilmeisesti Laurin tarkoitus kehittää systeemi, joka jollain tavalla ennustaa pelaajan todennäköistä kehitystä, jolloin sovellettuna ranskalaisten käyttämään systeemin, voitaisiin säätää tuota rajaa tarvittaessa pienemmäksikin.)
-- Markku 14.6. 2005
Jos puetaan ongelma pelaajan kehitysnopeuden likelihood-jakauman muotoon:
Tarve tuohon "resettiin" (olkoon tapa mikä tahansa) johtuu siitä,
että malli (ilman reseittiä) pitää tapahtunutta kehitystä liian epäuskottavana.
Korjaus on muuttaa kyseisen kaltaisen muutoksen uskottavuutta...
(Korjaus voi olla esimerkiksi: Muutos ei ole tule neliöllisesti epätodennäköisemmäksi nousunopeuden mukana, vaan ainoastaan lineaarisesti tms.)
Lisäongelma monissa systeemeissä on systeemin "ajantaju".
Useimmat systeemit olettavat, että pelaajan tason muutoksen määrä on (löysästi puhuen) verrannollinen systeemissä tarkasteltavalla välillä pelattuihin peleihin. Tämä on kohtuullisen kunnolla pielessä oleva oletus, koska pelaajat kehittyvät kokolailla riippumatta siitä, kuinka paljon he pelaavat GOR -pelejä. Pelaajien tason muutoksen määrä on paremminkin verrannollinen aikaan.
(Jos systemi ei käytä todellista aikaa yhtään mihinkään, niin se ei voi myöskään mitenkään käyttää sitä pelaajien muutosnopeuksien uskottavuutta arvioitaessa.)
GOR-aineiston osalta muutosta/aika riipuvan uskottavuuden käyttö antaa tuntuvasti tarkempia ennusteita pelituloksille, kuin pelkästään pelien määrästä riippuva uskottavuus. Taustalla olevia tekijöitä voi olla esimerkiksi se, että vain satunnaisesti vaihteleva murto-osa pelaajien peleistä on mukana GOR:ssa, joten pelaajan GOR-pelien määrä korreloi vain lievästi pelaajan kehittymisen kanssa.
(KGS peliaineiston osalta tilanne ei ole yhtä selvä, vaan molemmat riipuvuudet on ilmeisesti syytä otaa mukaan. KGS:n osalta tulokseni eivät ole valmiita. Ero gor ja KGS:n välillä voi olla se, että KGS:n tapauksessa on paljon pelaajia, joille KGS pelit muodostavat merkittävän osan heidän kaikista peleistä, eli pelien määrä korreloi voimakkaammin oppimisen kanssa. Mene ja tiedä.)
-- Lauri, päivitetty 27.6.2005
Jotta tätä systeemiä pääsisi oikeasti kokeilemaan suomalaisilla turnaustuloksilla, pitää melkoinen joukko turnaustuloksia syöttää sisään. Syöttäminen on käytännössä copy-paste teko tuloslistasta, jonka jälkeen korjataan nimien kirjoitusvirheet ja käydään läpi uudet pelaajat yms. Lisäksi pitää laittaa sisään peliajat ja hieman muuta oheistietoa.
Minulla rupunen ohjelma tuohon syöttöhommaa (Java:lla), se tekee koko joukon parsintaa ja tarkistuksia tuloslistoille. Nyt ohjelmaa pitäisi kokeilla, tässä olisi muutamasta vapaaehtoisesta hyötyä. Ohjelmasta tulee luultavasti kasa ongelmia esille heti kun joku muu kuin minä käyttää sitä, joten laaja testikäyttö ei ole aluksi järkevää. Jos testaamisesta kiinnostuneita masokisteja on, niin antakaa kuulua.
-- Lauri 27.6.2005
Hep.
-- Markku, 27.6. 2005
Ei niin että tietäisin millä kielellä ja mille käyttikselle tuo on tehty, mutta uskoisin että tuohon ei ole vaikea luoda skriptejä. Eli jos voin auttaa niin ilman muuta.
-- DonOlli
Minulta saat kyllä ihan valmista dataakin siistissä tekstitiedostomuodossa, jossa pelaajat, turnaus, pelaajien luokitukset ja tarvittaessa päivämäärä ovat yhdellä rivillä.
-- Markku, 28.6. 2005
Taisin esittää hieman huonosti asiani: Minulla on jo *luokitusalgoritmin* testausta varten ihan riittävät datat (oleellisesti nuo samat kuin Markulla, plus paavon pulauttimesta osa). Mutta kuten tämän taustan selityksessä koitan tuoda esille, luokitussysteemin toiminnalle on keskeistä maksimoida pelien määrä, johon luokitus perustuu.
Jotta uusden systeemi toiminta nyt ja *jatkossa* olisi hyvä, pitää siihen siis saada enemmän turnauksia kuin GOR:ssa, tai edes paavon pulauttimessa nyt on (sieltä puuttuu kaikki pienemmän kerhoturnauksen). Jos homma on yhden henkilön varassa, se pyörii aikanasa, ja lopahtaa helposti, koska turnausdatassa olevien kummajaisten (ulkomaisten nimien kirjoitusvihreiden yms) korjaaminen ottaa aikaa (ilman työkalua). Jotta tämä ei jäisi kenenkään yksittäisen ihmisen nakiksi, tarvitaan softa, jolla homman voi tehdä myös Joku{{tm}} kohtuullisella laadulla. Ja softan testaaminen niin, että Joku voi sitä oikeasti käyttää edellyttää työtä.
-- Lauri 28.6.2005
No niin, jotta saataisiin asiat eteenpäin mahdollisimman pian, voinet kertoa miten seuraavaksi toimitaan. Voin aloittaa testaustyön vaikka jo tänään.
-- Markku, 28.6. 2005
Laitan tarkempaa meiliä huomenna (tänään menee ilta kerhossa).
-- Lauri 28.6.2005
Excel-taulukon kuvauksessa on teksti:
"Rating, where likelihood dropped to 0.75 from ML. Comparable to 75% confidence", tarkoittaako tuo
siis pistettä likelihood-funktion L pistettä x, jossa L(x)=0.75*L(ML) ? Sehän ei automaattisesti
tarkoita 75% todennäköisyyttä. Seuraako tämä siis mallin muista ominaisuuksista, vai ymmärsinkö tekstin
väärin?
-- Kari 29.6.2005
Ok, ilmeisesti vain ymmärsin lukemani väärin, sanamuoto oli aavistuksen hämmentävä.
-- Kari 29.6.2005
Systeemi ilmeisesti käyttää gor-voittotodennäköisyyksiä? Mukana näyttää olevan tasoitusturnauksia. Kuinka
tasoituspelit huomioidaan? Tasoituspelien mukaanotto on ongelmallista. Kuinka systeemi huomioi ajan?
-- Kari 29.6.2005
Ensinnä tosta 0.75ML: Tulkistasi L(x)=0.75*L(ML) on oikea.
Ja toisaalta likelihood-funtiolla ei edes ole kertymä-tulkintaa, joten kertymään ei voi asiallisesti laskea... Ero tässä on se, että likelihood-jakauma ei ole todennäköisyysjakauma, koska prior-todennäköisyyttä eri vahvuuksille ei ole mukana.
Hyvä esimerkki kertymän ongelmista on (20k) pelaaja, joka voittaa 20k:n ja häviää 7danille. Hänen luokituksen 95% luottamusrajat (kaikkia luokituksia yhtä todennäköisinä piteän) on jotakuinkin 17kyu-5dan, mutta tämä ei liene asiallinen korotusperuste...
Luoktuksessa esiintyvät jakaumat toimivat nätisti näiden likelihood-rajojen kanssa niiden luonteen takia (siitä ehkä lisää myöhemmin).
Mallin kaikki parametrit on optimoitu yllä olevan kirjoituksen mukaan, siis maksimoimaan kyky ennustaa pelituloksia. Eli ne eivät ole muualta otettuja. Optimointi jatkuu vielä, mutta suuria muutoksia tuskin tulee.
Ajan huomioon otto on myös yllä olevan kirjoituksen mukaan tehty.
Mallissa on sen verran paljon detaljeja, että en sitä jaksa ruveta perkaamaan, erityisesti kun siitä ei mallin tekemisen kannalta ole mitään iloa. Ainoa ilo olisi muiden mielenkiinnon tyydyttäminen. (ja sekö minua kiinnostaisi? :)
Mikä sinusta on tasoituspeleissä ongelmallista?
-- Lauri 29.5.2005
Kuinka niin likelihood-funktiolle ei ole kertymä-tulkintaa? Minusta kertymän käyttö olisi huomattavasti parempi tarkkuuden
mittari kuin tuo ylläoleva, joka ei oikeastaan kerro tarkkuudesta vielä paljoakaan. Kertymän antamaa luotettavuusväliä voi hyvin
käyttää korotusperusteena.
Mielestäni järjestelmän käyttämä algoritmi pitää julkistaa eksplisiittisesti jossain, jotta se on kaikille selkeä.
Onko mallissa jotain parametrejä, ja kuinka ne on valittu?
Tasoitusgo ja oikea go ovat eri pelejä.
-- Kari 29.6.2005
Luottamusvälit toimivat todennäköisyysjakaumille vain, kun jakaumat ovat nätin yksihuippuisia ja symmetrisiä. Usein näin ei ole vahvuuden todennäköisyysjakaumissa.
Tuossa yllä olevassa esimerkissäni korotat 20k:n 17k:ksi, 95% luottamus kun on kunnossa?
Jos et korota, niin miksi et usko luottamusväliä?
Miksi ykrityishenkilön pitää julkaista harrastuksestaan tuollaista?
Jos muistakin go:pelaajista systeemi pitää julkaista, niin sitten pistän homman koipusiin odottamaan sitä aikaa, että ehkä ehdin / jaksan. Sikäli kun Karin mielipide jää ainoaksi asiassa, niin lienee paras että suljen sivut.
-- Lauri 29.5.2005
Anteeksi jos sait käsityksen että suhtaudun projektiisi negatiivisesti. Mielestäni se on hyvää työtä, mutta jos sitä halutaan
käyttää pohjana jonkilaiselle virallisemmalle systeemille, niin pitää aloittaa keskustelua siitä, mitä parannuksia tarvitaan.
Jos taas aikomuksesi on vain yksityishenkilönä kehitellä, niin sitten se pitää hyvin selkeästi tuoda esille, jotta ihmiset
eivät sekoita sitä mihinkään viralliseen. Yleisesti ottaen kannatan työtäsi erittäin paljon.
Itse asiassa tuo 17k korottaminen on oikea ratkaisu mallin mukaan (virhe alle 5% todennäköisyydellä). Se miksi tämä riitelee
intuition kanssa johtuu siitä, että malli olettaa luokittamattomien pelaajien jakautuneen tasaisesti koko luokitusskaalalle ja
intuitiivisesti tiedämme että luokittamaton pelaaja, jolta tunnetaan vain yksi pelitulos, on todennäköisesti aloittelija.
Tiedämme myös mallin ulkopuolelta, että luokitukset ovat suurinpiirtein normaalijakautuneita tai ainakin kaukana tasajakaumasta.
Kyseinen ongelma on erittäin helppo ratkaista siten, että vaadimme luokittamiseen esim. vähintään 3 peliä. Tämän jälkeen ko. ongelma
on pienentynyt merkittävästi.
-- Kari 29.6.2005
Miksi oletuksena on virallinen systeemi? Virallisuushan tulee kun joku virallinen taho ilmoittaa, että tämä on nyt virallinen asia.
-- Gardan 29.7.2005
Kyse ei ollut virallisuudesta, vaan siitä, mitä monet ihmiset ajattelevat virallisena, mikä ei ole sama joukko asioita kuin
viralliset asiat.
-- Kari 29.7.2005
Kari,
"Tasoitusgo ja oikea go ovat eri pelejä."
Oletko sitä todella sitä mieltä, että kyu pelaajat pitää luokittaa pelkkien tasa-alkujen perusteella?
Ainakin HGK olisi vaikeuksissa...
Yllä olevassa testissä olen aiemmin käynyt asiaa läpi, missä kohdassa olet eri mieltä?
"Itse asiassa tuo 17k korottaminen on oikea ratkaisu mallin mukaan (virhe alle 5% todennäköisyydellä)."
Eli luottamusrajat eivät anna luttamukselle rajoja, joita voi todella käyttää.
Tämä on juuri se ongelma, jonka takia todennäköisyysjakauman kertymään ei luokituksessa voi juuri käyttää.
On parempi käyttää likelihood:n pistearvoja, niihin ei liity vastaavaa ongelmaa.
Kari, eniten tässä minua vitutaa sinun asenteesi. Voisit ottaa edes hieman rakentavan asenteen, sen sijaan, että vaadin ja heität perustelemattomia väitteitä. Tämä hyvin palauttaa mieleeni, miksi näiden kahden vuoden aikana tästä työstö mitään kirjoittanut.
-- Lauri 29.5.2005
Olen edelleenkin sitä mieltä, että kertymäfunktio on huomattavasti oikeampi pohja virhearvioille.
Esittämäsi ongelma voidaan joko korjata laittamalla lisävaatimuksia tulosriville (vähintään yksi häviö tarpeeksi lähellä
kohdetasoa jne..) tai sitten lisäämällä malliin tietoa. Koska mallin monimutkaistaminen on monessakin suhteessa hankalaa
(en pura kaikkea auki, jotta keskustelu pysyisi edes suurinpiirtein pääasioissa tässä vaiheessa), näyttäisi että
lisävaatimukset tulosriville ovat helpoin tapa korjata ongelma. Sitä paitsi on niitä tilanteita, joissa tyhjästä putkahtaa
pelivahvuudeltaan dan-tason kiinalainen jolla on 20k+ 7d- tulosrivi. Tässä tapauksessa luokittamisvirhe tapahtuisi alaspäin.
Ja olen muuten varmaan näissäkin keskusteluissa kommentoinut, että kyu-tason korottamisen tulisi olla vaikkapa täysin vapaata.
-- Kari
Eli jos oikein ymmärrän, niin et tuottaisi lainkaan virhearviota niille, joitka eivät täytä noita ehtoja?
Minusta parasta on laskea asiallinen virhearvio kaikille, mutta mieltymyksensä kullakin.
Miksi lainkaan kommentoit tätä systeemiä, jos kerran myös täysin vapaa olisi sinusta hyvä?
Ovatko kommenttisi ovat tässä mielessä asian sivusta?
-- Lauri
Öö, siis aloittelijat nousevat niin nopeasti ettei niiden perässä pysy kukaan eikä mikään kunnolla, mutta tarve tällaiselle
systeemille on erityisesti dan-tasolla, kun luokituksilla on enemmän merkitystäkin.
Kun minusta pistearvoihin perustuva virhearvio ei ole asiallinen. Ainoa syy, miksi kertymäfunktion käytössä näennäisesti
ilmenee ongelmia on mallin vääryys, käsitteellisesti kertymä on täsmälleen sama kuin virhetodennäköisyys mallin mukaan.
Vika ei siis ole kertymän käytössä vaan mallissa, mutta koska liian tarkan mallin kyhääminen on muuten epäkäytännöllistä,
ehdotan rajoituksia tulosriveille. Ei joku alle viiden pelin tulosrivi kuitenkaan anna kovin merkityksellistä dataa,
joten miksi sitten tuijottaa liikaa niitä.
-- Kari
Tulkitsen vastauksestasi, että kommenttisi eivät sitten liity tähän systeemiin, eli ne voi jättää huomiotta.
Ilmeisesti et ennen kirjoittamista lainkaan lue, mihin systeemi oli tarkoitettu?
Vai kommentoitko ihan tarkoituksella muuta käyttöä, kuin mihin systeemi oli tarkoitettu?
Jos kuulostaa, että olen vihainen, niin silloin sanoma välittyy hyvin. Kirjoitin systeemin tavoitteet moneen kertaan eri paikkoihin, jotta ne tulisivat selviksi. Ilmeisesti ei kuinkaan riittävän moneen paikkaan...
Et vieläkääm oikein sanonut, mikä on vikana likelihood arvorajan käytössä. Kun ongelmaia ei ole, se antaa saman tuloksen kuin kertymä. Kun kertymä alkaa antaa vääristyneitä tuloksia, niin likelihood raja antaa hyviä.
Ongelma kertymässä on todella se, että oletetaan tasainen pelaajan prior todennköisyys jakauma. jos oletus on ongelma, niin se pitää ottaa pois. Tällöin todennäköisyysjakauma ei ole saatavilla, mutta likelihood rajat ovat, ja ne antavat edelleen järkevän tuloksen.
-- Lauri
"Hommassa tulee varmaan erilaisia pikku ongemia, ja haluaisin kuulla niistä, jotta voin ne poistaa" ja se että kiinnostuksen
esittäminen systeemiin rohkaisisi sinua sen jatkamisessa olivat päävaikuttimeni kommentointiini. Ongelmana likelihood-arvorajan
käytössä on, että se ei yleisessä tapauksessa anna ollenkaan mielekkäitä virhetodennäköisyyksiä. Jos käyttämäsi malli kuitenkin
sattuu tuottamaan sen muotoisia likelihood-funktioita, että likelihood arvorajat antavat mielekkään näköisiä virherajoja, on
kyse lisäoletuksista, joita en voi ottaa argumentoinnissani huomioon, koska et ole julkaissut käyttämääsi algoritmia/mallia
täsmällisesti. Haluatko todella, että esitän täällä jonkun mallin X, jossa likelihood-arvorajojen käyttö antaa päättömiä tuloksia?
Mielestäni mallia ei pidäkään hioa liian tarkaksi todellisuuden vastineeksi. Tietyssä mielessä voimme ajatella mallin muodostavan
metapelin, jossa pelaajat ovat mukana kilpailemassa ranking:stä. Esimerkki liian tarkasta mallista: On havaittu, että alkoholin
käyttö edellisenä iltana heikentää pelituloksia -> siis malliin pitäisi saada mukaan pelaajien edellisen illan alkoholin käyttö,
jotta voimme arvioida heidän vahvuuttaan vieläkin tarkemmin.
-- Kari
Nyt kerroit lopulta mikä sinua vaivasi, kiitos.
Ja sitten vastaus: Tiedän, että likelhood rajat toivat luokituksissa hyvin, kun taas kertymäraja ei. Molemmista löytyy patologisia esimerkkejä (myös luokituksissa), mutta kertymälle niitä on paljon enemmän, esimerkkinä yksinkertaisesti kun kaikki pelaajan pelit ovat voittoja.
Tuo mallin tarkkuus on hyvä pointti ja ongelma rankking-tilanteessa. Mutta onko ongelma todellinen epäformaaleille luokituksille 15kyu-1kyu alueella? Minusta ei.
Jos jollakin (käytännöllisellä) tavalla saadaan tarkemmin todellisuutta vastaavat luokituiset, niin minusta se on hyvä. ("tarkemmin todellisuutta vastaavat luokitukset" == luokitukset ennustavat pelejä paremmin).
Tässä tulee hyvin esille, miksi en ruvennut tekemään rankking systeemiä dan pelajille :)
-- Lauri
Ok, "riita" poikki. Muuten myös vedonlyöjä on kiinnostunut mahdollisimman tarkasta systeemistä :) Ehkä pitäisi ajatella,
että tarvitaan kolme tasoa: 30k-15k: vapaa luokitus, 15k-1k: mahdollisimman tarkka systeemi tuottamaan tasoituksia,
1d-7d: urheilullinen ranking.
-- Kari
Eli "Ja olen muuten varmaan näissäkin keskusteluissa kommentoinut, että kyu-tason korottamisen tulisi olla vaikkapa täysin vapaata." olikin vain kusetusta?
Et ilmeisesti juuri seiso sanojen takana, vaan heität mitä mieleen tulee?
Minulla ei ole mielenkiintoa jatkaa tällaista väittelyä, tämän tuntuu lähinnä tekemäni työn halveksunnalta. Pistin luokitussivut kiinni, ja niin se saavatkin pysyä.
-- Lauri 20.7.2005
Sanojensa takana seisominen silloin kun huomaa muita mahdollisuuksia, on tyhmyyttä. En yritä voittaa
väittelyä, yritän oikeasti auttaa kehittämään asioita. Sitäpaitsi en ymmärrä mitä loukkaamiseni auttaa
tässä väittelyssä.
-- Kari
Kari, minua suuresti hämmästyttää teikäläisen into sotkea luokituspolitiikka kaikkiin mahdollisiin asioihin, kuten perustutkimukseen luokitusten mallintamisesta. Vaikka politiikka olisikin lähellä sydäntäsi, se ei Laurin ylle kirjoittaman perustella todellakaan ole tämän projektin tarkoitus. Myös se, että siirrät maalia etkä kerro siitä ja ettet kerro muuttaneesi mielipidettä oltuasi väärässä kertoo, että yrität halvalla didaktiikalla voittaa väittelyn etkä keskustella asioista. Onko ehkä väittelytekniikkasi väärä lähestymistapa? Etkö osaa eroittaa politikointia oikean tutkimuksen tekemisestä?
;:''(Niille, joille Laurin esittämät seikat kuulostavat vaikeilta, hieman perustietoa tilastotieteestä. Kuten olen aiemminkin kertonut, monet mallit olettavat normaalijakautunutta aineistoa. Tässä yhteydessä se tarkoittaa, että luokitusjakauman poikkileikkaus noudattaa normaalijakaumaa. Toisin sanoen kullekin luokitusarvolle x jakauma (hajonta) noudattaa normaalijakaumaa.
;:Jos tämä kuulostaa vaikealta, voi helpottaa vertauskuva: jakaumakuvio on kolmiulotteinen, ei siis viiva (kuten insinöörit usein ajattelevat) vaan pikemminkin vuorijono, ja jokaiselle arvolle x on oma hajonta (vuorijonon poikkileikkaus juuri sillä kohdalla.) Monihuippuinen jakauma on ikään kuin vuorijono haarautuisi (ehkä yhtyäkseen jälleen myöhemmin,) ja vino jakauma on kuin vuori olisi epäsymmetrinen, korkeampi toiselta laidaltaan.
;:Biologispohjaisessa aineistossa jakauman poikkileikkaus on erittäin harvoin normaalijakaumaa noudattava, vaan se on yleensä vino (toispuoleinen) ja usein monihuippuinen (vuorijono jakautuu kahteen harjanteeseen.) Normaalijakautunut aineisto on kuitenkin kaikkien regressio-, log-lineaaristen ja logististen mallien __perusoletus.__ Näin ollen, on jo kyseenalaista että onko ML luokittamiseen soveltuva, siis tähän tilanteeseen oikea malli, mutta sekin on nimenomaan yksi erityisen mielenkiintoinen seikka Laurin tutkimuksessa.)''
Lauri, normaali tapa esittää luottamusväli vaikeassa aineistossa on käyttää samaa tekniikkaa kuin mediaanin kanssa kontra keskiarvo: otetaan n:s havainto, jossa n edustaisi järjestetyn aineiston prosenttipistettä, sen sijaan että lasketaan mikä luku sitä vastaa jos jakauma olisi normaali. Lisään alle hieman tarkemmin kunhan saan kaivetuksi.
Ja edelleen, Lauri, olen erittäin pahoillani että annat politikointiin fakkiutuneiden ja perustutkimusta ymmärtämättömien torpedoida arvokasta työtäsi. Pyydänkin siis ettet poista asiaa paremmin ymmärtäviltä mahdollisuutta tutkia sitä, vaan mieluummin vain jätät asiaa ymmärtämättömien urputuksen omaan arvoonsa.
-- DonOlli, 30.7.
Ja sitten mitä lupasin prosenttipisteiden luottamusväleistä ei-normaalijakautuneelle aineistolle. Kaikille prosenttipisteille on laskettavissa luottamusväli siten, että
;:{{{r = n/2 - z * sqrt(n) / 2}}}
;:{{{s = 1 + n/2 + z * sqrt(n) / 2 }}}
;:{{{CL = [ x(r), x(s) ] järjestetyssä aineistossa x(1) ... x(n) }}}
;:{{{Lähde: Sarna S, Kliinisen biostatistiikan kurssimoniste, syksy 2004.}}}
Tässä siis lasketaan kaksi järjestyslukua r ja s, ja valitaan järjestetystä aineistosta näin monennet alkiot. Nämä sitten edustavat luottamusvälin päätepisteitä. Esimerkiksi 95% luottamusvälille z saa arvon 1,96.
Tällaisen luottamusväliarvon käyttö on täysin perusteltavissa, toisin kuin yritys käyttää jonkin ''oletetun'' jakauman prosenttipistettä, saati sellaisen kertymää.
-- DonOlli
Olli: Poistin vain julkisuuden, itse toki jatkan tämän mielenkiintoisen ongelman tutkimista. Näinollen myös osaltani kaikki keskustelu siirtyy ei-julkisille kanaville.
-- Lauri
Olli, minä en maininnut luokittamista tässä keskustelussa ensimmäisenä, vaan Lauri esimerkissään. Koska
onnistuit taas kerran viemään keskustelun täysin sivuraiteille, ja koska kirjoittamisestani
näyttää Laurillekin olevan vain mieliharmia, en jatka keskustelua enää.
-- Kari
Version Date Modified Size Author Changes ... Change note
85 31-Jul-2005 15:24 44.933 kB 84.248.22.40 to previous
84 30-Jul-2005 16:52 44.974 kB 80.221.27.162 to previous | to last
83 30-Jul-2005 14:08 44.931 kB 81.197.77.215 to previous | to last
82 30-Jul-2005 11:14 44.647 kB LauriPaatero to previous | to last
81 30-Jul-2005 10:26 44.464 kB 210.245.8.253 to previous | to last
« This page (revision-85) was last changed on 31-Jul-2005 15:24 by 84.248.22.40