| At line 1 added 3 lines |
| Jatkoa sivulta [Luokituskeskustelu III]. Seuraava osa: [Luokituskeskustelu V]. |
|
| ---- |
| At line 13 changed 4 lines |
| 3/6: 65% |
| 4/6: 34% |
| 5/6: 11% |
| 6/6: 2% |
| |3/6|65%|6/12|62%|9/18|59%|12/24|58%| |
| |4/6|34%|8/12|20%|12/18|12%|16/24|8%| |
| |5/6|11%|10/12|2%|15/18|0.4%|20/24|0.07%| |
| |6/6|2%|12/12|0.02%|18/18|--|24/24|--| |
| At line 18 changed 4 lines |
| 6/12: 62% |
| 8/12: 20% |
| 10/12: 2% |
| 12/12: 0.02% |
| | | | | |7/15|70%| |
| |3/5|50%|5/10|62%|8/15|50%| |
| | | |6/10|38%|9/15|30%| |
| | | | | |10/15|15%| |
| | | |7/10|17%|11/15|6%| |
| |4/5|19%|8/10|5%|12/15|2%| |
| | | | | |13/15|0.4%| |
| | | |9/10|1%|14/15|0.05%| |
| |5/5|3%|10/10|0.1%|15/15|--| |
| At line 23 removed 10 lines |
| 9/18: 59% |
| 12/18: 12% |
| 15/18: 0.4% |
| 18/18: -- |
|
| 12/24: 58% |
| 16/24: 8% |
| 20/24: 0.07% |
| 24/24: -- |
|
| At line 50 changed 2 lines |
| |12/24|2%| |
| |16/24|0.8%| |
| |12/24|21%| |
| |16/24|1%| |
| At line 53 added 24 lines |
| |3/5|32%| |
| |4/5|8%| |
| |5/5|1%| |
|
| |5/10|37%| |
| |6/10|16%| |
| |7/10|5%| |
| |8/10|1%| |
| |9/10|0.1%| |
| |10/10|0.01%| |
|
|
| |7/15|39%| |
| |8/15|21%| |
| |9/15|10%| |
| |10/15|3%| |
| |11/15|0.9%| |
| |12/15|0.2%| |
| |13/15|0.03%| |
| |14/15|--| |
| |15/15|--| |
|
| Paremman tuntuman saamiseksi asiaan voisi katsoa seuraavaksi menneistä go-kongresseista, kuinka todennäköisiä kuinkakin suuret voittoprosentit olivat muutamaa alinta ja ylintä McMahon-ryhmää lukuun ottamatta. Arvelen, että 5/10:stä poikkeavat tulokset valtaosassa McMahon-ryhmiä ovat harvinaisempia kuin kolikonheittokoetta katsoen voisi ajatella, koska McMahon-turnauksessa vastuksen voi odottaa kovenevan voiton jälkeen ja helpottuvan tappion jälkeen. Kuten yltä nähtiin, tällaiseen odotukseen on hyviä syitä, koska binomitodennäköisyys on varsin herkkä yksittäisen kokeen onnistumistodennäköisyydelle. |
|
| At line 78 added 156 lines |
|
| Oletetaanpa, että pelaaja tekee 7/10 -tuloksen. Oletetaan, että voittamistodennäköisyys kussakin pelissä on 0.5. Mikä on binomitodennäköisyys sille, että tulee vähintään yhtä hyvä tulos? Vastaus: 17%, joka mahtuu hyvin yleisesti käytettyihin virherajoihin (keskimmäiseen 95% enemmistöön kuuluvan tuloksen ei yleensä tilastomatematiikassa katsota poikkeavan odotetusta riittävästi ollakseen muuta kuin satunnaisvaihtelua). |
|
| Oletetaanpa, että pelaaja tekee kahdessa turnauksessa 7/10 -tuloksen. Mikä on todennäköisyys sille, että tulee vähintään yhtä hyvä tulos eli 14/20? Vastaus 6%, joka mahtuu yleisesti käytettyihin virherajoihin (vähintään yhtä hyviä saa olla korkeintaan 2.5%). |
|
| Seuraavassa taulukossa on laskettu vähintään yhtä hyvän tuloksen todennäköisyyksiä. Yksittäisen kokeen onnistumistodennäköisyys on aina 0.5, mikä ei vastaa todellisuutta McMahon-turnauksessa, mutta jonka voi olettaa antavan ylärajan odotetulle onnistumistodennäköisyydelle isossa McMahon-turnauksessa. |
|
| |Turnauksien määrä|6/10|7/10|8/10|9/10| |
| |1|38%|17%|5%|1%| |
| |2|25%|6%|0.6%|0.02%| |
| |3|18%|2%|0.1%|| |
| |4|13%|1%||| |
| |5|10%|0.3%||| |
| |6|8%|0.1%||| |
| |7|6%|0.1%||| |
| |8|5%|0.01%||| |
| |9|4%|||| |
| |10|3%|||| |
| |11|2%|||| |
| |12|2%|||| |
| |13|1%|||| |
| |14|1%|||| |
| |15|1%|||| |
| |16|0.7%|||| |
| |17|0.6%|||| |
| |18|0.4%|||| |
| |19|0.4%|||| |
| |20|0.3%|||| |
|
| Turnauksen määrän voisi tulkita tarkoittavan myös usean eri henkilön suoritusta samassa turnauksessa. Tällöin kuitenkin ylläolevien todennäköisyyksien yleistäminen koko kyseiseen joukkoon sellaisinaan edellyttäisi ainakin, että kaikkien tulos olisi täsmälleen sama. Yleistys populaatioon, josta kyseinen joukko on peräisin, edellyttäisi, että kyseinen joukko olisi edustava otos koko populaatiosta ja että vastustajatkin olisivat peräisin edustavista otoksista omista populaatioistaan. Periaatteessa nämäkin asiat olisivat laskettavissa ja arvioitavissa -- mukaanlukien tuollaisen arvion luotettavuus, mutta minä en sitä osaa ainakaan vielä tehdä. |
|
| -- [Markku Jantunen], 11.4. 2003 |
|
| Ylläolevat luvut ovat sinänsä oikeita, mutta verraten merkityksettömiä. Tarvitset yhden kiven tasoeron voittotodennäköisyyden yhden pelin todennäköisyydeksi sen sijaan että vetäisit hatusta luvun 0.5, jotta voidaan saada selville että mikä on riittävä tulos ettei se enään mahdu merkitsevyyden rajoihin. Osassa III kerroin asiasta lisää, mm. sen että tämä luku on tuntematon, johon omaan tapaasi vastasit ettei sillä voi olla mitään väliä. Arvaapa minkä takia en juurikaan noteeraa urputuksiasi, ettei vaan syynä olisi se että teikäläiselle väittelyn voittaminen tuntuu olevan tärkeämpää kuin tosiasiat. |
|
| Voin kuitenkin kertoa että tilastollinen merkitsevyys on niin kova vaatimus, etten usko kenenkään alle 3 danin tasolle korotetun täyttäneen sitä, ehkä usko kenenkään luokituskomitean tarkkailussa olevan sitä täyttävänkään, koska ihmiset korotetaan kauan ennen. |
|
| Sinänsä, olet toisaalla kertonut että olisit ymmärtänyt miksei numeerista inflaatioautomaattia haluta, mutta nyt olet kovaa vahtia yrittämässä sellaista keksiä. Ei siinä mitään, saahan näitä tutkia ja ihmetellä, kokeillakin, mutta sellaisen ajaminen kansallisen luokitusjärjestelmän perustaksi ilman erittäin perusteellista tutkimista olisi sulaa hulluutta. Toisin sanoen, jos et usko etteivät numeeriset järjestelmän toimi, mikset kokeilisi niitä itse? Onhan teillä Tampereella pelaajia joista saa luokitusdataa. Ihan samalla tavoin tuollainen toimii tai on toimimatta alemmallakin tasolla, ei sitä kansalliseksi systeemiksi ole pakko heti laittaa. Kannattaa sitten pitää mielessä että tuollaisen ongelmat tulevat esille tyypillisesti aikaisintaan puolen vuoden kuluttua siitä, kun sitä alettiin systemaattisesti käyttää, ja että kaikki systeemin ohi tapahtuvat korotukset kertovat ettei systeemi toimi riittävän hyvin. |
|
| Vielä tuosta numeerisen järjestelmän inflaatioautomaattiudesta. Tilastotieteestä mitään ymmärtävät tietävät sen, että numeerinen järjestelmä saa olla aivan helekatin konservatiivinen ettei satunnaisvaihtelu aiheuta liikaa aiheettomia korotuksia. Nämä aiheettomat korotukset sitten heijastuvat takaisinkytkennän kautta (ovat aineistona muille) kaikkiin luokituksiin, ja noidankehä on valmis. Et oletettavastikaan tule uskomaan tuota inflaatioautomaattipuolta, mutta pitäisi osoittaa jollain ihan oikealla menetelmällä ettei sellaista ole, jotta väite sen olemattomuudesta olisi uskottava. |
|
| Tästä syystä numeerista järjestelmää ei ole haluttu. Ainoa jäljelle jäävä malli on mutu, eli ruvetaan omaan kokemukseen pohjaten katsomaan että onko joku saanut niin hyvän tuloksen että korotus on aiheellista. Meikäläisellä ei ole tähän mitään kaavaa, tietenkään koska kyseessä on mutu, mutta sääntö on että pitää osoittaa pärjäävänsä tasolla jolle korotetaan. Mitä tahansa tarkkoja lukuja tähän laittaisinkin, ne eivät olisi kuin korkeintaan suuntaa-antavia, joten enpä siis laita. |
|
| Mainittakoon että tein tällä välin hieman analyysia GORreista ihan massana; GOR on kuitenkin tilastotieteellisesti viaabeli __''ja''__ puolueeton vaikkakin tilastollisen merkitsevyyden vaatimukset tekevät siitä liian hitaan adaptoitumaan Suomalaisilla turnaustuloksilla -- ihan siitä huolimatta että uskotko sinä niihin vai et. Jos Suomen materiaali ei riitä GORrin realistisuuteen, niin sitten täällä ei ole riittävästi tarpeeksi hyviä turnauksia, jonka lisäksi pelaajat eivät viitsi hankkia pelejä ulkomaalaisia vastaan. Ja kumpikaan näitä ei tosiaankaan ole GORrin vika. |
|
| Ajoin GORreista jakaumat Euroopan luokituksille, ja vertasin eri jakaumapisteitä suomalaisten GORreihin. Tulos oli ettei kukaan dan-pelaaja tai korkea kyu Suomessa pääse Euroopan mediaanitasolle oman nominaaliluokituksensa joukossa. Lähinnä taisi olla Vesa. Aion jatkossa omalta osaltani käyttää GORrien jakaumia ''parhaana tunnettuna'' numeerisena luokitusjärjestelmän aputyökaluna. Kuten sanottua, tarkoitus on pitää Suomen luokitukset eurooppalaisittain järkevinä, ja jos on jokin muu kunnolla uskottava työkalu kuin GOR, en ainakaan itse siitä tiedä. Mainittakoon etten hetkeäkään usko että kukaan tulisi GORrien perusteella korotettua, mutta ainakin niistä näkee että miten Suomen taso voisi suhtautua Eurooppaan, jos GOR Suomessa toimisi kunnolla. |
|
| -- DonOlli, 11.4. |
|
| Korjasin pienen kirjoitusvirheen. -- Pekka, 11.4 |
|
| En täysin tiedä, mitä Olli yllä tarkoitat. Tarkoitatko, että suomalaisten pelaajien GOR on |
| alhaisempi kuin vastaavan luokitusten ulkomaalaisten pelaajien GOR? Mielestäni se on aivan väistämätön seuraus GOR:in nollasummaisuudesta ja Suomen nopeasti kasvaneesta pelaajapopulaatiosta. Vai mitä oikein tarkoitat? |
|
| -- Henri, 11.4 |
|
| GOR ei ole nollasummapeli, siellä on korjaustekijä, jonka joku sanoi olevan 1,004 (en tarkistanut.) Ensi silmäyksellä vaikuttaa siltä, että tuo voisi olla liian pieni, mutta toisaalta paha sanoa varmemmin. Ja toisaalta taas kyseessä on EGF:n päätös, joten ei GOR-systeemiä täältäkään käsin voida muuttaa, ilman että EGF sen päätöksen tekee. |
|
| GORrin ongelmia Suomessa ovat ainakin B- ja C-luokan turnausten suuri osuus, liian suuri osuus tasoitusturnauksia ja taskuuntuminen, sen lisäksi että maintsemasi pelaajapopulaation räjähdysmäinen kasvu sotkee. |
|
| Yhtä kaikki, mielestäni on parempi käyttää tilastollisesti oikeellisia menettelyitä, kuten GORria, ja yrittää sovittaa olosuhteet (l. datan saatiolosuhteet kuten turnausten plaatu) siten että ne toimisivat, sen sijaan että sotketaan nykyisellään varsin hyvin toimiva luokitusjärjestelmä jollain ominaisuuksiltaan tuntemattomalla numeerisella menettelyllä. |
|
| -- DonOlli |
|
| Olen samaa mieltä siitä, että on hyvä käyttää tilastollisesti oikeellisia menettelyitä ja |
| että GOR on tilastollisesti oikea. En täysin ole perillä siitä, miksi tasoitusturnaukset aiheuttavat ongelmia. Tasoitusturnauksessa minun ymmärtääkseni pitäisi olla oikeilla tasoituksilla pelattaessa melko tarkkaan tiedossa tuloksen odotusarvo. |
|
| -- H. |
|
| Ollille sanoisin, ettei kannata nyt unohtaa, etten ole väittämässä mitään sellaista noiden lukujen pohjalta, mitä tekstissäni ei suoraan sanota. |
|
| Eikö muuten olekin niin, että voittamistodennäköisyys samantasoista pelaajaa vastaan on samantasoisuuden määritelmän mukaan 50%? Taulukkoon kootut todennäköisyydet kertovat, kuinka todennäköinen jokin vähintään tietty voittojen määrä tietystä määrästä pelejä on sellaisessa kuvitteellisessa turnauksessa, jossa kaikki vastustajat ovat samantasoisia. |
| Ei sen enempää eikä sen vähempää. |
|
| Noiden lukujen laskemiseen ei tarvita voittamistodennäköisyyttä yhden kiven tasoerolla. Voittamistodennäköisyys yhden kiven tasoerolla ei muuten ole vakio vaan riippuvainen tasosta. Tuo riippuvuus on olemassa sekä GoR-mallissa että todellisuudessa, kuten EGF:n virallisten luokituksien (ei GoR) mukaan lasketuiden taulukoiden mukaan on. |
|
| Lisäksi on totta, että tilastollisen merkitsevyyden tavanomainen vaatimus on niin ankara, että se tuottaa liian hitaan systeemin. Mutta en pidä hyväksyttävänä, jos eri henkilöiltä vaaditaan jyrkästi merkitsevyyksiltään eroavia näyttöjä. |
|
| On selvää, että lukuja voidaan näin pienistä aineistoista käyttää vain suuntaa antavina. Siksi Kari ja minä emme olekaan ehdottaneet automaattia, joka sanelisi korotukset kaikissa tapauksissa vaan ylä- ja alarajoja korotusnäyttövaatimuksille. En pitäisi kovinkaan hedelmällisenä lähtökohtana vasta-argumenteille lähteä olettamuksesta, että olisimme vaatineet luokitusautomaattia, joka päättää luokituksista kaikissa tapauksissa. |
|
| Toinen asia on, kuinka hyvä mutu-menelmä todellisuussa on. Jos mutu-menetelmää käytetään -- ja onhan sitä syytäkin käyttää, koska millekään automaatille ei korotuksia voi kokonaan uskoa -- olisi kenties kohtuullista aloittaa perinne, jossa korotukset perustellaan julkisesti. |
|
| -- [Markku Jantunen], 11.4. 2003 |
|
| Asiasta paremmin tietävät, kuinka vaikeaa olisi ajaa |
| EGF:ssä läpi muutos, että EGF-pisteet nollautuisivat joka korotuksesta |
| (ja onko tätä esim. kokeiltu joskus)? Tällöin systeemistä saataisiin melko |
| tyydyttävä (ei esim. liian hidas) siten, että luokitukset tapahtuisivat |
| nykyisellä mutu-meiningillä ja niitä ajateltaisiin lähinnä arvoniminä. |
| Tällöin McMahon-ryhmät ja tasoitukset voitaisiin turnauksissa päättää |
| pisteiden perusteella ja saataisiin mielestäni melko reilu systeemi (tämä |
| on ainakin minulle ollut se asian pihvi tässä). |
|
| -- [Kari Visala], 11.4. 2003 |
|
| Henrille voisin kertoa, että tasoitusturnausten ongelma on se, että ne |
| siirtävät luokitusdatan painopisteen yläpään pelaajista keskitason |
| väärinluokitettuihin pelaajiin. Toisin sanoen, mustan voitot suurilla |
| tasoituksilla estävät yläpään pelaajien informaation kertymisen, |
| silloin kun keskitason pelaaja on nominaalitasoaan vahvempi. Ja kumpi |
| olikaan yleisempää, keskitason pelaajan väärä luokitus vai yläpään |
| pelaajan, kun kuitenkin keskitasolla oppiminen on helpompaa. Asian |
| voisi yksinkertaistaa vaikka siten, että tasoitusturnauksista ei |
| oikeastaan ikinä tule käyttökelpoista luokitusdataa turnauksen |
| huippupelaajille. |
|
| Markulle sen verran vielä, että korotusrajojen laatiminen ja |
| orjallinen noudattaminen ''on'' numeerinen automaatti -- ja miksi |
| niitä rajoja sitten laadittaisiinkaan jos niitä ei aiota noudattaa. |
| Aiemmin mainituista syistä, siitä tulee liian helposti |
| inflaatioautomaatti, riippumatta siitä että sisällytetäänkö siihen |
| myös alennusautomaatti. Ei siis ole millään tavoin realistista ottaa |
| mitään numeerisia rajoja käyttöön, ennen kuin tiedetään edes jotain |
| niiden pitemmän aikavälin vaikutuksista, esmes vuoden tai parin |
| aikavälillä. Vaikutukset ovat helposti toisia kuin kuvitellaan. |
|
| Karille tiedoksi että GORreissa kyu-tasolla tuplakorotus ja |
| dan-tasolla jokainen korotus aiheuttaa resetin, ja näin on ollut jo |
| pitemmän aikaa. Tämäkään ei ole riittänyt poistaamaan käsitystä siitä, |
| että GORrit eivät ole kohdallaan. |
|
| Eiköhän tämä taas riitäkin meikäläisen osalta vähäksi aikaa. |
|
| -- DonOlli |
|
| Kun kirjoitat, että GORit eivät ole kohdallaan, oletan sinun tarkoittavan, |
| että luokitukset olisivat paremmin kohdallaan kuin GORit - käsitinkö oikein? |
| Käsittääkseni ainoa uskottava syy, miksi GORien käyttäminen luokituksien |
| sijaan turnauksissa olisi huonompi järjestelmä, on juuri tuo epäsuhta, |
| jolla eurooppalaisista turnauksista saa pisteitä suomalaisiin verrattuna. |
| Eikö tämän voisi ratkaista siten, että laskettaisiin erillistä pistelukua |
| pelkistä suomalaisista turnauspeleistä, jotta eurooppalaisia turnauksia |
| kiertävien pelaajien korkeammat pistearvot eivät sotkisi järjestelmää? |
| Tähän pisteytykseen voitaisiin myös kyu-pelaajien pisteet nollata joka |
| korotuksen yhteydessä. En näe mitään perusteluja sille, että luokitusten |
| käyttäminen turnauksissa verrattuna tällaiseen pistesysteemiin olisi |
| parempi järjestelmä. Jos luokitus esim. on vanhentunut pelaajan pitämän |
| pitkän tauon jälkeen tai luokituskomitea on muuten vain ollut |
| puolueellinen, korjautuisivat tällaiset virheet automaattisesti ehdottamassani |
| järjestelmässä lopulta. Koska pisteet nollautuisivat joka korotuksesta, |
| olisi ehdottamallani järjestelmällä myös kaikki luokitusjärjestelmän hyvät |
| puolet. Onko sinulla Olli jotain esimerkkiä, jossa nykyisenkaltainen |
| luokitusjärjestelmä olisi jollain tavoin parempi kuin ehdottamani |
| pistesysteemi ja mikä tämä mittari on? |
|
| -- Kari |
|
| En kyllä saa juurikaan selvää asiasta tuon kuvauksen perusteella... hm, väsymyskin on epäilemättä osasyyllinen. Sikäli kun ymmärsin malliasi, siitä väistämättä seuraa, että Suomen luokitusjärjestelmä irtoaa entistäkin enemmän Euroopasta, eli menetetään vertailukelpoisuuden rippeetkin. Tämä taas ei mielestäni ole laisinkaan tavoittelemisen arvoista. Jos haluat tarkempia näkemyksiä mallistasi, mikset tekisi siitä ihan kunnon veppisivua, ja sitten mallintaisi esmes viime vuoden turnauksilla kuinka olisi käynyt? Turnausdata ''on'' kuitenkin saatavilla. |
|
| Joka tapauksessa, ainakin meikäläisen tulkinta on, että nimenomaan alemmantasoistten pelaajien GORrit ovat enemmän vääristyneitä kuin ylempien, ei päinvastoin. Voinpa sitten vielä antaa linkin tuohon [jakaumataulukkoonkin,|http://www.xunil.fi/~olli/euro-pctpoints.html] mutta suosittelen pitämään mielessä että tulkinnoissa pitää olla varovainen: Suomen sisäisetkin erot ovat liian isoja jotta ero Eurooppaan antaisi vielä mitään tolkullista, ja lisäksi kuten sanottua, Suomen turnaukset ovat pitkälle pessimoituja GORreja ajatellen. |
|
| Niin tai näin, mielestäni tärkeämpää on yrittää korjata ongelmat pikku askelilla oikeaan suuntaan kuin yrittää keksiä jokin toinen systeemi, koska kokonaan uuteen siirtyminen sisältää riskin totaalisesta hajoamisesta. Ja siinäkin tapauksessa että ruvetaan pohtimaan vaihtoehtoisia systeemejä, niin haluan nähdä mihin ne johtaisivat. Toisin sanoen, vaikutus pitäisi mallintaa. Miksette ole siis tehnyt näitä mallinnuksia, vaikka olen niitä koko keskustelun ajan perännyt? |
|
| -- DonOlli |
|
| Ainiin, varmaan kannattaa jatkaa [uudella sivulla|LuokituskeskusteluV] ennen kuin njetskaapin kyvyt taas ylittyvät. -- DonOlli |