Add new attachment

Only authorized users are allowed to upload new attachments.

This page (revision-42) was last changed on 25-Aug-2011 14:30 by Matti Siivola  

This page was created on 07-Oct-2004 13:55 by JanneJalkanen

Only authorized users are allowed to rename pages.

Only authorized users are allowed to delete pages.

Difference between version and

At line 1 removed one line
At line 11 added one line
At line 80 added 220 lines
Minulle juolahti mieleen yksinkertainen ajatus siitä, että muokattavalle sivulle ei voisi lisätä kuin 5...10 (ulkoista) linkkiä kerrallaan tai muokkausta ei hyväksytä. Tuo ainakin ainakin vaikeuttaisi häiriköintiä vähän ja harvemmalla lienee tarvetta saada kauheaa kasaa linkkejä yhdelle sivulle mikäli ihan laillista tekee. Tietty jos mahdollisimman yleistä ratkaisua etsitään niin tuo on jonkin verran rajoittava eikä se ratkaise ongelmaa jos botti ampuu sälää useille sivuille.
-- [Mikael Runonen|Falla] 7.10.2004
Valitettavasti tuo ei toimi esimerkiksi silloin jos kopioidaan sivun sisältö paikasta toiseen (kuten esimerkiksi tapahtui silloin kun otin tämän keskustelun omalle sivulleen). Puhumattakaan siitä, että sen toteuttaminen on epätriviaalia.
Sitäpaitsi esim. jspwiki.orgissa on sivuja, joilla on täysin legitiimisti linkkejä ulkoisiin resursseihin. Niiden erottaminen spämmistä alkaa vaatia korkeampia algoritmeja.
-- [Janne Jalkanen] 7.10.2004
Erillisellä sivulla ylläpidetty kieltolista olisi sinänsä yksinkertainen ratkaisu ja ehkä aivan riittävä (olettaen, että sitä pystyy muokkaamaan vain autentikoitu admin-käyttäjä). Toisaalta se tarkoittaa, että siivoamisen päävastuu ja työmäärä keskittyisi rajatulle admin-joukolle, ja jos heitä ei satu olemaan paikalla, käynnissä olevaa spämmäystä ei voisi kovin tehokkaasti pysäyttää.
Kun asiaa mietin, alan kyllä olla aika mieltynyt ajatukseen, että linkkien luokittelussa voisi jotenkin hyödyntää wikin historiaa. Sitä kun on vaikea kenenkään manipuloida, koska sellainen vaatii sekä aikaa että yhteisön hyväksyntää.
Jos siis hiukan jatkan ajatuksen kehittelyä, jossain wiki-moottorin uumenissa voisi olla luettelo kaikista wikissä koskaan olleista ulkoisista linkeistä (jokaisesta erikseen, vaikka ne osoittaisivat samaan paikkaan), sekä kunkin elinaika. Tästä luettelosta laskettaisiin jollain sopivalla metriikalla todennäköisyys sille, että linkin kohde on hyväksyttävä. Metriikka voisi olla jopa niinkin yksinkertainen kuin elinajan maksimi, mutta siinä kannattaisi ehkä jotenkin huomioida myös lisäysten ja poistojen lukumäärä.
Periaatteessa systeemiä voisi tietysti hienosäätää muillakin esitetyillä tavoilla, kuten analysoimalla linkin sisältöä tai sijaintia jotenkin, mutta kaikki sellainen olisi luultavasti turhaa ja ylimääräistä. Spämmeri nimittäin huolehtisi tarvittavasta säädöstä ja painotuksesta itse puolestamme: Viidestäkymmenestä mainoslinkistä, jotka kaikki poistetaan melkein saman tien, tulee vain niin valtava kontrasti hyväksyttyyn linkkiin, joka on ollut paikallaan edes päivän (saati viikon, kuukauden tai vuoden), että hyvinkin yksinkertainen ja konservatiivinen algoritmi selviäisi luokittelusta helposti.
Systeemiä olisi lähes mahdotonta huijata tai väärinkäyttää, sillä ainoa tapa saada mainoslinkkejä menemään läpi suodatuksesta olisi se, että kukaan ei viitsi (tai huomaa) siivota niitä - ja toisaalta häirikön olisi myös hyvin vaikea saada oikeita linkkejä kieltolistalle sen jälkeen, kun ne ovat olleet olemassa jo pitempään. Ja kaikki toimisi kollektiivisella moderoinnilla, automaattisesti ilman kenenkään nimetyn ylläpitäjän vaikutusta.
Niitä tilanteita varten, joissa luokituksessa kaikesta huolimatta tulee huteja, voisi sallituista ja kielletyistä linkeistä generoida wikisivun, jossa ylläpitäjä voisi säätää hyväksymisrajaa tai manuaalisesti sallia tai kieltää yksittäisiä linkkejä. Luulen että näitä säätöjä tarvitsisi tehdä hyvin harvoin.
-- [Juha Koivisto] 7.10.2004
Jatkona vielä, että edellinen ei tietenkään vielä poista tarvetta siivota kutakin mainoslinkkiä vähintään kerran, mutta tämä noin pohdiskeluna tähän käsillä olleeseen tilanteeseen (jossa sama kaveri käy lisäämässä mainoksensa monta kertaa) ja vaivattomampana vaihtoehtona käsin kootulle kieltolistalle. Tietenkin algoritmiin voisi myös lisätä heuristiikkaa, jolla yritetään siivota roskat pois jo ensimmäisellä kerralla, mutta sitä on jo astetta vaikeampi tehdä luotettavasti.
-- [Juha Koivisto] 7.10.2004
Juhalla on hyviä ajatuksia.
Itselleni tuli mieleen seuraava idea. Spämmeri haluaa sivulleen näkyvyyttä hakukoneiden kautta. Laitetaan aluksi kaikkin historiasivuihin hakuroboteille kielto. Laitetaan myös muutettuihin sovuihin kielto. Kun sivun muuttamisesta on kulunut tarpeeksi aikaa, esim 8 tuntia, automaatti käy ottamassa kiellon pois. Näin käyttäjät saavat muutaman tunnin aikaa siivota spämmisivut pois ennen kuin ehtivät arkistoitua. Ainoastaan, jos sivuun ei määräajassa kosketa, se pääsee arkistoitumaan. Määräaika voi olla kiinteä, tai siitten vaihdella vuorokaudenajam mukaa, niin että yöllä tulleet roskat ehtii siivota aamulla. Lisäksi voisi administraattoreilla olla oikeus muuttaa sivun statusta.
-- [Matti] Siivola 7.10.2004
Jees, näyttää toimivan ihan hyvin tuo spammisuodatus, jonka Janne lisäsi. Spämmerit tietysti keksivät uusia osoitteita, mutta kai domainin rekisteröinti Kiinassakin jotain maksaa, joten eiköhän ne joskus lopeta. Ongelmia voi tietysti tulla dyndns-tyyppisistä redirect-palveluista, joita olisi ikävä kieltää maailmanlaajuisesti, kun niiden takana voi olla jotain hyödyllistäkin. Joka tapauksessa regexpit ovat tässä aivan ehdoton plussa.
Silti on hiukan turhauttavaa cut-and-pasteta poistettuja linkkejä kieltosivulle. Systeemiä voisi kehittää niin, että palautettaessa sivua alle N hetken (esim. 1 vrk) ikäisen version tilalle wiki kysyisi esim: "Sivun palautus poistaa seuraavat ulkoiset linkit. Haluatko lisätä ne kieltolistalle?" Alla voisi olla kyseiset linkit listattuna ja jokaisen vieressä vaikka checkbox, josta voi poistaa rastin, jos joukossa sattui olemaan hyödyllisiä linkkejä. Ja alla napit "kyllä"/"ei". Häiriköinnin ja kämmien välttämiseksi kysymystä ei tarvitsisi esittää, jos korvattava sivu on ollut olemassa yli määräajan. Myöskään jo kiellettyjä linkkejä ei tarvitsisi listata, niin niitä ei joutuisi käsittelemään enempää kuin kerran, jos poistetaan samaa spämmiä monelta sivulta.
Tämän lisäksi kieltosivua voisi tietysti edelleen editoida myös käsin ja lisätä sinne esim. regexpejä. (Pitäisi ehkä harkita myös sitä, että automaattilisäys generoisi domain-nimistä suoraan regexpit, jotka matchaavat com/net/cn/(jne.)-päätteisiin.)
--[Juha Koivisto] 11.10.2004
Katsoin äsken statistikkaa ja virheviesti oli jo katsottu 87 kertaa. Näyttääpä purevan.
-- [Matti] Siivola 12.10.2004
Mjoo, mutta siellä on kaikki ne, jotka ovat käyneet katsomassa ko. sivua - mukaanlukien kaikki ne RecentChanges -addiktit, jotka haluavat lukea ihan kaiken :). Pikaisesti logifileistä greppaamalla näyttää siltä, että sinne on viime yönä jäänyt yksi spämmeri jumiin. Pitänee vielä sulkea tuo kieltosivu niin, ettei sitä voi muokata kuin käyttäjätunnuksen asettaneet.
-- [JanneJalkanen], 12.10.2004
Spämmin torjumiseksi on nyt attribuutti rel=nofollow. Katso [lisää|http://www.google.com/googleblog/2005/01/preventing-comment-spam.html] . Voisiko tuon attribuutin laittaa kaikkien rekisteröimättömien käyttäjien lisäämiin linkkeihin?
-- [Matti] Siivola 20.1.2005
[On tulossa|JSPWiki:IdeaSupportRelNofollow], kunhan ehdin. Lisään sen sitten *kaikkiin* ulospäin meneviin linkkeihin, koska on tällä hetkellä erittäin vaikeaa erottaa toisistaan rekisteröidyn ja rekisteröimättömän käyttäjän lisäämiä linkkejä. Niille, joiden mielestä idea tuntuu helpolta, suosittelen tutustumaan JSPWikin koodiin, wikien filosofiaan ja ymmärtämään ne syvällisesti. :)
(Tuo nykyinen palikka pysäyttää muuten jotain 99% spämmäysyrityksistä lokifailien perusteella.)
-- JanneJalkanen
Jos linkkejä on hankala erottaa, niin eihän sitä sitten kannata tehdä. Tuli vielä mieleen, että asiallisista linkeistä tuon voisi ottaa pois. Asialliset lisäykset voisi tunnistaa esimerkiksi siitä, ettei sivuun ole koskettu vaikkapa vuorokauteen.
-- [Matti] Siivola 20.1.2005
Keksiikö joku, miksi roskapostisuodinlistaan lisätty [lfoleks piste org|http://www.suomigo.net/Diff.jsp?page=Roskapostisuodinlista&r1=44&r2=43] [ei ole toiminut|http://www.suomigo.net/Diff.jsp?page=JuhoPiirto&r1=16&r2=15]? Entä mihin joku pyrkii lisäämällä sivuille pelkkiä [numerosarjoja|http://www.suomigo.net/Diff.jsp?page=HelsinkiGP1999Kutsu&r1=7&r2=6]?
-- [Juha|JuhaKoivisto] 18.7.2006
Varmaankin siksi että se ei ole lfoleks, vaan 1foleks, ero on siis ällän ja ykkösen välillä.
-Ilkka
Tuo spämmi alkaa taas käydä hiukan rasittavaksi. Toivomuslistalla jälleen ominaisuus, jossa voisi estää lisäämästä liian monta ulkoista linkkiä kerralla. Määrä voisi olla jopa niinkin vähän kuin "yli yksi". Haittaisi toki myös legitiimiä käyttöä toisinaan, mutta kuitenkin suhteellisen harvoin. (Lisäksi jossain voisi olla lista sallituista poikkeuksista, kuten sensei's ja suomigo (ja sen voisi periaatteessa generoida automaattisesti wikissä jo olevista linkeistä), ja admineilla tms. ryhmällä lupa rikkoa sääntöä, jotta sivujen siirtäminen onnistuu helpommin).
-- [Juha|JuhaKoivisto] 24.7.2006
----
Olen hieman skeptinen idean toimivuuden suhteen - ainakin omaan blogiini tulee tasan tarkkaan vain yksi spämlinkki kerrallaan. JSPWiki.orgissa tulee myös usein vain yksi tai kaksi linkkiä.
Sen sijaan, jos joku haluaisi tehdä Akismet-pluginin, se olisi kerrassaan påp.
--JanneJalkanen, 26-Jul-2006
[Main Page|MainPage] tuntuu olevan spämmerien suosiossa. Kannattaisiko senkin muokkaaminen salliia vain rekisteröityneillä käyttäjille?
-- [Matti] 20.9.2006
Spämmiä ilmestyy harva se päivä. Onko mitään haittaa, jos asettelee spämmerien suosimille sivuille samoja suojausasetuksia kuin etusivulla on? Ehdotan myös, että käytetään spämmiä poistaessa kommenttia, jota ulkomaalaiset eivät tunnista späämmiin liittyväksi, esimerkiksi "kenkää sikanaudalle".
-- [Matti] 17.10.2006
Ymmärrän tuskan, muutamia huomioita:
Editoinnin rajoittaminen johtaa vähitellen siihen, että lähes kaikkiin sivuihin tulee rajoitus, kun spämmeri etsii ei vielä suojattuja sivuja. Onko se hyvä? Oppivatko spämmerit rekisteröimään tunnuksia? (ainakin joku on jo osannut sen.)
Tuo kommentin käyttö on muuten hyvä, mutta spämmerille on hyvin helppoa vain kopioida recentchangesta jokin spämmin poisto kommnentti. Itse asiassa epäilen yrittääkö kukaan kukaan spämmääjä ymmärtää lainkaan suomea...
Nykyisellään näyttää, että tuota roskaposti suodatin listaa päivitetään aika laiskasti. Seurauksena spämmeri voi käyttää samaa domain nimeä (ja muita detaljeja) monta kertaa. Pitäisikö suodattimen ylläpitoa helpottaa?
-- [Lauri Paatero] 17.10.2006
En ole havainnut kuin yhden editointikommentin kopiontia, "spam poistettu".
Minä en ole suodattimeen koskenut, kun sen ylläpito tuntuu hankalalta. Jos se olisi helpompaa, voisin yrittää.
-- [Matti] 17.10.2006
Ainakin JSPWiki.orgin puolella on ollut havaittavissa se, että
# Spämmerit kopioivat changenotensa sivuhistoriasta
# Samoja sivuja pyritään muuttamaan. Sivujen lukitseminen on tehokas toimenpide __väliaikaisesti__.
# Rekisteröinti onnistuu spämmääjältä helposti
# Regexpit toimivat kelvollisesti, koska ne voidaan kohdistaa joko esim. lääkkeiden nimiin tai sitten domaineihin.
-- [Janne Jalkanen], 18.10.2006
Voisi olla hyvä, jos jossakin olisi lista asioista (tarpeeksi rautalangasta vääntäen), jotka olisi hyvä tehdä lisäksi, kun spämmiä poistaa.
-- Jaakko Sä, 18.10.2006
Laitoin muutamaan poistoon viestin "turha kommentti". Spämmerit erehtyivät merkitsemään samalla kommentilla omansa.
-- [Matti] 18.10.2006
Ajattelin yrittää täydentää roskapostisuodinlistaa. Mm. Tuomo Keskitalon sivua muutettiin yöllä. Listalla oli kuitenkin jo valmiiksi lauseke, jonka minun minun nähdäkseni olisi pitänyt estää noiden spmmien ilmestyminen. Suodattimen viimeinen muutos oli ennen kuin tuomon sivun. vuotaako jokin, vai jäilö minulta jotakin huomaamatta? -- [Matti] 23.10.2006
Taisi Lauri ehtiä väliin, eli muokannut sen jälkeen kun olin katsonut RecentChangesia, mutta ennen kuin ehdin ottaa sivubn editoriin. -- [Matti] 23.10.2006
Mulla on testauksen alla [Akismet|http://www.akismet.com] -pohjainen spämmifiltteri. Kunhan se on todettu toimivaksi, tuon sen tänne kans.
-- JanneJalkanen, 23.10.2006
Joku on luonut ja joku muu äsken editoinut sivua edit.jsp. Tarvitaanko sellaista vai tilataanko poisto?
-- [Matti] 23.1.2007
Meneekö jotakin rikki, jos sivu edit.jso poistetaan?
-- [Matti] 29.1.2007
----
Ei mene rikki, poistakaa vain. Kyseessä on jokin botti, joka ei ihan hallitse JSPWikin syntaksia oikein :-D
--Janne Jalkanen, 29-Jan-2007
----
Lauri kirjoitti [Wiki€hdotuksia]-sivulle:
Onkos jotakin erityistä syytä sallia html-liitteet?
Liite-spam kun on aika hidasta poistaa, ja en näe syytä sallia edes moista.
--Lauri 31-03-2007
Hätäratkaisuna kirjoitin mainosten päälle muuta.
-- [Matti] 2.4.2007
----
Nopeasti ajateltuna minusta on mieletöntä koettaa keksiä algoritmista ratkaisua
sisällön suodatukseen, koska käyttäjän autentikointi on paljon
siistimpi ja korkeatasoisempi ratkaisu ongelmaan.
Vaikka en wikin joustavuudesta ja muokattavuudesta juurikaan tiedä, uskallan
esittää ensimmäiset mieleen tulleet ratkaisut:
i) Rekisteröintijärjestelmä uudistettaisiin niin, että kaikki rekisteröityneet käyttäjät autentikoidaan,
ja hyväksytään superkäyttäjien toimesta. Sivuja voisi muuttaa vain rekisteröityneet käyttäjät,
ja anonyymeille käyttäjille olisi yhteinen tunnus, jonka salasana kulkisi yhteisön sisällä vapaasti.
ii) Mikäli käyttäjä halutaan varmistaan suomalaisperäiseksi, se voidaan editoinnin yhteydessä
tehdä kysymällä käyttäjältä yksinkertainen kysymys, johonka annetaan vastaus
droplistin kautta. Esimerkiksi: "Sepeteuksen poikain isän nimi?". Kysymys- ja vastauslistat
olisivat vakiokokoisia, ja vastauslistassa olisi luonnollisesti lisänä esim. 100 väärää vastausta.
iii) Väliaikaisesti Suomen ulkopuolelta tulleet käyttäjät voitaisiin blokata,
rekisteröityneet käyttäjät poislukien (tämä varmaankin mahdollistaisi sivujen jatkuvan toiminnan niitä eniten käyttäville?).
--[Valtteri Huttunen], 04-Apr-2007
Tietääkseni kukaan ei ole pyytämässäkään mitään algoritmistä ratkaisua, juuri koska sellainen ei ole oikein mahdollinen.
Rekisteröitymisen vaatiminen laskee huomattavasti wikimäiseen systeemiin kirjoittavien määrää, mutta osa spämmereistä silti rekistöröityy ja spämmää. Sitten vaan on vähemmän spammin siivoojia paikalla. Tärkeää on pitää kaiken spammin siivoaminen helppona ja sujuvana.
Myös ulkomaailta tulevien estäminen on sekä ei toivottavaa, että hankala järjestää, kun IP osoitteet voivat mennä aika mielenkiintoisilla tavoilla (.com osoite ei kerro mitään paikasta).
-- Lauri
Onkohan sellainen mahdollista, että jos rekisteröimätön käyttäjä lisää ulkoisen linkin, niin siihen lisättäisiinm automaattisesti nofollow-attribuutti? Tai voisi olla olemassa ryhmä, jonka jäsenet ainoastaan voivat tehdä ulkoisia linkkejä ilman nofollow-attrbuuttia. Ryhmään lisättäisiin kaikki asiallisiski tunnetut Wiki-käyttäjät.
-- [Matti] 4.4.2007
Varmaan voitaisiin tehdä, ja se ehkä vähentäisi hieman spammääjän hyötyä spämmäyksestä.
Valitettava oma havainto gowrite.net:n puolelta on, että spämmäys tuppaa jatkumaan, jopa vaikka siitä on aivan kaikki hyöty viety pois. Ilmeisesti spämmäyksen tekijät eivät paljoa seuraa työnsä tuloksia.
-- Lauri 4.4.2007
----
Joo, nofollow ei pysäytä spämmereitä.
Akismet tekee melko hyvää työtä tällä hetkellä spämmereiden eliminoimiseksi, mutta valitettavasti liitetiedostot eivät mene Akismetin läpi. Yritän muistaa disabloida html-muotoiset liitteet kun olen jonkin järkevän shell-yhteyden päässä.
Olen uudelleenkirjoittamassa tuota spämmifiltteriä niin, että se epävarmoissa tapauksissa tarjoaa captchaa selvitettäväksi. Tämän voi esim. suomigo:ssa sitten tehdä suomenkielisenä (esim: kirjoita seuraava numero numeroin: "kahdeksansataaviisikymmentäkaksi").
--JanneJalkanen, 04-Apr-2007
----
Taas on joku spa´ämmeri ahkerana. Erityisesti [Hikaru No Go] tuntuu olevan suosiossa. Perustin ryhmän ''[Muokkaajat|muokkaajiksi]''. Jäseniksi kelpaavat kaikki tunnetut pelaajat, jotka haluavat muokata Wikiä. Jos sitten jotakin sivua spammerit ryhtyvät vainoamaan, niin ideana on rajata ko sivun muokkausoikeus muokkaajille. Tällöin spämmeri ei enää pääse muokkaamaan sivua, vaikka rekisteröityisi. Tietysti jos rekisteröintiä hankaloitetaan sopivasti, tämä ratkaisu voi jäädä tarpeettomaksi.
-- [Matti] 25.8.2011
Version Date Modified Size Author Changes ... Change note
42 25-Aug-2011 14:30 23.027 kB Matti Siivola to previous
41 13-Nov-2010 18:52 22.501 kB Lauri Paatero to previous | to last MainPagea ==> MainPage
« This page (revision-42) was last changed on 25-Aug-2011 14:30 by Matti Siivola