Google löytää www.fi hakutuloksia

Google:n viime päivityksen yhteydessä hakutuloksissa on verraten paljon www.fi:n hakutuloksia. Eli Google on indeksoinut toisen hakukoneen hakutuloksia. Tämä “bugi” korjautunee todennäköisesti (toivottavasti) pian. Google haluaa pitää hakutulokset käyttäjille hyödyllisinä. Toisen hakukoneen hakutulosten listaaminen ei ole sitä.
Kommentoi
Ai niin kuin vaikka näin:
http://www.whitehouse.gov/r…
siitä voi sitten itse kukin miettiä että mitkä on hyödyt ja mitkä haita ja kenelle
Tuossa Valkoisen talon robots.txt:ssähän kielletään vain tuplasisällön eli tekstiversioiden yms. turhan tutkiminen. Mistään salailusta siinä ei ole kysymys. Ja itse pitkä listakin on koneellisesti generoitu.
Enirolla blokkaus onnistuisi tällaisellä rivillä robots.txt:ssä:
Disallow: /query?
http://Www.fissä sama onnistuu tähän tyyliin:
Disallow: /WebSearch?doQuery=
Disallow: /PicSearch?doQuery=
[jne. eri hakutyypeille]
Eli kaikkia mahdollisia hakutuloksia ei tarvitse erikseen luetella robots.txt:ssä.
Hyvä ":P", jos olet kiinnostunut miten robots.txt:tä käytetään, niin tässä on kirjoittamani suomenkielinen opas aiheesta:


Myös Eniro spämmää Googlea hakutuloksillaan. Hauskaa siinä on se että nämä Eniron hakutulokset tulevat itsekin Googlelta.
Itse "bugi" on ollut Googlessa jo kauan ja jotkut mustahatut ovat sitä hyödyntäneetkin (linkittämällä valittuja "[hakusana] site:[spämmisaitti]" -hakuja).
Mielestäni vastuu on http://www.fi:llä (ja Enirolla ym.) itsellään: hakutulokset pitäisi blokata muiden hakukoneiden boteilta robots.txt:ssä.