MSNbot sucks
Submitted by luc on Sun, 25/02/2007 - 17:29
Letterlijk dan, het ding zuigt massa's bandbreedte.
In februari alleen al op www.tik.be:
MSNbot: 2.07 GB
MSNbot-media: 1.29 GB
En dan te weten dat 90% van de bezoekers via search engines op die site vanop Google komt, die op dezelfde periode 122.62 MB gebruikt heeft. Hun search algoritme moet toch wel nét iets efficienter zijn...
je kan er eentje maken met
je kan er eentje maken met toms msn bot.
- daar kan je dan voor 1.50 euro je eigen antwoorden invullen ( zegt iemand 'hoi' zegt bot 'hoi'
en als je kan programmeren is het gratis
Awstats
Awstats: http://awstats.sf.net/
Wel een pass voor zetten, want het ding heeft al een paar serieuze security problemen gehad.
Statistieken
Met welk script meten jullie dit?
Ik heb ook eerst
Ik heb ook eerst geëxperimenteerd met de crawl-delay bij de MSNbot, maar dat hielp niet veel, dus dan maar helemaal verbannen die rommel.
We zijn nu eerst aan het
We zijn nu eerst aan het testen wat dit geeft:
User-agent: msnbot
Crawl-delay: 120
Om die reden heb ik de
Om die reden heb ik de msnbot reeds een eeuwigheid geleden geblokkeerd in mijn robots.txt...
Post new comment