Webmasterworld bannt alle Bots
Montag, 21. Nov 2005 (20:13) gsyi
Bei einem mutigen Test lässt Brett Tabke keine Spiders mehr sein Forum Webmasterworld.com crawlen. So steht nun in der robots.txt:
User-agent: *
Disallow: /
Den Grund für diesen Versuch war der steigende Traffic durch Spambots. Laut Brett wurden allein letzte Woche 12 Millionen Page Views durch die bösen Bots verursacht. Ob jetzt alle Spiders an robots halten werden, möchte er wissen.
2917 x gelesen
Postname: Webmasterworld bannt alle Bots
Kategorien: Suchmaschinen
Kommentar
Relevante Posts zu "Webmasterworld bannt alle Bots":
Webmasterworld wieder im Index
Webmasterworld nicht mehr im Google Index
Webmasterworld Suchfunktion?!?
Disallow.de - Datenbank für bösen Bots
Google-Update Bourbon - bald Ende!
Google Duplicate Content
Yahoo Update
Seite wegen 301 Weiterleitung abgestürzt
6 Adsense Tips für Foren
Crawl Caching Proxy
Abgestrafte Domains erkennen
Google Adwords streicht zum 31.12.2008 alle Agenturprovisionen
Google Hints
Kostenloses Ticket für Webmasterworld PubCon
Lee Odden interviewt Brett Tabke