co powazne serwisy robia z botami malo znanych katalogow i wyszukiwarek?
wiadomo ze google yahoo musza byc ale takie wyszukiwarki ktorych prawie nikt nie uzywa rowniez istneija.
co powiniem z nimi zrobic? mam kilka tysiecy podstron i zzeraja mi b. duzo tranferu. poza tym czesto wracają.
jesli je zablokuje to moge nie pojawic sie w wynikach ich wyszukiwan. czy takie indeksowanie jest w ogole legalne i zgodne z netykietą?

Najzupełniej legalne...a jak ci przeszkadzają to je zbanuj w .htaccess

Pozdrawiam

Jak odróżniasz bota wyszukiwarki od użytkownika ?

popatrz tu -> http://www.forum.optymalizacja.com/index.php?showforum=18 na pewno znajdziesz info jakie i jak poblokowac

dzięki

nie do konca o to mi chodzi. wiem ze moge je poblokowac ale czy to bedzie dla mnie dobre? nie bedzie mnie w tych serwisach ktore jednak ktostam odwiedza. jak w tej sytuacji postepuja powazne portale?

ps. bota odroznaim po tym ze wlazi mi na wszystkie podstrony regularnie co jakis czas i zzera pol transferu

zadaj sobie pytanie czy zalezy CI zeby w danej szukaczce byc, i czy ilosc transferu jaka zjada bot jest adekwatna do tej checi jak nie to banuj

możesz też wpuszczać boty tylko na wybrane podstrony np tylko index. Wtedy jest szansa ze bedziesz w danej wyszukiwarce przy jednoczesnym małym obciążeniu transferu.

Ok dzieki to już prawie wszystko co chcialem wiedziec
jeszcze tylko: jak to rozwiązuje np. onet.pl, yahoo.com, microsoft.com, maxior.pl??