Witam

Chciałbym się zapytać czy istnieje możliwość zablokowania serwera przed robotami uruchamianymi np. przed programy tworzące sitemap, które chodzą po stronie powodując spore obciążenie? Można wprowadzić jakieś ograniczenie maksymalnej ilości żądań przez jednego użytkownika na jakiś czas?

Troszkę trzeba czasem pogooglać: http://www.webhostingtalk.com/showthread.php?p=4930110


Np. w Google for Webmasters możesz ustawić, jak ma być indeksowana strona.

Możesz jeszcze spróbować z plikiem robots.txt.