Jest serwer postawiony na vps.

Od piątku coś dziwnego się dzieje, ponieważ top pokazuje, że proces mysqld zużywa od 40% do 70% cpu, ale mtop pokazuje tylko zwykle pojedyncze zapytania, lub wręcz tylko "show processes".

Serwer w wersji z lenny'ego, czyli bodajże 5.0.51a?

mtop dość rzadko odświeża, co tam jeszcze działa? Spory ruch na WWW?

W międzyczasie poszukaliśmy i okazało się, że toto bydło nas odwiedzało i ostro trzepało:

http://discoveryengine.com/discobot.html

NA razie dostało bana na jedno IP, a jak się powtórzy to dostanie na cala klasę.

Tak przy okazji - można zrobić bana ip w .htaccess na cześć klasy?

Wszyscy by tylko banowali. A na stronie dokumentacji, którą podałeś. wisi jak byk, że wystarczy wykorzystać plik "robots.txt".
I problem powinieneś mieć z głowy:

A co za różnica czy dasz disallow po stronie robots czy już na etapie htaccess? Ja roboty także w serwisach wycinam poprzez htaccess czy to poprzez IP czy regexpa na różnych danych, takich jak choćby UA. Pozostaje więc jedynie kwestia wydajności... Wycinanie ruchu którym rozwiązaniem jest szybsze. Tego akurat nigdy nie sprawdzałem, ale a nuż gdzieś jakies testy były

No ale nie był, bot totalnie olał sobie wpis do robots.txt, dopiero wycięcie IP w .htaccess pomogło

Bo podejrzewam, że robots.txt jest odczytywany na starcie indeksowania.

Też tak sądzę - ale mógłby z raz na dobę sobie to refreszować, teraz za to ma bana po IP i jest spokój.
Jakoś boty googla, twengi czy innych takich potrafią "czytać" serwis "po bożemu"