Od pewnego czasu mam problem z niechcianym botem ktory przedstawia się jako:


Bot wpada co jakiś czas do mojego serwisu z kilkudziesięciu jak nie kilkuset IPków na raz...
Przykładowe IP:


Na razie zbanowałem przez .htaccess całą klasę 174.129.* bo z niej najwięcej jest IPków tylko teraz pytanie co "wyciąłem" ? Czy userzy z PL mogą mieć IPki w tej klasie?


Dodatkowo jak zbanować tego bota po useragencie? Próbowałem na wiele sposobów i żaden nie skutkuje :/

Co musze dokładnie wklepać do .htaccess aby go wyciąć?

Utwórz sobie robots.txt z odpowiednim user-agent, który wykluczy tego pajączka.

Najszybszy sposób to dodać w indexie:

[PHP] pobierz, plaintext 
<?php
if ($_SERVER['USER_AGENT'] == 'User Agent Bota') die ();
?>
[PHP] pobierz, plaintext 

Wątpię że taki bot będzie czytał plik robot.txt

W logach apache widziałem że sprawdza plik robots.txt tyle że tam już to zablokowalem ale jakoś mało skutecznie.

Na razie po blokowałem 4 zakresy IP z których korzysta bot. Ogólnie w necie znalazłem liste ponad 300 adresów IP tego bota...

A jeżeli chce zbanować useragenta to mam wklepać cały useragent:

czy wystarczy (tak jak to ma miejsce między innymi z Googlebotem)
?

wystarczy samo SimilarPages

To chyba typowy bot jakiejś wyszukiwarki; myślę, że powinien bez problemu czytać robots.txt.