Prawdę mówiąc jak ustawisz w pliku robost.txt wartośc np:
Kod
User-agent: *
Disallow: /jakiś_katalog/strona.html
Lub na stronie dasz odwołanie:
<meta name="Robots" content="none">
to ktoś już ładnie kiedys stwierdził, że całość zadziała jak kartka "zakaz kradzieży" w sklepie.
Bo niby roboty sprawdzają te wartości, ale nie indexują strony tylko dlatego "że nie wypada".
Chodzi mi o boty typu GoogleBot itp. bo boty napisane przez większość pojedynczych osób, to juz całą stronę elegancko przemielą (np. w celu znalezinia adresu e-mail a potem wysyłania na niego reklam...)
Jezeli chcesz coś naprawdę ukryć - musisz zrobic dostęp na hasło.
Mimo to, że np. GoogleBot umie się logować przez tzw. "AuthType Basic" w PHP, to wątpie, że będzie znał hasło...