Witam.
Mam bardzo dziwny problem z plikiem robots.txt. Otóż wgrałem owy plik z treścią pozwalającą indeksowanie wszystkim robotom całego serwisu (User-agent: * Allow: /), jednak po odpaleniu pliku w przeglądarce wyświetla się tak: "User-agent: * Disallow: /".

Co może być tego przyczyną?
Proszę o pomoc.

Myślę, że problem trzeba prześledzić na konkretnym przypadku, mając dostęp do serwera. Jedyne co przychodzi mi na myśl to jakieś przekierowanie w httpd.conf albo .htaccess w którymś z katalogów wyżej. Cała domena albo serwer może np. korzystać z jednego robots.txt. Sprawdź czy jeśli zrobisz katalog katalog_wlasnie_stworzony i wejdziesz na http://twojadomena.pl/katalog_wlasnie_stworzony/robots.txt, czy wyświetli tak samo treść z Disallow. Jeśli tak, musisz pogrzebać w konfiguracji serwera albo poszukać odpowiedzialnego za to .htaccess.

No i tu jest rzecz bardzo ciekawa. Gdy wrzuciłem ten sam plik robots.txt do podkatalogu to w przeglądarce wyświetla się normalnie czyli Allow.
Jedynie w katalogu głównym wywala disallow :/

Stwórz plik .htaccess w głównym katalogu z treścią:


i napisz czy jest ok.

Niestety nadal to samo. Nie wiem czy to ma jakieś znaczenie ale na innych witrynach (stoją na tym samym serwerze) tego problemu nie ma.
Napisałem już do hostingodawcy i zobaczymy co on na to.

Edit:
Problem rozwiązany. Jak napisała administracja: "wspomniana niedogodność związana była z konfiguracją nginx".