Witam,
Czy istnieje możliwość zdefiniowania w pliku robots.txt aby roboty wyszukiwarek miały dostęp do strony 1 raz dziennie?

Pozdrawiam

Myślę, że można to rozwiązać za pomocą PHP. Tutaj masz IP popularnych robotów: http://chceme.info/ips/ Musisz stworzyć sobie tabelę w bazie, np.bot (typu tinyint) w bazie to numer bota, np. 1 - google, 2 - msn/live, 3 - yahoo. Skoro z powyższego linku wiesz, jakie mają IP, to musisz np. na stronie głównej (lub na każdej podstronie) sprawdzić IP odwiedzającego, jak znajdzie się jakiś z tego zakresu, to sprawdzasz czy lastVisit (data w formie unixowej) było już dzisiaj, jeżeli było danego bota, to po prostu blokujesz mu dostęp do strony, jeżeli nie to puszczasz go dalej. Użytkowników nie będących w wyżej wymienionym zakresie przepuszczasz od razu. Nie jestem pozycjonerem i nie mam pojęcia jaki to będzie miało wpływ na roboty, ale myślę, że powinno zadziałać.

Fajne.... i teraz taki robot patrzy, że strony nie ma i indeksuje fajnie....

Dlatego napisałem, że nie wiem, jaki to będzie miało wpływ na działania robotów. W takim wypadku nie widzę innej możliwości. W pliki robots nie da się tak zabezpieczyć.

Dostęp dla robotów chcę ograniczyć ponieważ ich żądania powodują bardzo duże obciążenie serwera. Jednak nie mogę zablokować dostępu do strony w taki sposób jak in5ane zaproponowałeś gdyż raczej będą problemy z indeksowaniem strony.

Jak na razie spróbuję użyć w pliku robots.txt czegoś takiego:

Ograniczy to liczbę żądań.

Jeśli ma ktoś inne pomysły to proszę pisać.