Witam,
Chodzi o mega rozbudowany plik robots.txt serwisu ceneo. Czy ktoś umie wytłumaczyć poszczególne cechy w tym pliku?
(szczególnie wpisy) :
Disallow: /gotourl.aspx*
Disallow: /GotoURL.aspx*
Disallow: /;szukaj
Disallow: /;020*
Disallow: /ProductsComparison.aspx*
Disallow: /-*
Disallow: /+*
Disallow: /Kategoria*
Disallow: /Produkt-*
Disallow: /allegro*
Disallow: /*-0x-*
Disallow: /*-0a-*
Disallow: /PopupDisplay*
Disallow: /ProductsComparison.aspx*
Disallow: /;020*
I dlaczego zablokowane są wszystkie inne boty na dole?
pozdrawiam