Witam,

Chodzi o mega rozbudowany plik robots.txt serwisu ceneo. Czy ktoś umie wytłumaczyć poszczególne cechy w tym pliku?

(szczególnie wpisy) :

Disallow: /gotourl.aspx*
Disallow: /GotoURL.aspx*
Disallow: /;szukaj
Disallow: /;020*
Disallow: /ProductsComparison.aspx*

Disallow: /-*
Disallow: /+*
Disallow: /Kategoria*
Disallow: /Produkt-*
Disallow: /allegro*
Disallow: /*-0x-*
Disallow: /*-0a-*
Disallow: /PopupDisplay*
Disallow: /ProductsComparison.aspx*
Disallow: /;020*

I dlaczego zablokowane są wszystkie inne boty na dole?

pozdrawiam