Pełna wersja: Plik robots.txt
Czy ilosc podstron zablokowanych dla bota w robots.txt moze spowodowac spadek strony w wyszukiwarce?
źle ustawiony plik może wyciąć wartościowe podstrony które mają znaczenie dla SEO więc z tym plikiem trzeba uważać co się gdzie wpisuje. Dobrze ustawiony na pewno nie wpłynie negatywnie na pozycje serwisu w serpach a wręcz przeciwnie możne znacznie podnieść jego wartość w "oczach" Google.
Ja często ukrywam niektóre podstrony w robots.txt , dla pozycji strony w google nie ma to większego wpływu a dobrze jest ukryć przed botem takie rzeczy jak panel admina , kiedyś z googla trafiłem na panel admina strony postawionej na wordpress która w dodatku nie była zabezpieczona hasłem bo dopiero w budowie 
jezeli usunles duplicate content to nie powinno spasc, ale jesli wartosciowe strony to moze miec to znaczenie
Cytat(dlugi_as @ 18.09.2011, 18:30:30 ) 
jezeli usunles duplicate content to nie powinno spasc, ale jesli wartosciowe strony to moze miec to znaczenie
Zgadza się. Duplicate content zabkowany z robots.txt pomaga a nie szkodzi. A zablokowanie unikalnych treści szkodzi.
Jak zablokować duplicate content?
pierwsze co byś musiał zrobić to przekierowanie canonical a polega ono na tym że robisz przekierowanie strony np: z www.twojastrona.pl na twojastrona.pl. Zapis może wyglądać np tak w pliku .htaccess:
RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
drugie to zastosowanie rel dla linków. Może być taka postać : <link rel="canonical" href="http://twojastrona.pl/ciasta/">
trzecie co znam to noindex a postać dla podtrony to: <meta name="robots" content="noindex, follow" /> oczywiście w zancznikach <head></head>
RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
drugie to zastosowanie rel dla linków. Może być taka postać : <link rel="canonical" href="http://twojastrona.pl/ciasta/">
trzecie co znam to noindex a postać dla podtrony to: <meta name="robots" content="noindex, follow" /> oczywiście w zancznikach <head></head>
Zależy co masz pod frazą "duplicate content" na myśli.
Jeśli w obrębie serwera to Ci już podpowiedziano powyżej:
1. Redirect 301 na jeden właściwy adres. Tutaj wiele osób nie zdaje sobie sprawy z własnych reguł. jeśli mają w regułce coś w stylu: ^artykul_(.*),([0-9]+).html to artykul_jhfbjhsd,1.html i artykul_yjfgfgf,1.html wskazuje na to samo i robi duplicate content. Podobnie udostępnianie tego samego pod różnymi linkami w stylu artykul.php?id=1 oraz artykul_yjfgfgf,1.html nie powinno mieć miejsca. Ustal jeden główny i sprawdzaj przy wejściu poprawność. Jeśli napotkasz niezgodność - 301 na prawidłowy.
2. Canonical dla wariantywnych lub zbyt podobnych do siebie wersji.
Jeśli w porównaniu do tych co rżną Ci tekst ze strony i jako własny upubliczniają lub na stronach będących mirrorami Twojej. Niektóre zaplecza SEO nie przystosowane do Pandy robią copy-paste opisów, tekstów z jednego portalu na inny, za to masz wciery. Tu też powinien być canonical do źródła. A na rżnących... musisz mieć lepsze linkowanie wewnętrzne i zewnętrzne. Wtedy będziesz uznany przez roboty za oryginalny, pierwotny tekst, dostawcę treści innymi słowy.
Jeśli w obrębie serwera to Ci już podpowiedziano powyżej:
1. Redirect 301 na jeden właściwy adres. Tutaj wiele osób nie zdaje sobie sprawy z własnych reguł. jeśli mają w regułce coś w stylu: ^artykul_(.*),([0-9]+).html to artykul_jhfbjhsd,1.html i artykul_yjfgfgf,1.html wskazuje na to samo i robi duplicate content. Podobnie udostępnianie tego samego pod różnymi linkami w stylu artykul.php?id=1 oraz artykul_yjfgfgf,1.html nie powinno mieć miejsca. Ustal jeden główny i sprawdzaj przy wejściu poprawność. Jeśli napotkasz niezgodność - 301 na prawidłowy.
2. Canonical dla wariantywnych lub zbyt podobnych do siebie wersji.
Jeśli w porównaniu do tych co rżną Ci tekst ze strony i jako własny upubliczniają lub na stronach będących mirrorami Twojej. Niektóre zaplecza SEO nie przystosowane do Pandy robią copy-paste opisów, tekstów z jednego portalu na inny, za to masz wciery. Tu też powinien być canonical do źródła. A na rżnących... musisz mieć lepsze linkowanie wewnętrzne i zewnętrzne. Wtedy będziesz uznany przez roboty za oryginalny, pierwotny tekst, dostawcę treści innymi słowy.
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.