Co daje mi taki znacznik ?
<META NAME="Robots" CONTENT="all">

ALL to połączenie INDEX i FOLLOW, których zadniem jest odpowiednio:

• INDEX - pozwala robotom indeksować dokument HTML
• FOLLOW - pozwala robotom indeksować wszystkie strony, do których dotrze poprzez linki na odwiedzanej stronie

Czy to znaczy, że jak nie umieszcze tego znacznika,
to nie będzie on wyszukiwany przez wyszukiwarki ?

będzie... ten znacznik ma głównie wskazywać so robot ma zrobić po przeczesaniu danej strony...
Możliwości znacznika <meta name="robots" content="" />:

• CONTENT może mieć zawartość jak powyżej lub dowolną kombinację słów
• NOINDEX, NOFOLLOW, także wykorzystując słowa INDEX, FOLLOW. Brak któregoś ze słów oznacza, że dana akcja jest dozwolona.
• NOINDEX zapobiega indeksowaniu strony przez roboty.
• NOFOLLOW zabrania robotom indeksowania stron, do których linki znajdują się na stronie.
• INDEX - pozwala robotom indeksować dokument HTML.
• FOLLOW - pozwala robotom indeksować wszystkie strony, do których dotrze poprzez linki na odwiedzanej stronie.
• NOIMAGEINDEX - zapobiega indeksowaniu grafiki na stronie HTML - tekst może być indeksowany.

Nie ma znaczenia, co jest w metetagu robots w danym dokumencie, jeśli dostępu do tego dokumentu zabrania plik robots.txt.

Plik robots.txt powinien znajdować się w głównym katalogu strony, np. dla strony o nazwie www.strona.com powinien mieć adres www.strona.com/robots.txt

W pliku robots.txt można zabronić wchodzenia do witryny wszystkim robotom lub tylko niektórym. Można zabronić im wchodzenia w ogóle lub tylko do niektórych katalogów, jakie się w niej znajdują.

Przykład zawartości pliku robots.txt

Powyższy wpis nie pozwoli robotom na dostęp do katalogu /adman i wszystkich w nim zawartych dokumentów. Robot poprostu ominie w/w katalog...

Dokumentacja robots.txt:
http://www.robotstxt.org/wc/norobots.html

P.S. to moj 1 400 post :-)