Witam, spotkałem się ostatnio z problemem, którego wujek google nie wyjaśnia mi zbyt oczywistym językiem.

Zacznijmy od podstaw:
- mam jeden serwer
- na ten serwer kierują 3 domeny: pl, de, co.uk, zależnie od domeny ustawia się odpowiedni język strony i cała zawartość

Mam sitemap gotowe i podpięte pod google dla domeny .pl, jak ustawić sitemap dla reszty domen? Nie mogę do jednego pliku wrzucać, bo będzie się to gryzło z SEO i indexowanie np. niemieckich linków pod polską domeną nie wchodzi w rachubę

Potrzebuję odpowiedniej komendy w htaccess? Albo robots?
Coś w stylu (napiszę w php i każdy załapie;P )

switch($domena)
{
case "pl": zaladuj_sitemap_polska();break;
case "de": zaladuj_sitemap_niemcy();break;
case "uk": zaladuj_sitemap_anglia();break;
}

Oczywiście nie bierzcie mnie za totalnego idiotę i wiem, że takiego kodu nie wstawię w htaccess ani robots;) Potrzebuję analogicznej alternatywy.

W robots.txt mam obecnie:
Sitemap: http://mojastrona.pl/sitemap1pl.xml

ale dodanie kolejnej linijki z odpowiednią domeną i plikiem nie rozwiązuje sprawy?

Z góry dziękuję mądrym głowom

Dlaczego kodu nie wstawisz w robots.txt? Przecież możesz go parsować w php.
W robots.txt powinien być pełen URL do sitemap (z domeną).

Czyli dodanie w robots.txt:

Sitemap: http://mojastrona.pl/sitemap1pl.xml
Sitemap: http://mojastrona.de/sitemap1de.xml
Sitemap: http://mojastrona.co.uk/sitemap1uk.xml

w zupełności wystarczy? I będzie to poprawnie interpretowane przez googla i inne roboty?

Dla każdej domeny generujesz inną zawartość robots.txt

Dzięki, a możesz podać przykład jak to zrobić?

http://stackoverflow.com/questions/2147217...table-on-apache

ale to nie rozwiąże problemu, jak wygeneruję robots.txt i w tym samym czasie na innej domenie będzie próba uzyskania do robots.txt - wygeneruje nowy plik nadpisując poprzedni, wszystko byłoby ok gdyby nie fakt, że może to nastąpić w tym samym czasie przez co któraś z domen uzyska błąd zapisu do pliku i nie powstanie robots.txt

Chyba, że chodzi o parsowanie pliku txt przez php i wyrzucenie odpowiedniej zawartości przez echo - ale z drugiej strony nie chcę dodawać rozszerzenia txt dla parsera php bo mam inne pliki tekstowe na serwerze i wtedy one nie będą poprawnie wyświetlane - a zastosowanie zmiany we wszystkich plikach txt nie wchodzi w rachubę...

Jakieś lepsze rozwiązanie?

Chodzi dokładnie o parsowanie, to o czym pisze w artykule.
Nie wiem dlaczego sądzisz, że z innymi plikami będziesz mieć problem, przecież jest dyrektywa, która sugeruje parsowanie tylko test.txt.

Możesz również utworzyć regułę przepisującą w .htaccess, nie mając pliku tekstowego lecz php.

Dzięki, zrobiłem jak w tym linku co podałeś - w sumie słuszna droga ale teraz nasuwa mi się pytanie, bo zrobiłem tak w robots.txt:

[PHP] pobierz, plaintext 
<?php
if($_SERVER['SERVER_NAME']=="mojastrona.co.uk")	echo "Sitemap: http://mojastrona.co.uk/sitemap1uk.xml";
elseif($_SERVER['SERVER_NAME']=="mojastrona.de") echo "Sitemap: http://mojastrona.de/sitemap1de.xml";
else echo "Sitemap: http://mojastrona.pl/sitemap1pl.xml";
?>
User-agent: magpie-crawler
Disallow: /
 
User-agent: WikiDo
Disallow: /
 
User-agent: AhrefsBot
Disallow: /
 
User-agent: MJ12bot
Disallow: /
[PHP] pobierz, plaintext 

teraz wszystko co poza klamrami php jest parsowane jako html. Aby zachować strukturę robots.txt , w której każda dyrektywa powinna być od nowej linii powinienem używać <br/> żeby przejść do następnej linii? Bo obecnie po wyświetleniu mam wszystko w jednej linii pisane i raczej nie jest to dobrym plikiem robots.

Pytanie jeszcze odnośnie crawlerów, czy one zawsze "wchodzą" na plik tak jak użytkownik? PHP zawsze wyświetli taką samą wartość SERVER_NAME dla robota jak i internauty? Bo jestem zielony w robotach

Wszystko poza klamrami jest parsowane jako html?
Pozostawię to bez odpowiedzi.

https://www.google.pl/search?q=php+text+files+newline

A może po prostu ustawić

header("Content-Type: text/plain");

zamiast kombinować?

Nie pomoże to na zbitkę:

Albo ja mam problem z głową albo...

[PHP] pobierz, plaintext 
<?php
header("Content-Type: text/plain");
if($_SERVER['SERVER_NAME']=="mojastrona.co.uk")	echo "Sitemap: <a href="http://mojastrona.co.uk/sitemap1uk.xml&quot;;" target="_blank">http://mojastrona.co.uk/sitemap1uk.xml";</a>
elseif($_SERVER['SERVER_NAME']=="mojastrona.de") echo "Sitemap: <a href="http://mojastrona.de/sitemap1de.xml&quot;;" target="_blank">http://mojastrona.de/sitemap1de.xml";</a>
else echo "Sitemap: <a href="http://mojastrona.pl/sitemap1pl.xml&quot;;" target="_blank">http://mojastrona.pl/sitemap1pl.xml";</a>
?>
 
User-agent: magpie-crawler
Disallow: /
 
User-agent: WikiDo
Disallow: /
 
User-agent: AhrefsBot
Disallow: /
 
User-agent: MJ12bot
Disallow: /
[PHP] pobierz, plaintext 

Output:

Albo złamałeś linię, czego nie było:)

Tak, można headerem.

Temat do zamknięcia, poradziłem sobie traktując łamanie wiersza htmlowym <br/>, sprawdzając plik robots.txt przechodzi pozytywnie testy pod każdą domeną. Dzięki za pomoc:)



dobra dobra, już nie czepiajmy się słówek, niech będzie "wyświetlane" bo fakt, nie parsujemy htmla w ten sposob ;D

Nie łam wiersza żadnym <br/>. Popatrz jak to będzie wyglądać w źródle i jak robot zobaczy...

Przy okazji, skoro masz mapy pod różnymi domenami, to warto również ujednolicić ich nazwy, stosując analogiczną metodę do generacji mapy jak do robots.txt.
Co będzie jeśli robot nie otworzy robots.txt, a będzie chciał otworzyć mapę, myślisz, że znajdzie sitemap1pl.xml?

korzystałem z innego sprawdzania i nie było błędów ale w google webmaster tools faktycznie wyłapało łamanie przez <br/>, przesłanie nagłówka text/plain faktycznie rozwiązało sytuację.

Nastawiam się głównie na google, zgłosiłem mapę witryny więc nie powinien mieć problemu z otwarciem sitemap1uk i innych... a wrzucenie wszystkich linków z 3 krajów trochę powiększy plik - chyba, że skorzystam z include..

Czyli sitemap.xml wyłapie każdy robot?

A dlaczego miałoby powiększyć plik, przecież do polskiej mapy nie wrzucasz angielskich linków.

nie w tym rzecz, jak miałbym robić jeden plik to wrzuciłbym wszystkie linki, polskie, angielskie, niemieckie ale lepiej będzie chyba tak zrobić?:

--plik sitemap.xml

[PHP] pobierz, plaintext 
<?php 
if(polska) include_once('sitemap_polska.xml');
elseif(niemcy) include_once('sitemap_niemcy.xml');
else include_once('sitemap_anglia.xml');
?>
[PHP] pobierz, plaintext 

oczywiście "polska" i "niemcy" to żadna zmienna ani nic, mają przedstawiać tylko logikę

w htaccess dodac parsowanie pliku sitemap.xml przez php, jak wcześniej z robots, a jaki header przesłać, żeby xml był poprawnie odczytany?

W tym rzecz, że nie łączysz kilku map dla różnych wersji językowych w jedną. Nigdzie tego nie sugerowałem, pisałem o ujednoliceniu nazwy.

[PHP] pobierz, plaintext 
header('Content-Type: text/xml; charset=utf-8');
[PHP] pobierz, plaintext 

piwo dla wszystkich, temat zamknięty i wyczerpany do cna DZIĘKI!