Witam

od czego moze zalezec to ze kod ktory zwraca wyszukiwarka google w wynikach wyszukiwania jest rozny
ponizej przyklady

kod otrzymany po wejsciu na strone przez przegladarke



kod otrzymany po wejsciu na strone przez curl


chodzi o to ze w href jest inny zapis oraz brak jest class="l" w znaczniku <a> w przypadku gdy wchodze na strone przez curl

w obu przypadkach stosuje ten sam user agent

pewnie google wykrywa że curl nie obsługuje js, i serwuje inną wersje

no wlasnie w tym problem ze czasami zdarza sie ze przy pobieraniu przez curl jest zarowno wersja 1 jak i wesja 2

teraz sprawdzalem ze przy wejsciu przez curl (nie wykorzystuje tu proxy) serwuje mi wersje 1

natomiast przy wejsciu przez curl z wykorzystaniem proxy serwuje mi wersje 2

w obu przypadkach nie dziala js, a pobrany kod zrodlowy jest inny

wiec musi byc jeszcze jakis inny czynnik ktory na to wpływa

ma ktos może jakiś pomysł ?

proxy może dodawać swoje nagłówki, które sugerują google że js jest obsługiwany.

ciagnac temat dalej
podczas pobierania strony przez curl (zarowno przez proxy jak i bez proxy) ustawiam takie same naglowki
wiec to chyba tez nie to