Forum PHP.pl > roboty wyszukiwawcze

Pomoc - Szukaj - Użytkownicy - Kalendarz

adrjan.b

14.01.2008, 11:45:26

witam,

chcialem dodac do swoich witryn taka opcje (dla mnie) zebym wiedzial o odwiedzinach robotow.. np googlebota

czy jest taka mozliwosc ?

MajareQ

14.01.2008, 12:04:28

sądzę że musiałbys miec listę ip z jakich boty wchodza...

mike

14.01.2008, 12:10:45

Cytat(MajareQ @ 14.01.2008, 12:04:28 )

sądzę że musiałbys miec listę ip z jakich boty wchodza...

Nie ma potrzeby.

Lista gotowców: Google :: search :: Search+Engine+Bot+Detection+php

MajareQ

14.01.2008, 12:21:40

http://www.phpbb2.pl/download.php?d=449

to jest moduł do phpbb kóry wykrywa boty - poszperaj w nim

inOs

16.01.2008, 15:31:01

a nie wystarczy?

Kod

ale moze to dka php wsumie nie zadzialac, to zobacz to

Kod

if (stristr($_SERVER['HTTP_USER_AGENT'], 'bot')) {
} else {
}

rafaelb

16.01.2008, 15:50:48

Cytat(adrjan.b @ 14.01.2008, 13:45:26 )

witam,
chcialem dodac do swoich witryn taka opcje (dla mnie) zebym wiedzial o odwiedzinach robotow.. np googlebota
czy jest taka mozliwosc ?

Ze stronki http://www.iplists.com/ możesz pobrać aktualne w miarę listę identyfikatorów i adresy IP robotów
np dla Google http://www.iplists.com/google.txt
inne wyszukiwarki na podanej wyżej stronie

możesz sprawdzać w zmiennej $_SERVER['USER_AGENT'], która podaje nazwę przeglądarki
szukasz stringu lub jego kawałka

Kod

# UA "AdsBot-Google (+http://www.google.com/adsbot.html)"
# UA "Googlebot-Image/1.0"
# UA "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
# UA "Googlebot/Test (+http://www.googlebot.com/bot.html)"
# UA "Googlebot/Test"
...

lub po adresach IP $_SERVER['REMOTE_ADDR']

Kod

# UA "AdsBot-Google (+http://www.google.com/adsbot.html)"
209.185.108
209.185.253
209.85.238.11
216.239.33.96
216.239.33.97
216.239.33.98
216.239.33.99
216.239.37.98
...

Z tablicuj sobie te pliki txt lub je pobieraj online i parasuj i sprawdzaj "nazwę przeglądarki" lub przychodzący adres IP

W zasadzie proste imasz wszystko podane co i skąd.

A zapomniał bym. Stwórz plik w głównym katalogu serwisu robots.txt
i wpsiz do niego

Kod

User-agent: * # // zezwalasz wszystkim szperaczom lub ktregos mozesz wykluczyc
Disallow: /cgi-bin/ # // nie zezwalasz ja indeksowanie tych katalogow
Disallow: /private/

oraz dodajesz znaczmin META w <HEAD> jeden do wyboru

[HTML] pobierz, plaintext 
<meta name="robots" content="index,follow">
<meta name="robots" content="index,nofollow">
[HTML] pobierz, plaintext

tomeksobczak

16.01.2008, 15:53:12

A ja proponuję użyć mod_rewrite i przekierować /robots.txt do jakiegoś skryptu php

@inOs:
nie każdy bot ma w nazwie 'bot'

WebRankSpider/1.37 (+http://ulm191.server4you.de/crawler/)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
holmes/3.11 (OnetSzukaj/5.0; +http://szukaj.onet.pl)

Cezar708

16.01.2008, 16:29:21

jeśli chcesz szersze statystyki to proponuję BBClone oprócz odwiedzin botów wiele innych ciekawych i przydatnych rzeczy posiada. Poza tym baardzo łatwo zainstalować w swoim skrypcie PHP.

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.