Od jakiegoś czasu zastanawiam się jak działają boty, np. gg bot? Jak rozpoznają słowa? Na czym polega cały system?

Na pewno super inteligentne to nie jest.
Nie wiem dokładnie jakie komendy ma google bot ale np jak sparsowac komendę: Pogoda Gdańsk

[PHP] pobierz, plaintext 
 
$string='pogoda gdansk';
preg_match('/^\s*(\w+)(.*)/i', $string, $matches);
 
$cmd='domyslna_komenda';
if(isset($matches[1])) $cmd=strtolower($matches[1]);
 
$parameters=array();
if(isset($matches[2])) $parameters= preg_split('/\s+/', $matches[2], -1, PREG_SPLIT_NO_EMPTY);
 
switch($cmd)
{
    case 'pogoda':
        print_r($parameters);
        // tutaj robisz sobie co chcesz
    break;
}
[PHP] pobierz, plaintext 

Podobnie analizujesz inne komendy

Jeżeli chodzi np same coś takiego jak "lubię cię" a on odpowiada "ja ciebie też" to wystarczy ci np http://php.net/stripos