Witam, Pracuję nad projektem parsera treści. Chciałbym by odróżniał tekst strony z artykułem od bezwartościowych tagów lub arkuszy stylu. Coś w rodzaju robota wyszukiwarkowego. Myślę nad użyciem funkcji która by liczyła wyrazy, czyli liczba liter od 1-16 spacja. I jeśli się to powtarza co najmniej 10 razy to przechodzi. Ale nie wiem jak to ugryźć.

Próbowałem ze spójnikami ale dziwnie to wychodzi, ich ilości się kumulują ze względu na krzaczki z polskich znaków w treści.

To co napisałem działa częściowo, ale chciałbym by się wyświetlały same artykuły, a filtruje to może z 10% śmieci. Czyściłem też baze danych pod względem występowania konkretnych słów. Nie wiem jak to dalej rozwinąć. I jak używać zachodnich spójników typu "if, or, and,"

[PHP] pobierz, plaintext 
$polskiespojniki =array(i, oraz, lecz, albo, czy, lub, ani, czyli, dlatego, zatem, bo, natomiast, że, gdyż, ponieważ, jeśli, jeżeli, bądź);
//$zachodniespojniki=array(and, or, but, if, unless, that, until, when, while, where, after, before, because, both, either, even);
 
 
 
 
//funkcja liczaca dany spojnik
function Policzspojniki($polskiespojniki, $string)
{
    $licznikspojnikow=0;
    $iloscprzecinkow=0;
        foreach ($polskiespojniki as $value) {
            $iloscprzecinkow=0;
        echo $value;
        echo"1";
        $spojnik = $value;
        $str = $string;
        $a = substr_count($str, $value);
        //zakomentarzowane dzialanie testowe
 
        //echo $spojnik;
        //echo $a;
        //echo "</br>";
        $licznikspojnikow = $licznikspojnikow + $a;
        }
    //licznik przecinkow
    $iloscprzecinkow = substr_count($string, ",");
    echo $iloscprzecinkow;
    // licznik spojnikow
    echo 'liczenie spojnikow na stronie ';    
    echo 'suma-';
    echo $licznikspojnikow;
    if($licznikspojnikow >3 or $iloscprzecinkow >10)
       return true;
 
    else
       return false;
    $iloscprzecinkow=0;
    $licznikspojnikow=0;
 
 
}
 
if (Policzspojniki($polskiespojniki, $string)) 
    {
    echo 'wiecej niż 3 spojniki lub 5 przecinkow';
 
 
 
    }
        else {
        echo 'mniej niż 3 spojniki lub 5 przecinkow odrzucamy';
        }
 
?>
[PHP] pobierz, plaintext 

Jak chcesz treść strony bez znaczników HTML to użyj np. strip_tags() i ewentualnie przed użyciem usuń skrypty oraz style np. za pomocą preg_replace()

chodzi o to by kwalifikowałą się tylko ta która zawiera określoną treść. Nie wiem w jaki sposób napisać funkcję by sprawdzała czy znajdują się konkretne zdania w treści czyli:

wyraz(1-24litery)-spacja-wyraz(1-24litery) całość n razy zakończona kropką. A pasujące do tego schematu które mają co najmniej 3 lub 4 zdania kwalifokować do dalszego filtra który wskazałem wcześniej czyli spójniki polskie i angielskie.

Nie próbowałem testować na angielskich spójnikach ale jak pracuje na netbeans to dostaje monit o niedozwolonych słowach. Jest sens drążyć temat ze spójnikami czy lepiej dać sobie spokój i napisać coś prostszego. nie jestem zaawansowanym programistą. Opieram się na przykładach z internetu.

chodzi tez o to by zachować oryginalną treść, strip_tags zmienia strukturę tekstu.

style usuwam po adresach z bazy które zawierają xml png css itp. (zostaje 10% typu style.css?ver2003 - akceptowalne)

To coś w rodzaju nakładki na wyszukiwarkę internetową rozszerzająca możliwości wyszukiwania na stronach i linkach prowadzących ze strony prezentująca dane zbiorcze. Filtruje dokładniej wyniki generowane przez wyszukiwarkę internetową.