Witam,
pytanie w jaki sposób wybrać z całego tekstu fragment, w którym występuje najwięcej powtarzających się słów?

Tekst





Liczba wystąpień słów:
1. mądrość - występuje 6 razy w tekście
2. sensie - 3 razy
3. mądrości - 2 razy
...
umiejętność - 2 razy

Po przeanalizowaniu tekstu interesują nas tylko fragmenty – zdania z największą liczbą wystąpień powtarzających się słów.

Z tekst powinien zostać wybrany fragment,

jako pierwsze zdanie, priorytetowe słowo mądrość (występuje 2 razy – najwięcej w jednym zdaniu) i sensie (1 raz w zdaniu).

W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska.

i dalej

W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem.

Z ograniczeniem długości wybranego tekstu np. do 3 zdań, albo może łatwiej do 500 znaków.

W jaki sposób tego dokonać?

Może skorzystaj z str_word_count? Ewentualnie jak będziesz korzystał z implode() czy explode() czy ogólnie tablic to przyda się array_count_values

Funkcje zliczającą same słowa już napisałem wcześniej z wykorzystaniem array_count_values(), ale jak teraz wydobyć z tekstu tylko te zdania, w których znajdują się istotne dane - najczęściej występujące slowa i ułożyć je posortować w kolejności od zdania priorytetowego (z największą liczbą słów)?

Moze taka prowizora coś nakieruje:

robisz sobie np explode po kropce i zapisujesz to do tablicy
indeks to numer zdania

[PHP] pobierz, plaintext 
$zdania = explode('. ',$tekst);
[PHP] pobierz, plaintext 

nastepnie mozesz sobie jakos przeleciec podaną tablicę foreach'em
dla każdego tekstu robisz np znowu explode, tym razem po spacji

[PHP] pobierz, plaintext 
$slowa = array();
foreach($zdania as $key=>$zdanie)
{ 
  $slowa[$key] = explode(' ',$zdanie);
  $scalowe_slowa = array_merge($slowa, $slowa[$key]);
}
[PHP] pobierz, plaintext 

nastepnie zliczasz wystapienia http://pl2.php.net/manual/en/function.array-count-values.php

[PHP] pobierz, plaintext 
$ile = array_count_value($scalone_slowa); 
[PHP] pobierz, plaintext 

i masz tu ilosc wystapien kazdego slowa

dostosuj sobie podane przyklady do Twoich wymagań
Pisane z palca, powinno pomóc
Powodzenia

Obecnie mam coś takiego:

[PHP] pobierz, plaintext 
<?php
 
$tekst = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych...";
 
// Czysc
$tekst = strip_tags($tekst);
 
// Wyjatki
$szukaj = array('np.','....','...','..'); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
 
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);
 
// Zdania
$zdania = explode('.', $tekst_wyjatki);
 
// Slowa
$slowa = array();
 
foreach($zdania as $key => $zdanie) {
 // Tylko slowa, usun inne znaki ?
 // $zdanie = preg_replace('/[^a-zA-Z0-9 ]/i', '', $zdanie);
 
 $slowa[$key] = explode(' ', trim($zdanie));
 
 // Minimalna dlugosc slowa ?
 // if (strlen($slowa) > 5) 
 
 // $scalone_slowa = array_merge($slowa, $slowa[$key]);
}
 
// $ile = array_count_values($slowa);  // Blad !
 
echo '<pre>';
// print_r($scalone_slowa); // cos nie tak ?
print_r($slowa);
echo '</pre>';
 
?>
[PHP] pobierz, plaintext 

nie działa.

Można ten kod dopracować i otrzymać w wyniku oczekiwane zdania?

mialeś z tego skorzystać i samemu coś wykombinować...
np:

[PHP] pobierz, plaintext 
<?php
 
$tekst = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych..";
// Czysc
$tekst = strip_tags($tekst);
 
// Wyjatki
$szukaj = array('np.','....','...','..'); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
 
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);
 
// Zdania
$zdania = explode('.', $tekst_wyjatki);
 
// Slowa
$slowa = array();
$scalone_slowa = array();
foreach($zdania as $key => $zdanie) {
 
	$slowa[$key] = explode(' ', trim($zdanie));
 
	foreach($slowa[$key] as $slowko )
	{
		if (strlen($slowko) > 5) $scalone_slowa[] = $slowko."#".$key;
	}
 
}
 
$ile = array_count_values($scalone_slowa); 
 
echo '<pre>';
ksort($ile);
print_r($ile);
echo '</pre>';
 
 
 
[PHP] pobierz, plaintext 

zwracaną masz tablice: słowo#numer_zdania => ilosc_wystapien
obrób sobie w sposób jaki tam sobie potrzebujesz

Szczerze mówiąc,
nie wiem jak z Twojego kodu wybrać tylko te potrzebne zdania,
ale z pomocą tego kodu, rozwiązałem zagadkę

Tutaj robisz coś fajnego, ja zrobiłem to na swój sposób.
Jeżeli miałbyś czas dokończyć to super.

Podsumowując dziękuje za prezent Mikołajkowy

[PHP] pobierz, plaintext 
<?php
 
$tekst = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych..";
// Czysc
$tekst = strip_tags($tekst);
 
// Wyjatki
$szukaj = array('np.','....','...','..',','); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
 
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);
 
// Zdania
$zdania = explode('.', $tekst_wyjatki);
 
// Slowa
$slowa = array();
$scalone_slowa = array();
 
 
foreach($zdania as $key => $zdanie) {
 
	$slowa[$key] = explode(' ', trim($zdanie));
 
	foreach($slowa[$key] as $slowko )
	{
		$slowko = mb_strtolower($slowko,'UTF-8');
		if (strlen($slowko) > 5) 
		{	
			$wszystkie_slowa[] = $slowko;
			if( !in_array($key, (array) $gdzie[$slowko] ) ) $gdzie[$slowko][] = $key; // tablica z numerami kazdego zdania
		}
	}
}
 
$ile = array_count_values($wszystkie_slowa); // ilosc wystapien kazdego slowka
arsort($ile);
 
$minimalna_ilosc_wystapien = 4; // ile wystapien minimum danego slowka
$wybrane_zdania = array();
foreach($ile as $slowo => $ilosc )
{
	if( $ilosc < $minimalna_ilosc_wystapien ) break;
	$wybrane_zdania = array_merge($gdzie[$slowo], $wybrane_zdania);
}
$wybrane_zdania = array_unique($wybrane_zdania); 
echo '<pre>';
 
print_r($ile); // ktore slowko ile razy wystapilo
print_r($gdzie); // ktore slowko w ktorym zdaniu wystapilo
print_r($wybrane_zdania); // zdania ktore zawieraja slowka z iloscia w calym tekscie nie mniejsza niz $minimalna_ilosc_wystapien
 
asort($wybrane_zdania);
foreach($wybrane_zdania as $id)
{
	echo $zdania[$id].PHP_EOL;
}
echo '</pre>';
 
[PHP] pobierz, plaintext 

zmodyfikuj sobie jak uwazasz, usun co zbedne, dodaj co potrzebne
z tego co napisales chcialbys wybrac zdania z iloscia tych wybranych slow jak najwieksza
w takim razie musisz uzyc substr_count jakeis pętle na każdym zdaniu i zsumować wystąpienia tych słow w kazdym zdaniu i potem wybrac
wówczas musisz zmodyfikowac następującą pętlę:

[PHP] pobierz, plaintext 
foreach($ile as $slowo => $ilosc )
{
	if( $ilosc < $minimalna_ilosc_wystapien ) break;
	$wybrane_zdania = array_merge($gdzie[$slowo], $wybrane_zdania);
}
[PHP] pobierz, plaintext 

Chyba zakumałem Twój kod.

To jednak było za wcześnie
//$wybrane_zdania = array_unique($wybrane_zdania);

//asort($wybrane_zdania);

ponieważ nie wyświetlało wyniku w oczekiwanej kolejności,
ustaliłem więc priorytety i teraz działa na 100%

[PHP] pobierz, plaintext 
// Priorytetowe zdania - tworzenie algorytmu
$klucze = array_keys($ile); 
$slowo_one = $klucze[0]; // priorytetowe pierwsze slowo
$slowo_two = $klucze[1];
$slowo_three = $klucze[2];
 
$priorytetowe_zdania = array();
 
foreach($wybrane_zdania as $id) {
   $zdanie = $zdania[$id].PHP_EOL;
 
   // Ustalenie priorytetu - pierwsze slowo (najwieksza liczba wystapien)
   $priorytet_one = preg_match_all("/$slowo_one/i", $zdanie, $wyjscie);
   $priorytet_two = preg_match_all("/$slowo_two/i", $zdanie, $wyjscie);
   $priorytet_three = preg_match_all("/$slowo_three/i", $zdanie, $wyjscie);
 
   $priorytet_razem = $priorytet_one + $priorytet_two + $priorytet_three;
 
   $ile_razem = $priorytet_razem.'#'.$id;
 
   $priorytetowe_zdania[$ile_razem] = trim($zdanie).'. ';
}
 
// Usun dupliaty wartosci
$priorytetowe_zdania = array_unique($priorytetowe_zdania);
 
// Sortowanie
krsort($priorytetowe_zdania);
 
// Wynik dzialania
$ile_zdan = 3; // Maksymalna liczba zdan
 
foreach($priorytetowe_zdania as $id) {
  $i ++;
  if ($i <= $ile_zdan) $wynik .= $id;
}
 
echo '<p>'.$wynik.'</p>';
[PHP] pobierz, plaintext 

zawsze są jednak jakieś wyjątki,
jest jeszcze jeden problem

// Wyjatki
$szukaj = array('np.','....','...','..',','); // mozna inaczej, powstaja bledy ?
$zastap = array('np','','','');
$tekst_wyjatki = str_replace($szukaj, $zastap, $tekst);

Pomysł na wyjątki?

Coś w rodzaju jeśli więcej niż jedna kropka ciąg = ''
i dla skrótów jeśli np. długość słowa przed kropką <= 3 znaki.

Możesz przyjąć, że granica zdań jest tam, gdzie występuje wzorzec:

i użyć wyrażeń regularnych do rozbijania tekstu. Przykład 2 pokazuje, że rozwiązanie nie jest idealne

[PHP] pobierz, plaintext 
<pre>
<?php
 
$example1 = "Mądrość w najwęższym znaczeniu to umiejętność podejmowania uzasadnionych decyzji, które w dłuższej perspektywie przynoszą pozytywne rezultaty. W innym ujęciu można powiedzieć, że mądrość to umiejętność praktycznego wykorzystywania posiadanej wiedzy i doświadczenia. W tym sensie można np. mówić o mądrości nauczyciela, który wykorzystując swoją wiedzę pedagogiczną radzi sobie z kształceniem niesfornego ucznia, czy mądrości szefa, który w oparciu o posiadaną wiedzę fachową i praktyczną znajomość stosunków międzyludzkich skutecznie zarządza wieloosobowym personelem. W głębszym sensie, często stosowanym w różnych religiach, mądrość oznacza zdolność do działania nacechowanego głębokim, emocjonalnym zaangażowaniem, zwiększającego w długiej perspektywie czasowej nie tylko dobro własne, ale też dobro ogólne. W tym sensie używa się tego terminu w takich zwrotach jak np. mądrość życiowa, czy mądrość rodzicielska. W obu tych znaczeniach mądrość wymaga nie tylko samej wiedzy, lecz także szeregu predyspozycji psychicznych, ale też duchowych i etycznych..";
$example2 = "Skrótowce wykazują często właściwości odmienne od reszty słownictwa; wiele z nich ma na przykład akcent oksytoniczny (akcent końcowy, na ostatniej sylabie), np. AWS (Akcja Wyborcza Solidarność) [wymowa: awues], BBC (British Broadcasting Corporation) [wymowa: bibis-i].";
$example3 = "Test zdań konczących się polską literą. Jakieś zdanie. Żdanie z polską literą na początku.";
 
 
$pattern = "~(?<=\p{Ll}\.)\s+(?=\p{Lu})~u";
 
print_r( preg_split( $pattern, $example1 ) );
print_r( preg_split( $pattern, $example2 ) );
print_r( preg_split( $pattern, $example3 ) );
 
?>
</pre>
[PHP] pobierz, plaintext 

PS. Wyrażenie działa dla tekstu zakodowanego w UTF-8. Jeśli z jakiegoś powodu używasz kodowania iso/windows, to zamień \p{Ll} i \p{Lu} odpowiednio na [a-zążśźęćńół] i [A-ZĄŻŚŹĘĆŃÓŁ] i wywal modyfikator u

Tym sposobem mogłoby być i lepiej,
ale narazie przekłamuje.

Wyniki, zliczone słowa

// str_replace
[mądrość] => 6
[sensie] => 3
[wiedzy] => 2
[perspektywie] => 2
[wiedzę] => 2
[mądrości] => 2
[można] => 2
[który] => 2
[umiejętność] => 2

// pattern - preg_split ?
[mądrość] => 6
[można] => 2
[mądrości] => 2
[wiedzę] => 2
[perspektywie] => 2
[który] => 2
[sensie] => 2
[umiejętność] => 2

Dlaczego z użyciem pattern przekłamuje,
ponieważ bez str_replace np. wyraz 'sensie' występuje też z przecinkiem [sensie,] => 1
i wiele innych wyrazów podobnie.
Wyrażenie nie usuwa przecinka i innych znaków znajdujących się przed, za wyrazem.

Musiałoby być tutaj inne wyrażenie?

Jeśli potrzebujesz tylko usunąć przecinki na końcach wyrazów, to robisz:

[PHP] pobierz, plaintext 
$slowko = trim( $slowko, "," );
[PHP] pobierz, plaintext 

ale polecam oczyścić słowa ze wszelkiego śmiecia, które znajduje się na początku/końcu (nawiasy, przecinki, cyfry, dwukropki, itp.)

[PHP] pobierz, plaintext 
// Usuwa wszystko co nie jest literą z początku i końca wyrazu
$slowko = preg_replace( "~^[^\pL]+~u", "", $slowko );
$slowko = preg_replace( "~[^\pL]+$~u", "", $slowko );
[PHP] pobierz, plaintext 

Teraz skrypt powinien spełniać twoje oczekiwania, ale nadal nie poradzi sobie ze wszystkimi przypadkami. Język polski nie jest językiem regularnym, więc nie da się go ogarnąć wyrażeniami regularnymi.

Teraz bez kombnacji jest oczekiwany wynik.
I to mi się podoba
Może nie jest idealnie, ale jest bardzo dobrze.
Dzięki