Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: [PHP][MYSQL]Geometryczny wzrost transferu w stosunku do wielkości bazy
Forum PHP.pl > Forum > Przedszkole
majestiq
29.05.2008, 11:20:31
Witam,

Mam baze która 'waży' 1MB (około 4 000 rekordów) i generuje transfer 1-2 GB dziennie, gdy przełącze baze na drugą (identyczna struktura), z tym że o większym rozmiarza - 5MB (około 23 000 rekordów) transfer skacze do nieprawdopodobnego poziomu około 80GB na dobę !

Co może być przyczyną takiego stanu rzeczy ?
nospor
29.05.2008, 11:32:09
Pobierasz liczbę rekordow poprzez pobranie ich wszystkich i zliczenie ile ich jest. powinienes uzyc count() smile.gif
To tylko przyklad.

edit: kolejny przyklad:
Nie uzywasz stronicowania tylko wyswietlasz na stronie wszystkie dane z tabeli. I juz masz swoj przyrost transferu
majestiq
29.05.2008, 12:03:47
Użuwam count.
Mógłbyś rzucić okiem na ten kod:

[PHP] pobierz, plaintext 
  1. <?php
  2. if($_GET['id'] == 'szukaj') {
  3. echo '<div id="bg">
  4. 	<div id="page">
  5. 			<div id="content" style="overflow:hidden;">'; //style="border: 1px solid #000; height:2000px;"
  6.  
  7. if( $_POST['wykonawca'] )
  8. $wykonawca=$_POST['wykonawca'];
  9. else if( $_GET['wykonawca'] )
  10. $wykonawca=$_GET['wykonawca'];
  11.  
  12. //$czas1=microtime();
  13. if( $_POST['wykonawca'] ) {
  14.  
  15. $dodaj = mysql_query("INSERT INTO `szukark` ( `id` , `nazwa` ) VALUES ( '', '$wykonawca' );");  
  16. }
  17.  
  18. $sql = 'SELECT id,tytul,rozmiar,licznik,dlugosc FROM `'.$tabelka.'` WHERE `tytul` LIKE '%'.$wykonawca.'%' ORDER by tytul LIMIT 50 ';
  19. //$czas2=microtime(); 
  20. //$czas=$czas2-$czas1; 
  21.  //echo $czas;
  22.  
  23. $result123 = mysql_query($sql);
  24.  
  25.  
  26. $rekordow = mysql_num_rows($result123); 
  27. $rek = '';
  28. if($rekordow == 50) { $rek = '<span style="line-height:10px; margin-top:10px; color:#ff0000;"> (ograniczenie)</span>';  }
  29.  
  30. echo '	<span style="margin-top:7px; float: left;"><br />Szukana fraza: <b>'.$wykonawca.'</b> // znaleziono '.$rekordow.' rekordĂłw'.$rek.'</span>';
  31.  
  32.  
  33.  
  34. 		if(mysql_num_rows($result123) > 0) {		
  35.  
  36.  
  37. 		while($row123 = mysql_fetch_assoc($result123))
  38. 		{
  39. $rowaqwe = tytul($row123['tytul']);
  40.  
  41.  if ($row123['dlugosc'] == '') {
  42. $zmexpl = $row123['rozmiar'];
  43. $expl = explode('|', $zmexpl);
  44. //echo $expl[1].' - '.$expl[0]; 
  45.  
  46. $expl[0] = str_replace("<b>", "",$expl[0]);
  47. $expl[0] = str_replace("</b>", "",$expl[0]);
  48.  
  49.  
  50.  
  51. echo '
  52. <div class="result" >
  53. <br /><a title="'.$row123['tytul'].'" class="title" style="font-weight: bold;" href="mp3,'.$row123['id'].','.$rowaqwe.'.html">'.$row123['tytul'].'</a><br>
  54. <b>Rozmiar</b>: '.$expl[1].' . <b>Czas</b>: '.$expl[0].' . <b>Pobrano</b>: '.$row123['licznik'].' 
  55. 		</div> 
  56. '; 
  57.  
  58. }
  59.  
  60.  
  61.  
  62.  
  63. else {
  64.  
  65.  
  66. //print_r ($row123);
  67. echo '
  68. <div class="result" >
  69. <br /><a title="'.$row123['tytul'].'" class="title" style="font-weight: bold;" href="mp3,'.$row123['id'].','.$rowaqwe.'.html">'.$row123['tytul'].'</a><br>
  70. <b>Rozmiar</b>: '.$row123['rozmiar'].' . <b>Czas</b>: '.$row123['dlugosc'].' . <b>Pobrano</b>: '.$row123['licznik'].' 
  71. 		</div> 
  72. '; 
  73. 	}
  74.  
  75.  
  76.  
  77.  
  78.    }
  79. 		 
  80.  
  81.  
  82. 	if(mysql_num_rows($result123) < 8) { echo '<div style="height:500px;"></div>';}
  83. ?>
[PHP] pobierz, plaintext


Można by tutaj coś poprawić questionmark.gif
To jest jakaś masakra z tym transferem, jakby każde zapytanie do bazy pobierało za każdym razem całą baze ...
nospor
29.05.2008, 12:18:31
W tym kodzie nie widze nie niepokojącego, nie licząc tych cudnych nazw zmiennych winksmiley.jpg
scanner
29.05.2008, 12:42:27
Taki transfer na pewno jest generowany w zupełnie innym fragmencie kodu, niż nam pokazałeś. Czy ty przypadkiem nie trzymasz w bazie jakiś obrazków czy czegoś podobnego?
guitarnet.pl
29.05.2008, 13:10:06
nospor ma racje, uzywaj COUNT a ty nie uzywasz, zamiast tego generujesz transfer przez mysql_num_rows()

poczytaj
http://skrypta.pl/porada/dlaczego_unikac_f...sql_num_rows/43

ta funkcja przesyla po raz kolejny wszystkie rekordy i je zlicza a tobie potrzbena jest tylko jedna liczba - ilosc rekordow zatem uzyj mysql'owego COUNT(*) i wykonaj dodatkowe zapytanie ktore zwroci tylko jeden rekord - liczbe rekordow

najlepiej to w ogole nie wysylac zapytania (chyba ze z jakis powodow musisz) i sprawdzac czy inkrementowana zmienna np $ilosc_rekordow jest wieksza niz 8, inkrementuj ja przy kazdym wyswietleniu rekordu z tabeli, tym sposobe uzyskasz ilosc rekordow

twoj transfer generuje sie pewnie przez ta funkcje mysql_num_rows ktora powoduje ze kazdy zestaw rekordow przesylany jest dwukrotnie do skryptu - ale nie widze reszty kodu wiec porblemow moze byc wiecej
majestiq
29.05.2008, 13:19:23
W bazie nie mam żadnych obrazków ani nic w tym klimacie.
Schemat głównej tabeli wygląda tak:

id int(7)
tytul varchar(50)
dlugosc varchar(30)
link varchar(200)
data date
czas varchar(20)
rozmiar varchar(30)
licznik int(10)

Skoro w tamtym pliku nie ma nic podejrzanego to może w pliku header.php dołączanym do większosći plików.
Kod trochę robiony na chłopski rozum przez to przydługi (głównie z powodu przełączania się na 2 baze w wypadku problemów z podstawową), no ale tyko tak umiałem :/

[PHP] pobierz, plaintext 
  1. <?php
  2.  
  3. error_reporting(E_ALL ^ E_WARNING ^ E_NOTICE );
  4.  
  5.  
  6. session_start();
  7. function data()
  8. {
  9. $data= date ('w'); // dzien tygodnia liczbowo
  10. $rok= date ('Y'); // rok
  11. $godzina= date ('H:i'); // godzina
  12. $dzien = date ('d'); // dni
  13. $miech = date ('n'); // miesiac
  14. $data = $godzina.' '.$dzien.'-'.$miech.'-'.$rok;
  15. return $data;
  16. }
  17. function cgs()
  18. {
  19. $czas = explode(" ", microtime());
  20. $a = (double)$czas[0];
  21. $b = (double)$czas[1];
  22. return $a + $b;
  23. }
  24. $start = cgs();
  25. $data=data();
  26.  
  27. $db_danee["hostname"] = "xxxxxl";  // nasz host, najczęsciej jest to localhost
  28. $db_danee["user"] = "xxxxx"; // nasz login do bazy
  29. $db_danee["password"] = "xxxxx; // nasze hasło do bazy
  30. $db_danee["db"] = "xxxxx"; // nazwa naszej bazy danychh
  31.  
  32. $connection = mysql_connect($db_danee['hostname'], $db_danee['user'], $db_danee['password']);
  33. @mysql_select_db($db_danee['db']);
  34. $sqltest="SELECT * FROM `mp3` LIMIT 1"; 
  35. $res = mysql_query ($sqltest); 
  36. $res = mysql_fetch_array ($res);
  37. //echo '1';
  38. //print_r ($res);
  39.  
  40. //echo $res[1];
  41.  
  42. if ($res != 0)  {
  43.  
  44.  
  45.  
  46. require_once('conf.php');
  47. require_once('funkcje.php');
  48. polaczenie();
  49.  
  50.  
  51. // wyœwietlasz stronę
  52.  
  53. //require_once('Pager.class.php');
  54. $result = mysql_query("SELECT * FROM $tabelka ");	
  55. $razem = mysql_num_rows($result); 
  56. $sql12="SELECT * FROM `$tabelka` WHERE id = '$down'"; 
  57. $result12 = mysql_query ($sql12) 
  58.  or die ("bład zapytania select"); 
  59. $row12 = mysql_fetch_array ($result12);
  60. if (isset($_GET['down']) && $_GET['down'] == $row12['id'] && $_GET['download'] == $row12['id'])
  61. {
  62.  
  63. $query = "SELECT * FROM mp3 WHERE id = '$download';"; // tutaj wybieramy "plik" z tabeli który został podany w nagłówku warunek.
  64. $wynik = mysql_query ($query); // wykonanie powyższej linii
  65.  $dane = mysql_fetch_array ($wynik);
  66.  $licznik = $dane[licznik];
  67.  $url = $dane[link];
  68. // Przypisanie rekordów do zmiennych.
  69. header("location: $url"); // Œcišga plik z podanego URL.
  70. $query = "UPDATE mp3 SET licznik = licznik+1 WHERE id='$download';"; // zlicza œcišgnięcia
  71. $wynik = mysql_query ($query); // wykonuje powyższa linijkę kodu
  72. return $licznik+1;  
  73. }
  74. echo '
  75. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
  76. <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
  77. <head>';
  78. $sql12="SELECT * FROM `$tabelka` WHERE id = '$id' "; 
  79. $result12 = mysql_query ($sql12) 
  80.  or die ("bład zapytania select"); 
  81. $row12 = mysql_fetch_array ($result12);
  82. if(isset($_GET['id']) && $_GET['id'] == $row12['id']) {
  83. echo '
  84. <title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
  85. <meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
  86. <meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
  87. ';	
  88. }
  89. $sql12="SELECT * FROM `$tabelka` WHERE id = '$down' "; 
  90. $result12 = mysql_query ($sql12) 
  91.  or die ("bład zapytania select"); 
  92. $row12 = mysql_fetch_array ($result12);
  93. if(isset($_GET['down']) && $_GET['down'] == $row12['id']) {
  94. echo '
  95. <title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
  96. <meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
  97. <meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
  98. ';	
  99. }
  100.  
  101. if($_GET['id'] == 'szukaj') {
  102. $wykonawca=$_POST['wykonawca'];
  103. echo '
  104. <title>'.$wykonawca.' - '.$tytul_strony.'</title>
  105. <meta name="description" content="'.$wykonawca.' - '.$desc.'">
  106. <meta name="keywords" content="'.$wykonawca.' - '.$keywords.'">
  107. ';	
  108.  
  109. }
  110. elseif($_GET['id'] == '' && $_GET['id'] == '' && $_GET['down'] == '') { 
  111. echo '
  112. <title>'.$tytul_strony.'</title>
  113. <meta name="description" content="'.$desc.'">
  114. <meta name="keywords" content="'.$keywords.'">
  115. ';
  116. }
  117. echo '
  118. <meta http-equiv=Content-Type content="text/html; charset=UTF-8">
  119. <meta name="robots" content="index, follow">
  120. <meta name="language" content="pl">
  121. <meta name="revisit-after" content="1 day">
  122. <link href="screen.css" rel="stylesheet" type="text/css" media="screen" />
  123. <link rel="shortcut icon" href="favicon.ico">
  124.  
  125. </head>
  126. <body>';
  127. require_once('Pager.class.php');
  128.  
  129. }
  130. else {
  131.  
  132.  
  133. require_once('conf2.php');
  134. require_once('funkcje2.php');
  135. polaczenie();
  136.  
  137. $connection = @mysql_connect($db_dane['hostname'], $db_dane['user'], $db_dane['password']);
  138. // wyœwietlasz stronę
  139.  
  140. //require_once('Pager.class.php');
  141. $result = mysql_query("SELECT * FROM $tabelka ");	
  142. $razem = mysql_num_rows($result); 
  143. $sql12="SELECT * FROM `$tabelka` WHERE id = '$down'"; 
  144. $result12 = mysql_query ($sql12) 
  145.  or die ("bład zapytania select"); 
  146. $row12 = mysql_fetch_array ($result12);
  147. if (isset($_GET['down']) && $_GET['down'] == $row12['id'] && $_GET['download'] == $row12['id'])
  148. {
  149.  
  150. $query = "SELECT * FROM mp3 WHERE id = '$download';"; // tutaj wybieramy "plik" z tabeli który został podany w nagłówku warunek.
  151. $wynik = mysql_query ($query); // wykonanie powyższej linii
  152.  $dane = mysql_fetch_array ($wynik);
  153.  $licznik = $dane[licznik];
  154.  $url = $dane[link];
  155. // Przypisanie rekordów do zmiennych.
  156. header("location: $url"); // Œcišga plik z podanego URL.
  157. $query = "UPDATE mp3 SET licznik = licznik+1 WHERE id='$download';"; // zlicza œcišgnięcia
  158. $wynik = mysql_query ($query); // wykonuje powyższa linijkę kodu
  159. return $licznik+1;  
  160. }
  161. echo '
  162. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
  163. <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
  164. <head>';
  165. $sql12="SELECT * FROM `$tabelka` WHERE id = '$id' "; 
  166. $result12 = mysql_query ($sql12) 
  167.  or die ("bład zapytania select"); 
  168. $row12 = mysql_fetch_array ($result12);
  169. if(isset($_GET['id']) && $_GET['id'] == $row12['id']) {
  170. echo '
  171. <title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
  172. <meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
  173. <meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
  174. ';	
  175. }
  176. $sql12="SELECT * FROM `$tabelka` WHERE id = '$down' "; 
  177. $result12 = mysql_query ($sql12) 
  178.  or die ("bład zapytania select"); 
  179. $row12 = mysql_fetch_array ($result12);
  180. if(isset($_GET['down']) && $_GET['down'] == $row12['id']) {
  181. echo '
  182. <title>'.$row12['tytul'].' - '.$tytul_strony.'</title>
  183. <meta name="description" content="'.$row12['tytul'].' - '.$desc.'">
  184. <meta name="keywords" content="'.$row12['tytul'].' - '.$keywords.'">
  185. ';	
  186. }
  187.  
  188. if($_GET['id'] == 'szukaj') {
  189. $wykonawca=$_POST['wykonawca'];
  190. echo '
  191. <title>'.$wykonawca.' - '.$tytul_strony.'</title>
  192. <meta name="description" content="'.$wykonawca.' - '.$desc.'">
  193. <meta name="keywords" content="'.$wykonawca.' - '.$keywords.'">
  194. ';	
  195.  
  196. }
  197. elseif($_GET['id'] == '' && $_GET['id'] == '' && $_GET['down'] == '') { 
  198. echo '
  199. <title>'.$tytul_strony.'</title>
  200. <meta name="description" content="'.$desc.'">
  201. <meta name="keywords" content="'.$keywords.'">
  202. ';
  203. }
  204. echo '
  205. <meta http-equiv=Content-Type content="text/html; charset=UTF-8">
  206. <meta name="robots" content="index, follow">
  207. <meta name="language" content="pl">
  208. <meta name="revisit-after" content="1 day">
  209. <link href="screen.css" rel="stylesheet" type="text/css" media="screen" />
  210. <link rel="shortcut icon" href="favicon.ico">
  211.  
  212. </head>
  213. <body>';
  214. require_once('Pager.class.php);
  215. }
  216. ?>
[PHP] pobierz, plaintext
nospor
29.05.2008, 13:22:29
$result = mysql_query("SELECT * FROM $tabelka ");
$razem = mysql_num_rows($result);

Przeciez tu pobierasz wszystkie dane. A mowiles ze uzywasz COUNT...
sniezny_wilk
29.05.2008, 13:23:27
a co to i po co ?:

[PHP] pobierz, plaintext 
  1. <?php
  2. $result = mysql_query("SELECT * FROM $tabelka ");
  3. ?>
[PHP] pobierz, plaintext


EDIT: @nospor, byłeś szybszy smile.gif
majestiq
29.05.2008, 13:34:01
Do guitarnet.pl
Dopiero przeczytałem Twojego posta.
Spróbuje się zastosować do Twoich porad, tylko pewnie zajmie mi to (z moim doświadczeniem) trochę czasu :/

P.S. Jak myślisz ile w ten sposób mogę zaoszczędzić jeśli chodzi o transfer ?
Pewnie w 2 fragmenice wypadałoby zrobić analogiczne poprawki.

Cytat(nospor @ 29.05.2008, 14:22:29 ) *
$result = mysql_query("SELECT * FROM $tabelka ");
$razem = mysql_num_rows($result);

Przeciez tu pobierasz wszystkie dane. A mowiles ze uzywasz COUNT...


Heh, no tu rzeczywiście chyba chodziło tylko o liczbę rekordów.

No to ciekawe, czy to tutaj jest pies pogrzebany i czy to przez to generuje mi taki kosmiczny transfer.
Chciałbym, żeby tak było, ale coś czuje że jeszcze gdzieś może być coś nie tak.

Zobaczymy czy mi tym razem (wyjątkowo) nie zablokują konta w netarcie za przekroczenie limitu transferu :-)

Dzięki wielkie za pomoc wszystkim exclamation.gif!
guitarnet.pl
31.05.2008, 12:59:18
ciezko powiedziec ile zaoszczedzisz ale na pewno znaczaco zoptymalizujesz
sprobuj tez stale polaczenie do bazy, dodatkowo ob_start i funkcje do usuwania bialych znakow z bufora, \t \n \r wielokrotne spacje itp to naprawde sporo tnie transfer

w tym kodzie nie widac innych generujacych transfer problemow, zastanow sie tez czy nie warto przechowywac w pliku php wyniku COUNT() zamiast wykonywac go z kazda odslona, mozna odswiezac np co 1 godzine jak czesto sie zmienia, ale to bardzie ulzy bazie anizlei pomoze transferowi

moze inni maja wiecej pomyslow bo moich byloby na tyle smile.gif
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.