Pomoc - Szukaj - Użytkownicy - Kalendarz
Pełna wersja: Drastyczny wzrost wysycenia procesora
Forum PHP.pl > Forum > Serwery WWW
sylwekb
Witam, dziś mój dostawca hostingu zgłosił mi drastyczne wysycenie procesora przez forum, nigdy nic takiego nie miało miejsca, jeśli dobrze diagnozuję to wysycenia to powodują głównie roboty. Czy można się jakoś przed tym zabezpieczyć nie znikając jednocześnie z wyszukiwarek. Jakie wpisy w pliku htaccess powinienem zrobić?

Poniżej zrzut logu.

Cytat
Log z dnia: 2011.11.29
------------------------
Wywolan: 28339
Czas procesora: 3962624 ms (srednio 139 ms na wywolanie)
Obciazenie referencyjne: 7.15%
Obciazenie przez roboty indeksujace: 2885599 ms (72.8%) 5.21% ref.
-----Obciazenie w zaleznosci od typu wywolania-----
GET 3948924 99.7% - 7.12% ref. (Wywolan 28177 , srednio 140 ms, maksymalne 4781 ms )
POST 13599 0.343% - 0.02% ref. (Wywolan 159 , srednio 85 ms, maksymalne 920 ms )
HEAD 101 0.00255% - 0.00% ref. (Wywolan 3 , srednio 33 ms, maksymalne 59 ms )

-----Obciazenie w zaleznosci od robota indeksujacego-----
Googlebot 2646769 66.8% - 4.78% ref. (Wywolan 6922 , srednio 382 ms)
bingbot 212854 5.37% - 0.38% ref. (Wywolan 550 , srednio 387 ms)
MJ12bot 25926 0.654% - 0.05% ref. (Wywolan 301 , srednio 86 ms)
YandexBot 50 0.00126% - 0.00% ref. (Wywolan 6 , srednio 8 ms)

-----Obciazenie w zaleznosci od kodu zwroconego przez wywolanie-----
200 3920686 98.9% - 7.07% ref. (Wywolan 24573 , srednio 159 ms, maksymalne 4781 ms )
404 19608 0.495% - 0.04% ref. (Wywolan 2251 , srednio 8 ms, maksymalne 367 ms )
302 10743 0.271% - 0.02% ref. (Wywolan 384 , srednio 27 ms, maksymalne 106 ms )
304 6521 0.165% - 0.01% ref. (Wywolan 1057 , srednio 6 ms, maksymalne 21 ms )
303 3101 0.0783% - 0.01% ref. (Wywolan 27 , srednio 114 ms, maksymalne 230 ms )
500 1638 0.0413% - 0.00% ref. (Wywolan 17 , srednio 96 ms, maksymalne 107 ms )
206 264 0.00666% - 0.00% ref. (Wywolan 27 , srednio 9 ms, maksymalne 21 ms )
301 63 0.00159% - 0.00% ref. (Wywolan 3 , srednio 21 ms, maksymalne 21 ms )

-----Obciazenie w zaleznosci od adresu IP-----
66.249.66.129 2038652 51.4% - 3.68% ref. (Wywolan 5274 , srednio 386 ms, maksymalne 2453 ms )
66.249.72.17 575299 14.5% - 1.04% ref. (Wywolan 1536 , srednio 374 ms, maksymalne 2407 ms )
213.134.163.138 96000 2.42% - 0.17% ref. (Wywolan 379 , srednio 253 ms, maksymalne 1720 ms )
46.134.35.32 51355 1.3% - 0.09% ref. (Wywolan 344 , srednio 149 ms, maksymalne 1632 ms )
89.77.58.74 30633 0.773% - 0.06% ref. (Wywolan 113 , srednio 271 ms, maksymalne 1941 ms )
207.46.204.181 30598 0.772% - 0.06% ref. (Wywolan 58 , srednio 527 ms, maksymalne 2043 ms )
109.197.170.4 30193 0.762% - 0.05% ref. (Wywolan 115 , srednio 262 ms, maksymalne 1820 ms )
178.73.33.69 29750 0.751% - 0.05% ref. (Wywolan 45 , srednio 661 ms, maksymalne 1691 ms )
66.249.66.184 25397 0.641% - 0.05% ref. (Wywolan 83 , srednio 305 ms, maksymalne 1835 ms )
173.242.125.206 24987 0.631% - 0.05% ref. (Wywolan 294 , srednio 84 ms, maksymalne 3562 ms )
207.46.13.157 24639 0.622% - 0.04% ref. (Wywolan 64 , srednio 384 ms, maksymalne 2093 ms )
207.46.13.160 23626 0.596% - 0.04% ref. (Wywolan 54 , srednio 437 ms, maksymalne 2012 ms )
207.46.199.55 23566 0.595% - 0.04% ref. (Wywolan 68 , srednio 346 ms, maksymalne 1346 ms )
207.46.13.143 23181 0.585% - 0.04% ref. (Wywolan 59 , srednio 392 ms, maksymalne 2156 ms )
65.52.108.68 22263 0.562% - 0.04% ref. (Wywolan 43 , srednio 517 ms, maksymalne 1911 ms )
207.46.199.35 19558 0.494% - 0.04% ref. (Wywolan 55 , srednio 355 ms, maksymalne 1981 ms )
83.7.132.23 18400 0.464% - 0.03% ref. (Wywolan 50 , srednio 368 ms, maksymalne 1745 ms )
208.115.111.67 18390 0.464% - 0.03% ref. (Wywolan 56 , srednio 328 ms, maksymalne 1251 ms )
178.42.94.179 17612 0.444% - 0.03% ref. (Wywolan 202 , srednio 87 ms, maksymalne 1367 ms )
194.54.189.202 17209 0.434% - 0.03% ref. (Wywolan 207 , srednio 83 ms, maksymalne 620 ms )

-----Obciazenie w zaleznosci od skryptu (wywolania zawierajace parametry)-----
/forum/view.php 2007938 50.7% 3.62% (Wywolan 7064 , srednio 284 ms, maksymalne 2453 ms )
/forum/list.php 1310234 33.1% 2.36% (Wywolan 3049 , srednio 429 ms, maksymalne 1411 ms )
/forum/index.php


Zamieściłem w kodzie strony
  1. printf ("<meta name=\"robots\" content=\"nofollow\"/>\n");

zobaczymy czy ten meta trochę ograniczy odwiedzanie robotów i co za tym idzie wysycenie CPU przy jednoczesnym pozostaniu strony głównej w wyszukiwarce Google.
by_ikar
Pytanie, jaki to jest hosting oraz jaki to jest skrypt forum ?
sylwekb
Hosting KEI Luna II 60 GB powierzchni, 300 GB transferu , wykupione 15 % procesora, zwykle było koło 10%, wczoraj skoczyło do 19,50% czyli znacznie powyżej limitu zobaczymy dziś po północy, forum W-AGORA http://www.w-agora.com/en/index.php wszystkie aktualizacje wrzuciłem, dziś zadałem pytanie na ich forum ale na razie brak odpowiedzi.
Dziś wrzuciłem aby nie indeksowało robotami wgłąb forum bo do tej pory wszystkie roboty rzeźbiły i nie było problemu.
by_ikar
Poszukaj informacji o swoim hostingu na tym forum: http://www.webhostingtalk.pl/ ewentualnie tam się zapytaj. Nie zawsze jest tak że skrypt jest mega ciężki, czasami bywa tak że dziwny usługodawca potrafi mocno przesadzać. Tak miałem kiedyś na prohost, dopiero co kupiłem serwer, wrzuciłem pliki, nawet ich nie odpalałem, w większości to były statyczne pliki, mimo to na drugi dzień zajrzałem do panelu prohost, a tam wykorzystanie serwer 900% biggrin.gif
sylwekb
Wcześniej zadałem tam pytanie ale do chwili obecnej bez odpowiedzi.
Hekko
by_ikar, dlaczego uważasz, że usługodawcy przesadzają? Przecież to automat parsuje te wyniki..
sylwekb, jeśli wzrósł Ci ruch tego dnia, to może tak być. Większy ruch = większe użycie CPU. Porównaj statystyki z wcześniejszymi dniami.
sylwekb
Jak widać na zrzucie logu jeśli dobrze go czytam to większość odwiedzin to różne boty, na razie ograniczyłem aby nie indeksowało forum wgłąb nofollow, zobaczymy dziś po 24 czy się poprawi.

Nie wiem co jest grane po godz. 24
IO DB - 42.84 % wczoraj był 18,83 %
CPU DB - 5.16 %
CPU VIRT - 41.33 % wczoraj 19.50 %
IO VIRT - 11.05 %

Dziś trochę spada ale jeszcze jest o wiele powyżej limitu szczególnie martwi mnie to bardzo duże wysycenie procesora

IO DB 19.94 % wczoraj było 42.84 %

CPU VIRT 34.61 % wczoraj było 41.33 %



Dodatkowo wstawienie do pliku robots.txt poniższego wpisu u mnie obniża dziennie wysycenie CPU o około 5% oraz obniżenie transferu. Mam nadzieję, że w końcu uda mi się dojść do ładu z za dużym wysyceniem procesora.
User-agent: *
Crawl-delay: 120
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.
Invision Power Board © 2001-2025 Invision Power Services, Inc.