Siema,

zapraszam do testowania i korzystania z nowego projektu:

http://webthumbnail.org

Jest to generator miniaturek stron internetowych, oto co aktualnie potrafi:

- proste w uzyciu api do osadzania miniaturek na stronach
- zrzuty ekranu od 50x50 do 2048x4096 pikseli
- trzy prawdziwe przegladarki: firefox, chrome, opera
- trzy formaty danych: png, jpg, gif
- renderuje flasha i html5
- serwer jest w stanie serwować nawet 500 gotowych miniaturek na sekunde
- infrastruktura jest w pełni skalowalna

Jak to działa?
Dodajesz adres url strony, serwer wrzuca ten adres do kolejki. Z drugiej strony jest chmura robotów, które pobierają dane z kolejki i tworzą zrzuty ekranu, które później znów lądują na serwerze www.
Infrastruktura nadaje się do zastosowań produkcyjnych i dużych serwisów www, w testach osiąga 500 requestów na sekunde z jednej maszyny, a ilość robotów może zostać zwiększona w miare potrzeb.

Technologia:
- Java (api, roboty)
- PHP (frontend, backend)
- PostgreSQL (baza)
- Bash, Python, ImageMagick, itd...
- FreeBSD (główny serwer)
- Linux, OpenVZ (roboty)

Jeżeli coś nie działa to piszcie, z góry dzięki za wszelkie komentarze!

(projekt jest w fazie Beta)

Wyłacz wyświetlanie błędów (mięsny jeż )

Działa super, jedyne, co mi się nie podoba, to propozycja przetłumaczenia w Chrom'ie.
Jedna z testowanych przeze mnie stron nie wyświetlała się poprawnie (małe błędy, ale ostatecznie to chyba wina przeglądarki).
Rozumiem, ze raz zlapany url jest cache'owany. Po jakim czasie to sie czysci?

Nie działa. Spore zainteresowanie jak już jest 500 requestów na sekundę w raptem 2 godziny Obojętnie jakiego adresu bym nie podał, pokazuje się białe tło, a w operze błąd przeglądarki.

Jaki jest cel takiego serwisu?

Load test lecial, no i wykrzaczyl serwer, o ile java wytrzymuje taki ruch o tyle postgres sie "skonczyl"

powinno juz wszystko wrocic do normy...

Niestety. Efekt ten sam.
Nie odpowiedziałeś jaki jest cel serwisu. Planujesz rozbudować to o inne systemy i przeglądarki?

Moglbys wyslac mi link do tego co konkretnie nie dziala? wiedziałbym wtedy jak to poprawic

Co do celu serwisu:

Nie jest to klasyczny genialny starup ktory ma zarobic miliony, serwis powstal w celu nauczenia sie kilku rzeczy, no i ma byc uzyty w kilku nastepnych projektach. Jezeli bedzie zainteresowanie to pewnie pojawi sie opcja platna, zeby zwrocil sie koszt utrzymania serwisu a wiec serwer i maszyny z przeglądarkami.

W czym moze byc lepszy od innych:

1) wynajęcie usługi dla swojego projektu
- przeglądarki działają "w chmurze", można wynająć kilka robotów, dzięki temu można szybko zintegrować usługę ze swoim projektem i mieć pewność ze zrzuty będą wykonane w ciągu maks kilkudziesięciu sekund, bo tyle trwa załadowanie strony

2) ficzery i efekty
- skalowanie, obracanie, znaki wodne, wlasny loader, itp... da sie

3) geolokalizacja
- robot może zostać skonfigurowany do łączenia się z "danego kraju" poprzez proxy, odpada wtedy problem geoblockow itp

4) wsparcie flasha i silverlighta
- roboty są w javie, można to postawić na windowsie i uruchamiać strony wymagające windowsa jak chociażby te które korzystają z silverlighta, czyli chociażby wszędzie tam gdzie jest streaming i drm

5) miniaturki innych mediów
- robot może robić cokolwiek w tym miniaturki zwykłych plików graficznych czy mediów jak filmy itp

6) testy przeglądarek
- da rade odpalać przeglądarki w konkretnych wersjach coś w stylu browserlab

7) skalowalność
- po dopracowaniu, ryzyko tego, że aplikacja się zapcha będzie dość niskie

8) wrappery
- lada dzień pojawi się pierwsza klasa do używania api z poziomu php

Jak będzie zainteresowanie to projekt się rozwinie, jak nie to będzie używany głownie w celach "wewnętrznych"

Teraz działa dobrze, widocznie wcześniej nie wytrzymywało zainteresowania.

Jednak, generowany jest tylko zrzut ekranu danej strony, a nie cała strona, więc porównanie do browserlab jest lekkim nadużyciem ;)
Rozumiem jaka jest idea tego projektu, jednak mam wrażenie że zrobiłeś za duży rozrzut:

- miniaturki strony, to zakładam że chcesz zrobić coś na zasadzie... speed page w operze np. dla panelu administracyjnego? Wtedy zwykły screen były dobry, a nawet pokusiłbym się o zrobienie go po stronie użytkownika (canvas) jeśliby nie istniał i dopiero później przesłałbym go na serwer.

- jeśli jednak ma być to dla web developerów, to sam screen nie wystarczy, ponieważ musi być pokazana cała strona chociażby do prezentacji i/lub obadania czy link w stopce jest idealnie 2px w lewo ;) w tej opcji jednak nie widzę sensu, ponieważ nie ma najważniejszego w tego typu narzędziach, rozbicia na systemy operacyjne, bo o ile nie każdy web developer posiada macos x, ale z pewnością każdy posiada fx,o i ch ;)

Niemniej dobra robota.

to jest pierwsza beta, jezeli bedzie zainteresowaniem to pewnie sie rozwinie, a w ktorym kierunku to zalezy od uzytkownikow, tak czy siak oprogramowanie jest dosc elastyczne wiec mozna to dostosowac pod wiele projektow

Link: http://webthumbnail.org//index/status?widt...http://php.net/




w złym temacie wrzuciłem wcześniej

bugfix: nie wyswietla juz paska translatora w chrome

Na Safari miniaturka po wygenerowaniu przeładowuje się co chwilę (znika, pojawia, znika, pojawia...)
Ponadto nie generują się zrzuty z domen typu IDN (np. aptekidyżurne.pl)

Wpisuje nie istniejacy adres url, np http://o.p
Pojawia sie na dole gif ajax-loader.gif
Pozniej wpisuje poprawny adres, np onet.pl
Miniaturka sie wyswietla, jednak nad nia caly czas krazy ajax-loader, nie znika.
Taka tam stylistyczna niedorobka : )

kolejne poprawki doszly, glownie bezpieczenstwa, lada dzien beda nowe ficzery na produkcji

Podoba mi się,
świetnie by było jakbyś dodał przeglądarki IE począwszy od 6.0

Bardzo mi się podoba, właśnie robię miniaturki do mojego przyszłego portfolio

Fajne. Jedynie w operze wywaliło mi jakiś błąd na screenie: http://api.webthumbnail.org/?width=512&...=http://onet.pl

https://github.com/cepa/webthumbnail

pojawił się wrapper w php, prosta klasa, która umożliwia robienie zrzutów ekranów z poziomu php, kod nie korzysta z zewnętrznych bibliotek, jedyne wymagania to zainstalowany moduł curl.

przykład użycia:

[PHP] pobierz, plaintext 
$thumb = new Webthumbnail("http://forum.php.pl");
$thumb
    ->setWidth(512)
    ->setHeight(512)
    ->captureToFile($path);
[PHP] pobierz, plaintext 

i mamy zapisany obrazek do pliku

zachęcam do testowania, z góry dzięki za wszelki feedback.

Mam nadzieje, że dasz jakieś w miarę normalne stawki i rozreklamujesz skrypcik po katalogach stron, jak np. seokatalogi.pl, możesz dać ogłoszenie tam lub na forum PiO.

Fajnie jak serwis się utrzyma bo wiem z doświadczenia, że dość szybko ruch jest nie do utrzymania

Wszystko fajnie działa, zastanawia mnie jednak sprawa api, czy nie lepiej zamiast robić sleep(2) zrobić to w inny sposób, np dodać parametr callback url i żeby to twój system wysyłał info o skończeniu pod ten link ?. Głównie chodzi o czas wykonywania skryptu teraz może i takich kolejek nie ma, ale jak trafi się moja miniaturka jako 100 w kolejce i będę musiał poczekać dość sporo czasu to Mi się skrypt wysypie.

Bądź miły dodać obsługę adresów ip :-] tz. przepuszczać je przez walidację w takim formacie:
94.94.94.94/user/public/

sleep tam jest dlatego ze nie jestem w stanie okreslic ile czasu zajmie zaladowanie strony, moge uzyc statystki, ale wiadomo... statystycznie ja i pies mamy po trzy nogi, wiec analogicznie wynik bedzie malo realny

co do kolejki, to adresy z kolejki sa sciagane rownolegle przez chmure robotow, w tej chwili 7 robotow dziala i robi zrzuty, ale ta liczbe mozna zwiekszyc, wiec w sytuacji kiedy w kolejce bedzie srednio 100 urli, to postawi sie 100 robotow, i wtedy w jednej sekundzie sciaganych z kolejki jest dokladnie 100 adresow

Nie wiem w jakim języku napisałeś całe oskryptowanie dla robotów i jak, ale to jest do zrobienia właśnie po ich stronie. W ekstremalnym przypadku możesz chociażby dokleić do ładowanej witryny swój kawałek kodu ajax (oczywiście nieinwazyjnie) i po jej załadowaniu wysłać odpowiednią informacje.

no nie do konca, bo i tak w tej chwili jest dodany nieinwazyjny ajax ktory informuje aplikacje o tym ze strona jest zaladowana, problem w tym ze czasy ladowania roznia sie znacznie i sa tez zalezne od aktualnego obciazenia sieci, wiec od kilku sekund do nawet minuty. statystycznie majac adres juz w bazie moge wyciagnanc ile wynosi sredni czas ladowania ale jak adres jest nowy (99% przypadkow) to moge jedynie strzelac, no chyba ze nie do konca zrozumialem twoj pomysl

przykladowy skrypt na https://github.com/cepa/webthumbnail bedzie czekal jedynie przy pierwszy zrzut, jak miniaturka jest juz zrobiona to dostanie wynik wlasciwioe odrazu.

To informuj właśnie że strona jest załadowana, sprawdzając czy faktycznie tak jest. W jQuery będzie to tak:

[JAVASCRIPT] pobierz, plaintext 
$(window).load(function() {
alert('ok');
});
[JAVASCRIPT] pobierz, plaintext 

To wykona się w momencie gdy zostanie załadowany cały dokument, włącznie z obrazami, iframe i co tam tylko chcesz, a nie tylko DOM.

no ale dokladnie to jest zrobionoe, jak jest zaladowana to zmieniany jest jej status z pending na loaded i zaczyna sie renderowanie, zrzut ekranu i upload do serwera

To musisz robić coś źle, albo się nie zrozumieliśmy

Skoro odwołujesz się do strony, wstrzykując jej kod window.load() i dostajesz komunikat zwrotny do skryptu który robi zrzut że jest załadowana, to po co Ci sleep?

Oczywiście może być opóźnienie, ale to raczej użytkownik powinien o tym decydować, patrz browserlab.adobe.com i w tym przypadku wszytko oparłbym a ajax, bo maszyny z robotami są u Ciebie i raczej JS będzie w przeglądarkach włączony (nawet powinien). Taki skrypt powinien umożliwiać zrobienie zrzutu strony która się załadowała, a nie tego jak ona wygląda i jak się zachowuje... Bo co jeśli zrobię stronę w JS, która będzie miała super animacje, które uruchomią się po 10 sekundach, a wcześniej będzie tylko napis z logiem firmy? Dlatego to ja, jako użytkownik powinienem wiedzieć kiedy ten zrzut ma być, a nie robot, on ma go tylko zrobić, zaraz po załadowaniu wszystkiego.

zeby skrypt poczekal az bedzie gotowa miniaturka, inaczej pierwszy request (callCapture) zwroci wygenerowany cover image (czarny obrazek "Queued...")

Tylko czemu to ma się dziać po stronie API?

Przypatrzyłem się bliżej i ogólnie, to mam wrażenie że przekombinowałeś. Załóżmy że wchodzę na Twoją stronę, robię zrzut google.com i mam obrazek 512x512, fajnie... poniżej dostaję link do niego, umieszczam na stronie, bo to niezły lans. Ale po jakimś czasie, ten obrazek jest renderowany ponownie? Bo jak sprawdzasz cache? IMO jako link do źródła wygenerowanego obrazka powinien być klucz, a nie jego parametry wysokości i szerokości, bo o tym decyduje użytkownik, a nie Ty po stornie skryptu. Bo jak stworzę obrazek z tego linku z wymiarami 883x100 to praktycznie nic nie zobaczę, w przeciwieństwie jakbym pobrał obraz i sam go przeskalował w css.

API dla zmiany rozmiarów screena powinno być dostępne jedynie po pobraniu klasy dla php i to z jego poziomu to JA powinienem decydować, co i kiedy zostanie wyświetlone, oraz co się stanie jak akurat tego brak, tak samo skalowanie obrazu.

? chyba nie bardzo lapie w czym widzisz problem

strona to tylko maly front, zeby mozna bylo z palca cos wklepac, ale ogolnie w tej chwili ludzie uzywaja tej aplikacji tak, ze:

masz np: katalog stron a w nim liste linkow do innych stron, wiec nie wchodzisz na strone i robisz recznie kazda miniaturke, tylko w kodzie strony embedujesz obrazek z podanymi parametrami
strona zadziala odrazu i jezeli miniaturki nie beda gotowe do dostaniesz czarny obrazek, a po jakims czasie w ich miejsce pojawia sie zrzuty, tak jest imho najprosciej tego uzywac.

klasa do php to w sumie bajer jakby ktos chcial zrobic proxy lub cachowanie po swojej stronie, ale wiekszosc i tak uzywa dostepnego api z parametrami po url

Ale czemu ma być ten czarny obrazek?, nie chce go, chce zielony, lub sam tekst, albo cokolwiek co sam stworzę. Już rozumiesz? Narzucasz mi zbędne rzeczy, które mogą kolidować z moją aplikacją. Dostarcz spójne API dla WSZYSTKICH metod/możliwości jakie oferujesz, ale nie ingeruj w żaden sposób w to co widzi użytkownik końcowy.

no rozumiem, i dlatego w planie jest panel uzytkownika, ze po podaniu tokenu, wczytywane sa "ustawienia" z konta, w tym np: obrazek ze miniaturka jest w trakcie generowania, ale poniewaz jeszcze nie jest to gotowe to obrazek jest czarny
oczywiscie mozesz uzyc klasy w php i zrobic male proxy ktore bedzie sprawdzalo czy jest gotowe, a jak nie jest to wyswietli co uznasz za stosowne

Odpada. Po co mi kolejne konto, tylko po to żeby pobrać obrazek. Od tego jest API, aby umożliwić mi wszytko to co potrzebuje, a skrypt chce mi przekazać. Chyba że wprowadzisz weryfikacje, dla zapytań większych niż 10k na miesiąc przez użytkownika X, aby zapłacił. Wtedy miałoby to sens, ale w przypadku znacznika <img> już nie. Tak jak pisałem wcześniej. Skoncentruj się na tym co chcesz osiągnąć, bo teraz masz za duży rozrzut a i sama idea serwisu jest nieokreślona.

update, strona projektu została nieco rozbudowana:

- jest dokumentacja
- linki i przykłady do obsługi api z php
- opis jak to działa

i chyba najciekawszy bajer, czyli monitor całej usługi:

http://webthumbnail.org/queue

można zobaczyć najnowsze miniaturki, kolejke, statystyki oraz status robotów

Można popsuć jakoś ten serwis? np. przepełnić kolejkę ? zająć całe miejsce na dysku?

Z tego co widzę, brak ograniczeń co do ilości i częstotliwości generowania miniaturek

@edit
Zauważyłem, że jak mam adres np.
http://api.webthumbnail.org?width=1440&...=http://php.net

wystarczy że będę zmieniał np. wysokość o 1, szerokość czy przeglądarkę, za każdym razem wygeneruje mi inną miniaturkę.

Mogę spróbować zabić Ci serwer?

dlatego na dole pisze ze ciagle beta hehe

tak wiem o tych ograniczeniach, i powoli bede je eliminowal w miare mozliwosci
serwera raczej nie zabijesz gdyz on jedynie serwuje dane, natomiast dosc latwo mozna zabic roboty

Musisz ograniczyć długość kolejki wyświetlanej na stronie bo ją rozwala.

btw. dlaczego 4 roboty ciągle są "dead" ?

@edit

Już wszystkie martwe ;<

no tak jak pisalem, serwer nie pierdnie, ale roboty zdechna hehe

sa na dead, bo stabilnosc OpenVZ pozostawia wiele do zyczenia :/

jutro powalcze z tymi ograniczeniami kolejki

Widzę, że usunąłeś miniaturki które "ja" generowałem.

Ja już nie będę (póki co)

P.S. Nie ja spamuje facebookiem, ja grzecznie php.net

@edit
Ty uruchamiasz wirtualne maszyny, na nich uruchamiasz przeglądarki i robisz zrzuty, tak?

@edit2
Może dobrym rozwiązaniem byłoby ograniczenie do kilku (lub kilkunastu) "standardowych" rozdzielczości lub tak jak ktoś pisał, skalowanie zostawić użytkownikowi (tak najlepiej)

Prawda. Do optymalizacji! Samo się nie zrobi

fajna aplikacja na pewno przyda się do katalogów stron. Pozdrawiam

Fajne i przydatne... ale tylko mi tak zamula na jpg i gifach?

Mały update:
- pojawiła się polska wersja strony
- zmiana środowiska robotów na stabilniejszy Vserver

Lada dzień pojawi się nowy ficzer na produkcji: kadrowanie zrzutów, będzie można w locie przycinać obrazek i dostosować go do np: layoutu portfolio.

Nowe środowisko robotów jest znacznie stabilniejsze i zarazem bardziej wydajne przez co wadliwe zrzuty pojawiają się dość rzadko, tak więc można smiało używać aplikacje na produkcji.

W półtora miesiąca od startu, system:
- zrobił 52 tysiące zrzutów ekranu
- był na 34 tysiącach stron
- zaserwował ponad 680 tysięcy obrazków

Zachęcam do korzystania z serwisu na katalogach stron, portfoliach, blogach itp. Kilka serwisów już korzysta i daje rade

http://webthumbnail.org/pl


zamula? moglbys dac linka do konkretnego obrazka lub strony?

* Kolejka nadal zbyt długa (na stronie)
* Dalej można spamować.

Strona nadal nie poprawiona.

nadal walcze, aktualizacje pojawiaja się codziennie, aktualnie najwiekszy problem to stabilność firefoxa - randomowo crashuje i w efekcie jest czarny obrazek :/
jak tylko ogarne ten temat to upgrade strony bedzie

Na plus zaliczę większą stabilność robotów, udało mi się zabić tylko 4.

Jednak długość kolejki wyświetlana na stronie pozostawia dalej wiele do życzenia.
Dalej da się spamować.

Ograniczenia wielkości nie działają można ustawić 1x1

Domyślny język strony powinien być pobierany z tego co dostajesz od użytkownika, najwyżej wtedy sobie zmieni.

Witam,

http://webthumbnail.org/pl

dzisiaj poszła na produkcje nowa wersja Webthumbnail.org - Generator Miniaturek Stron Internetowych z darmowym API.
Na stronie znajdziecie front na którym można testowo wygenerować zrzut strony internetowej, aplikacja oferuje przede wszystkim proste w użyciu API, które pozwala na osadzanie miniaturek bezpośrednio na stronach typu katalogi seo, portfolia itp itd.

Ficzery:
- zrzuty ekranu dowolnej strony ZA DARMO!
- proste osadzanie miniaturek na twoich stronach internetowych
- rozmiary miniaturek od 100x100 do 500x500 pikseli
- cztery standardowe rozdzielczości ekranu
- trzy formaty obrazków: png, jpg, gif
- wspiera HTML5, CSS3 i Flash
- zrzuty ekranu wykonywane w Mozilla Firefox

W porównaniu do poprzedniej wersji:
- nowy lepszy(?) front
- jedna stabilna przeglądarka
- rozmiary ekranu do wyboru
- nowy lepszy serwer

Przykładowy zrzut:


zapraszam do testownia i korzystania z nowej wersji, aplikacja obsługuje już kilkadziesiąt stron internetowych, nadal stoi, żyje i wysłała już bezmała 6 milionów obrazków,
z góry dzięki za feedback

hmm, wpisałem omyłkowo http://gogole.com ustawiłem wymiary obrazu 500x401 i ... ładuje się już 2min (linux/opera/chrome) o jest... wpisując ten sam adres, zmieniając wartości obrazka na 100x100 ładuje się kolejne 2min i mam napis "queued" i nic się nie dzieje. (tu przydałby się jakiś mechanizm pomniejszania obrazu który już został wcześniej wygenerowany).

no wlasnie widze w logu ze z googlem cos sie nie lubi, mhm do poprawki, nowa wersja to troche bledow moze jeszcze byc hehe

fajna rzecz, zapiszę sobie gdzieś tam - może kiedyś się przyda.
Przydałaby się opcja skalowania do 100%
a dodatkowo opcja wczytania listy stron z jakiegoś txt i pobrania paczki -> np. w wersji premium