Cześć,
Czy pisząc robota masowo czytającego ze stron powinienem zwrócić na coś szczególnie uwagę? Chodzi mi np. o ilość requestów na minutę itp, aby strony nie blokowały mi adresu ip (aby nikt nie pomyślał że próbuję atakować stronę itp).
Pełna wersja: Robot czytający ze stron
widzisz -> przez to że walczę z tym na co dzień podawanie info jak go dobrze napisać było by strzałem w stopę, jednak nie jest to wiedza tajemna i wystarczy chwilę pomyśleć by nie był blokowany przynajmniej na początku
Takie coś jest legalne?
legalne -> np roboty wyszukiwarek działają w ten sposób
Cytat
Wydaje się, że podstawową sprawą jest rozróżnienie samej czynności crawlowania (automatycznego przeszukiwania treści stron internetowych, indeksowania jej i pobierania) od ewentualnego późniejszego wykorzystywania pozyskanych w ten sposób treści.
i to jest kluczowa kwestia własnie -> do czego posłużą dane pobrane dane, czy pobieranie będzie korzystne dla wydawcy strony etc.
dodam jeszcze że natarczywe roboty powodują czasami niemałe obciążenie serwera więc lepiej takie poinformować że strona o podanym adresie nie istnieje
To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.