Proxy do scrapingu
Scraper wysyła do jednej strony wiele zapytań w krótkim czasie. Pakiet nielimitowany ProxyWorld rozkłada je na wiele adresów IP łączy domowych i nalicza opłatę tylko za dni, niezależnie od tego, ile danych pobierzesz.
Dlaczego zapytania są blokowane
Większość stron liczy zapytania z jednego IP. Gdy IP przekroczy limit, strona celowo je spowalnia albo pokazuje ekran weryfikacji. Kilka tysięcy zapytań z jednego IP serwerowego szybko dochodzi do tego limitu.
Przez bramkę (adres wejściowy proxy) twoje zapytania wychodzą z dużej puli rezydencjalnych IP. Rezydencjalne IP to adres zwykłego domowego łącza internetowego. Łączna liczba zapytań się nie zmienia, ale każde IP wysyła mniej więcej tyle, co zwykły użytkownik.
Cena zależy od okresu i progu
W progu 200 połączeń i 100 Mbps Layover (1 dzień) kosztuje $4.35. Tour (7 dni) to $4.09 dziennie, razem $28.63, Stay (30 dni) to $3.70 dziennie, razem $111.00, a Residence (90 dni) to $3.31 dziennie, razem $297.90.
Ilość danych nie ma znaczenia. Jeśli zadanie pobiera więcej niż mniej więcej 11~14 GB dziennie, pakiet nielimitowany jest tańszy niż rezydencjalny za GB. Przy zbieraniu stron sklepów z dużą liczbą zdjęć łatwo ten próg przekroczyć.
Wybór progu połączeń
Policz, ile zapytań jest otwartych w jednej chwili. Jeśli uruchamiasz 150 workerów (zadań zbierania działających jednocześnie), próg 200 wystarczy i zostawi zapas na ponawianie nieudanych zapytań.
Przy kilku serwerach zbierających dane zsumuj wszystkie ich workery. Łącznie około 400 pasuje do progu 500 (200 Mbps). Kosztuje $7.12 w Layover albo $6.05 dziennie w Stay. Przy następnym zakupie pakietu możesz wybrać inny próg.
Co wolno zbierać
Strony, które każdy może otworzyć bez logowania: publiczne dane produktów, artykuły prasowe, wizytówki firm i podobne. Przed rozpoczęciem sprawdź regulamin danej strony i przepisy kraju, w którym prowadzisz działalność.
Konta są zawieszane za próby logowania wykradzionymi danymi, spam, DDoS lub dostęp do stron rządowych. Odstępy między zapytaniami do jednej domeny zmniejszają obciążenie drugiego serwera i pozwalają zbierać z niego dane przez długi czas.
Jak skonfigurować ProxyWorld: Web scraping
1
Zarejestruj się e-mailem i hasłem albo tokenem pokazanym na stronie rejestracji. Potem doładuj saldo w USD kryptowalutą w oknie płatności.
2
W sekcji nielimitowanych rezydencjalnych wybierz okres (Layover, Tour, Stay, Residence lub własny od 1 do 365 dni) i próg połączeń, a potem zapłać.
3
Dodaj -zone-unl na końcu nazwy użytkownika proxy. Jeśli potrzebujesz danych z konkretnego kraju, dodaj też kod kraju, np. -cc-fr.
4
Wpisz gate.proxyworld.shop w ustawieniach proxy scrapera. Port to 6100 dla HTTP i 6200 dla SOCKS5.
Częste pytania
Czy IP zmienia się przy każdym zapytaniu?
Tak. Bez opcji -sid w nazwie użytkownika każde zapytanie dostaje nowe rezydencjalne IP.
Po zalogowaniu potrzebuję tego samego IP przez kilka stron.
Dodaj do nazwy użytkownika -sid- i nazwę sesji, np. -sid-shop01. Zapytania z tą samą nazwą sesji wychodzą z tego samego IP, a -ttl- ustawia, jak długo je trzymać, maksymalnie 60 minut.
Czy są limity poza danymi?
Dostajesz równoczesne połączenia i prędkość z kupionego progu. Dane nie są liczone.
Moje zamówienie ma status Aktywacja.
Płatność jest zakończona, a pakiet jest przygotowywany. Zamówienie, którego nie da się aktywować, jest anulowane, a cała zapłacona kwota wraca na saldo.
Doładowanie od $25, 73 GB transferu rezydencjalnego
Zarejestruj się e-mailem lub tokenem, doładuj saldo i kupuj od razu. Saldo nie wygasa.