Proxy per lo scraping
Uno scraper invia molte richieste allo stesso sito in poco tempo. Il piano illimitato ProxyWorld distribuisce queste richieste su molti IP di connessioni domestiche e addebita solo i giorni, indipendentemente da quanti dati scarichi.
Perché le richieste vengono bloccate
La maggior parte dei siti conta le richieste per IP. Quando un IP supera il limite, lo rallentano di proposito o mostrano una schermata di verifica. Qualche migliaio di richieste da un solo IP di server raggiunge presto quel limite.
Tramite il gateway (l'indirizzo di ingresso del proxy), le tue richieste escono da un grande pool di IP residenziali. Un IP residenziale è un indirizzo di una normale linea internet domestica. Il totale inviato resta lo stesso, ma ogni IP invia più o meno quanto un normale visitatore.
Il prezzo dipende da durata e livello
Con il livello da 200 connessioni e 100 Mbps, Layover (1 giorno) costa $4.35. Tour (7 giorni) costa $4.09 al giorno, $28.63 in totale, Stay (30 giorni) $3.70 al giorno, $111.00 in totale, e Residence (90 giorni) $3.31 al giorno, $297.90 in totale.
Il volume di dati non conta. Se un lavoro scarica più di circa 11~14 GB al giorno, l'illimitato costa meno dei residenziali a GB. Raccogliendo pagine di negozi piene di foto si supera facilmente quella soglia.
Scegliere un livello di connessioni
Conta quante richieste sono aperte nello stesso momento. Se esegui 150 worker (processi di raccolta in parallelo), il livello da 200 basta e lascia margine per ripetere le richieste non riuscite.
Con più server di raccolta, somma tutti i loro worker. Circa 400 in totale corrispondono al livello da 500 (200 Mbps). Costa $7.12 su Layover, o $6.05 al giorno su Stay. Puoi scegliere un livello diverso al prossimo acquisto di un piano.
Cosa puoi raccogliere
Pagine che chiunque può aprire senza accedere: dati pubblici dei prodotti, articoli di notizie, elenchi di aziende e simili. Prima di iniziare, controlla i termini d'uso del sito e la legge del paese in cui operi.
Gli account vengono sospesi per tentativi di accesso con credenziali trapelate, spam, DDoS o accesso a siti governativi. Lasciare un intervallo tra le richieste per dominio riduce il carico sull'altro server e ti permette di continuare a raccogliere dati da lì a lungo.
Come configurare ProxyWorld per Web scraping
1
Registrati con email e password, o con il token mostrato nella pagina di registrazione. Poi ricarica il saldo in USD con criptovalute nella finestra di pagamento.
2
In residenziali illimitati, scegli una durata (Layover, Tour, Stay, Residence o da 1 a 365 giorni a scelta) e un livello di connessioni, poi paga.
3
Aggiungi -zone-unl alla fine del nome utente del proxy. Se ti servono dati per paese, aggiungi anche un codice paese, come -cc-fr.
4
Inserisci gate.proxyworld.shop nelle impostazioni proxy dello scraper. La porta è 6100 per HTTP e 6200 per SOCKS5.
Domande frequenti
L'IP cambia a ogni richiesta?
Sì. Senza l'opzione -sid nel nome utente, a ogni richiesta viene assegnato un nuovo IP residenziale.
Dopo l'accesso mi serve lo stesso IP per qualche pagina.
Aggiungi -sid- e un nome di sessione al nome utente, ad esempio -sid-shop01. Le richieste con lo stesso nome di sessione escono dallo stesso IP, e -ttl- imposta per quanto viene mantenuto, fino a 60 minuti.
Ci sono limiti oltre ai dati?
Hai le connessioni simultanee e la velocità del livello acquistato. I dati non vengono conteggiati.
Lo stato del mio ordine dice In attivazione.
Il pagamento è completato e il piano è in preparazione. Un ordine che non può essere attivato viene annullato e l'intero importo pagato torna sul saldo.
Ricarica da $25, 73 GB di residenziali
Registrati con email o token, ricarica e acquista subito. Il saldo non scade mai.