Proxy per raccogliere dati di addestramento per AI
Costruire un dataset dal web pubblico significa crawl che durano settimane e coprono più lingue. Eseguili sui residenziali illimitati ProxyWorld: puoi fissare il costo dell'intero periodo dal primo giorno e inviare richieste da 60 paesi.
Il prezzo a GB rende difficile il budget
Con migliaia di domini, la dimensione delle pagine non dipende da te. Basta qualche sito pieno di foto e script e il consumo di GB può crescere più volte oltre il piano.
L'illimitato ha un prezzo basato solo su durata e livello di connessioni. Così puoi fissare il budget di un crawl di 90 giorni come un unico importo prima che parta la prima richiesta.
Raccogliere ogni lingua separatamente
Molti siti controllano in quale paese si trova l'IP del visitatore e mostrano la pagina nella lingua di quel paese. Inserisci un codice paese come -cc-es (Spagna) o -cc-id (Indonesia) nel nome utente e le richieste escono da un IP di quel paese.
Tieni una coda di lavori separata per ogni lingua e assegna a ciascuna un nome utente diverso. Il codice del crawler non va modificato e i risultati si accumulano separati per lingua.
Calcolare un crawl di 90 giorni
Il livello da 200 connessioni e 100 Mbps su Residence (90 giorni) costa $3.31 al giorno, $297.90 in totale. Acquistare Layover (1 giorno) 90 volte per lo stesso periodo costerebbe $391.50, quindi Residence costa $93.60 in meno.
Per un lavoro più grande, acquista il livello da 1,000 connessioni e 200 Mbps su Residence. Costa $7.19 al giorno, $647.10 in totale. Nella dashboard puoi inserire qualsiasi numero di giorni da 1 a 365, così acquisti esattamente ciò che serve al tuo calendario di crawl.
Regole da seguire durante la raccolta
Raccogli solo contenuti pubblici e rispetta robots.txt e i termini d'uso di ogni sito. Verifica le norme su copyright e privacy che si applicano all'addestramento di AI, ed elimina i dati personali che non ti servono prima di salvare qualsiasi cosa.
Anche quando il proxy ha margine, imposta un limite di richieste per dominio. Tornerai sugli stessi siti per la prossima versione del dataset.
Come configurare ProxyWorld per Dati per l'addestramento di AI
1
Ricarica in criptovalute l'importo che serve per il periodo di crawl. Una ricarica può arrivare a $5,000.
2
Acquista residenziali illimitati per il numero di giorni di crawl. Residence (90 giorni) ha la tariffa giornaliera più bassa.
3
Crea un nome utente per lingua, come pwexample1-zone-unl-cc-de, e collega ciascuno a una coda di lavori.
4
Collega il crawler a gate.proxyworld.shop:6100 e mantieni le connessioni simultanee entro il livello acquistato.
Domande frequenti
Un piano illimitato può coprire più paesi?
Sì. Un piano funziona in tutti i 60 paesi. Scegli il paese per ogni richiesta nel nome utente.
Anche i crawl hanno bisogno di sessioni sticky?
Di solito no. Cambiare IP a ogni richiesta è proprio ciò che distribuisce il carico in modo uniforme. Usa -sid solo sui siti in cui i cookie devono restare validi su più pagine.
Con quali criptovalute posso ricaricare?
Accettiamo USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON e Litecoin. L'importo viene accreditato sul saldo in USD.
Il crawl è finito e mi è rimasto del saldo.
Il saldo resta senza scadenza. Usalo per il prossimo crawl o per un altro prodotto.
Ricarica da $25, 73 GB di residenziali
Registrati con email o token, ricarica e acquista subito. Il saldo non scade mai.