Proxys pour collecter des données d'entraînement IA
Construire un dataset à partir du web public implique des crawls qui durent des semaines et couvrent plusieurs langues. Avec le résidentiel illimité ProxyWorld, vous fixez le coût de toute la période dès le premier jour, et vous envoyez des requêtes depuis 60 pays.
Le prix au GB complique les budgets
Avec des milliers de domaines, la taille des pages ne dépend pas de vous. Ajoutez quelques sites chargés en photos et scripts, et votre consommation de GB peut dépasser plusieurs fois ce que vous aviez prévu.
L'illimité est facturé uniquement selon la durée et le palier de connexions. Vous pouvez donc fixer le budget d'un crawl de 90 jours en un seul montant avant même la première requête.
Collecter chaque langue séparément
Beaucoup de sites vérifient le pays de l'IP du visiteur et affichent la page dans la langue de ce pays. Ajoutez un code pays comme -cc-es (Espagne) ou -cc-id (Indonésie) dans l'identifiant et les requêtes sortent par une IP de ce pays.
Gardez une file de tâches séparée par langue et attribuez à chacune un identifiant différent. Le code du crawler ne change pas, et les résultats s'accumulent séparément par langue.
Calculer un crawl de 90 jours
Le palier 200 connexions, 100 Mbps en Residence (90 jours) coûte $3.31 par jour, soit $297.90 au total. Acheter Layover (1 jour) 90 fois pour la même période coûterait $391.50 : Residence revient donc $93.60 moins cher.
Pour une tâche plus importante, achetez le palier 1,000 connexions, 200 Mbps en Residence. Il coûte $7.19 par jour, soit $647.10 au total. Dans le tableau de bord, vous pouvez saisir n'importe quel nombre de jours de 1~365 et acheter exactement ce que votre planning de crawl demande.
Règles à suivre pendant la collecte
Collectez uniquement du contenu public, et respectez le robots.txt et les conditions d'utilisation de chaque site. Vérifiez les règles de droit d'auteur et de protection des données qui s'appliquent à l'entraînement IA, et supprimez les données personnelles inutiles avant tout stockage.
Même si le proxy a de la marge, fixez un plafond de requêtes par domaine. Vous reviendrez sur les mêmes sites pour la prochaine version du dataset.
Configurer ProxyWorld pour Données d'entraînement IA
1
Rechargez en cryptomonnaies le montant nécessaire pour la période de crawl. Une recharge peut aller jusqu'à $5,000.
2
Achetez du résidentiel illimité pour le nombre de jours de crawl. Residence (90 jours) a le tarif journalier le plus bas.
3
Créez un identifiant par langue, comme pwexample1-zone-unl-cc-de, et associez chacun à une file de tâches.
4
Connectez le crawler à gate.proxyworld.shop:6100 et gardez les connexions simultanées dans la limite du palier acheté.
Questions fréquentes
Une offre illimitée peut-elle couvrir plusieurs pays ?
Oui. Une offre fonctionne dans les 60 pays. Vous choisissez le pays de chaque requête dans l'identifiant.
Les crawls ont-ils aussi besoin de sessions persistantes ?
En général non. Changer d'IP à chaque requête répartit la charge de façon régulière. Utilisez -sid uniquement sur les sites où les cookies doivent suivre sur plusieurs pages.
Avec quelles cryptomonnaies puis-je recharger ?
Nous acceptons USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON et Litecoin. Le montant est ajouté à votre solde en USD.
Le crawl est terminé et il me reste du solde.
Le solde est conservé sans expiration. Utilisez-le pour le prochain crawl ou pour un autre produit.
Recharge de $25, 73 GB de résidentiel
Inscrivez-vous avec un email ou un jeton, rechargez et achetez tout de suite. Votre solde n'expire jamais.