Proxys pour le scraping
Un scraper envoie beaucoup de requêtes vers un même site en peu de temps. L'offre illimitée ProxyWorld répartit ces requêtes sur de nombreuses IP de connexions domestiques et ne facture que les jours, quelle que soit la quantité de données téléchargées.
Pourquoi les requêtes sont bloquées
La plupart des sites comptent les requêtes par IP. Quand une IP dépasse leur limite, ils la ralentissent volontairement ou affichent un écran de vérification. Quelques milliers de requêtes depuis une seule IP de serveur atteignent vite cette limite.
Via la passerelle (l'adresse d'entrée du proxy), vos requêtes sortent d'un large pool d'IP résidentielles. Une IP résidentielle est une adresse sur une ligne internet domestique ordinaire. Le volume total envoyé reste le même, mais chaque IP envoie à peu près autant qu'un visiteur normal.
Le prix dépend de la durée et du palier
Sur le palier 200 connexions, 100 Mbps, Layover (1 jour) coûte $4.35. Tour (7 jours) revient à $4.09 par jour, soit $28.63 au total, Stay (30 jours) à $3.70 par jour, soit $111.00 au total, et Residence (90 jours) à $3.31 par jour, soit $297.90 au total.
Le volume de données ne compte pas. Si une tâche récupère plus d'environ 11~14 GB par jour, l'illimité est moins cher que le résidentiel au GB. La collecte de pages de boutique riches en photos dépasse facilement ce seuil.
Choisir un palier de connexions
Comptez combien de requêtes sont ouvertes au même instant. Si vous faites tourner 150 workers (tâches de collecte lancées en même temps), le palier 200 suffit et laisse de la marge pour relancer les requêtes échouées.
Avec plusieurs serveurs de collecte, additionnez tous leurs workers. Environ 400 au total correspondent au palier 500 (200 Mbps). Il coûte $7.12 en Layover, ou $6.05 par jour en Stay. Vous pourrez choisir un autre palier lors de votre prochain achat.
Ce que vous pouvez collecter
Les pages accessibles à tous sans connexion : données produits publiques, articles de presse, annuaires d'entreprises, etc. Avant de commencer, vérifiez les conditions d'utilisation du site et la loi du pays où vous exercez votre activité.
Les comptes sont suspendus en cas de tentatives de connexion avec des identifiants divulgués, de spam, de DDoS ou d'accès à des sites gouvernementaux. Espacer les requêtes par domaine allège la charge du serveur visé et vous permet de continuer à y collecter longtemps.
Configurer ProxyWorld pour Web scraping
1
Inscrivez-vous avec un email et un mot de passe, ou avec le jeton affiché sur la page d'inscription. Rechargez ensuite votre solde en USD avec des cryptomonnaies dans la fenêtre de paiement.
2
Dans Résidentiel illimité, choisissez une durée (Layover, Tour, Stay, Residence ou une durée libre de 1~365 jours) et un palier de connexions, puis payez.
3
Ajoutez -zone-unl à la fin de votre identifiant proxy. Si vous avez besoin de données par pays, ajoutez aussi un code pays, comme -cc-fr.
4
Saisissez gate.proxyworld.shop dans les paramètres proxy du scraper. Le port est 6100 pour HTTP et 6200 pour SOCKS5.
Questions fréquentes
L'IP change-t-elle à chaque requête ?
Oui. Sans option -sid dans l'identifiant, chaque requête reçoit une nouvelle IP résidentielle.
Après connexion, j'ai besoin de la même IP pour quelques pages.
Ajoutez -sid- et un nom de session à l'identifiant, par exemple -sid-shop01. Les requêtes avec le même nom de session sortent par la même IP, et -ttl- fixe sa durée, jusqu'à 60 minutes.
Y a-t-il d'autres limites que les données ?
Vous disposez des connexions simultanées et de la vitesse du palier acheté. Les données ne sont pas comptées.
Le statut de ma commande indique En activation.
Le paiement est effectué et l'offre est en préparation. Une commande qui ne peut pas être activée est annulée, et le montant total payé revient sur votre solde.
Recharge de $25, 73 GB de résidentiel
Inscrivez-vous avec un email ou un jeton, rechargez et achetez tout de suite. Votre solde n'expire jamais.