Proxies para tareas de scraping
Un scraper lanza muchas solicitudes a un mismo sitio en poco tiempo. El plan ilimitado de ProxyWorld reparte esas solicitudes entre muchas IP de conexiones domésticas y cobra solo por los días, sin importar cuántos datos descargues.
Por qué se bloquean las solicitudes
La mayoría de los sitios cuentan las solicitudes por IP. Cuando una IP supera su límite, la ralentizan a propósito o muestran una pantalla de verificación. Unos miles de solicitudes desde una IP de servidor alcanzan ese límite rápido.
A través del gateway (la dirección de entrada del proxy), tus solicitudes salen desde un gran pool de IP residenciales. Una IP residencial es una dirección de una línea de internet doméstica normal. El total que envías es el mismo, pero cada IP envía más o menos lo que enviaría un visitante normal.
El precio depende del periodo y del nivel
En el nivel de 200 conexiones y 100 Mbps, Layover (1 día) cuesta $4.35. Tour (7 días) cuesta $4.09 al día, $28.63 en total; Stay (30 días) $3.70 al día, $111.00 en total; y Residence (90 días) $3.31 al día, $297.90 en total.
El volumen de datos no importa. Si una tarea descarga más de unos 11~14 GB al día, el ilimitado sale más barato que el residencial por GB. Recopilar páginas de tiendas con muchas fotos supera esa cifra con facilidad.
Cómo elegir el nivel de conexiones
Cuenta cuántas solicitudes están abiertas en un mismo momento. Si ejecutas 150 workers (tareas de recopilación funcionando a la vez), el nivel de 200 es suficiente y deja margen para reintentar solicitudes fallidas.
Con varios servidores de recopilación, suma todos sus workers. Unos 400 en total encajan en el nivel de 500 (200 Mbps). Cuesta $7.12 en Layover, o $6.05 al día en Stay. Puedes elegir otro nivel la próxima vez que compres un plan.
Qué puedes recopilar
Páginas que cualquiera puede abrir sin iniciar sesión: datos públicos de productos, noticias, directorios de empresas y similares. Antes de empezar, revisa los términos de uso del sitio y la ley del país donde operas.
Las cuentas se suspenden por intentos de inicio de sesión con datos filtrados, spam, DDoS o acceso a sitios del gobierno. Dejar un intervalo entre solicitudes por dominio reduce la carga del otro servidor y te permite seguir recopilando de él durante mucho tiempo.
Cómo configurar ProxyWorld para Web scraping
1
Regístrate con email y contraseña, o con el token que aparece en la página de registro. Luego recarga tu saldo en USD con criptomonedas en la ventana de pago.
2
En residencial ilimitado, elige un periodo (Layover, Tour, Stay, Residence o de 1~365 días a medida) y un nivel de conexiones, y paga.
3
Agrega -zone-unl al final de tu usuario del proxy. Si necesitas datos por país, agrega también un código de país, como -cc-fr.
4
Escribe gate.proxyworld.shop en la configuración de proxy del scraper. El puerto es 6100 para HTTP y 6200 para SOCKS5.
Preguntas frecuentes
¿La IP cambia con cada solicitud?
Sí. Sin la opción -sid en el usuario, a cada solicitud se le asigna una IP residencial nueva.
Después de iniciar sesión, necesito la misma IP para varias páginas.
Agrega -sid- y un nombre de sesión al usuario, por ejemplo -sid-shop01. Las solicitudes con el mismo nombre de sesión salen desde la misma IP, y -ttl- define cuánto se mantiene, hasta 60 minutos.
¿Hay límites además de los datos?
Tienes las conexiones simultáneas y la velocidad del nivel que compraste. Los datos no se cuentan.
El estado de mi pedido dice Activando.
El pago está hecho y el plan se está preparando. Un pedido que no se puede activar se cancela, y el importe completo que pagaste vuelve a tu saldo.
Recarga de $25, 73 GB residenciales
Regístrate con un email o un token, recarga y compra de inmediato. Tu saldo no caduca.