Proxies para recopilar datos de entrenamiento de IA
Crear un dataset a partir de la web pública implica rastreos que duran semanas y abarcan varios idiomas. Hazlos con el residencial ilimitado de ProxyWorld y puedes fijar el costo de todo el periodo el primer día, enviando solicitudes desde 60 países.
El precio por GB complica el presupuesto
Con miles de dominios, el tamaño de las páginas no depende de ti. Basta con unos pocos sitios con muchas fotos y scripts para que tu uso de GB crezca varias veces por encima del plan.
El ilimitado se cobra solo por periodo y nivel de conexiones. Así puedes anotar el presupuesto de un rastreo de 90 días como un solo importe antes de enviar la primera solicitud.
Recopilar cada idioma por separado
Muchos sitios revisan en qué país está la IP del visitante y muestran la página en el idioma de ese país. Pon un código de país como -cc-es (España) o -cc-id (Indonesia) en el usuario y las solicitudes salen desde una IP de ese país.
Mantén una cola de tareas separada por idioma y dale a cada una un usuario distinto. El código del crawler no necesita cambios y los resultados se acumulan por separado según el idioma.
Cálculo de un rastreo de 90 días
El nivel de 200 conexiones y 100 Mbps en Residence (90 días) cuesta $3.31 al día, $297.90 en total. Comprar Layover (1 día) 90 veces para el mismo periodo costaría $391.50, así que Residence cuesta $93.60 menos.
Para una tarea más grande, compra el nivel de 1,000 conexiones y 200 Mbps en Residence. Cuesta $7.19 al día, $647.10 en total. En el panel puedes escribir cualquier número de días de 1~365, así que compras exactamente lo que necesita tu calendario de rastreo.
Reglas que seguir al recopilar
Recopila solo contenido público y respeta robots.txt y los términos de uso de cada sitio. Revisa las normas de derechos de autor y privacidad que se aplican al entrenamiento de IA, y elimina los datos personales que no necesites antes de guardar nada.
Aunque el proxy tenga capacidad de sobra, define un límite de solicitudes por dominio. Volverás a los mismos sitios para la próxima versión del dataset.
Cómo configurar ProxyWorld para Datos para entrenar IA
1
Recarga con criptomonedas el importe que necesita el periodo de rastreo. Una recarga puede ser de hasta $5,000.
2
Compra residencial ilimitado por la cantidad de días que vas a rastrear. Residence (90 días) tiene la tarifa diaria más baja.
3
Crea un usuario por idioma, como pwexample1-zone-unl-cc-de, y conecta cada uno a una cola de tareas.
4
Conecta el crawler a gate.proxyworld.shop:6100 y mantén las conexiones simultáneas dentro del nivel que compraste.
Preguntas frecuentes
¿Un plan ilimitado puede cubrir varios países?
Sí. Un plan funciona en los 60 países. Eliges el país de cada solicitud en el usuario.
¿Los rastreos también necesitan sesiones fijas?
Normalmente no. Cambiar la IP en cada solicitud es lo que reparte la carga de forma pareja. Usa -sid solo en sitios donde las cookies deben mantenerse entre varias páginas.
¿Con qué monedas puedo recargar?
Aceptamos USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON y Litecoin. El importe se suma a tu saldo en USD.
El rastreo terminó y me quedó saldo.
El saldo se mantiene sin caducidad. Úsalo en el próximo rastreo o en otro producto.
Recarga de $25, 73 GB residenciales
Regístrate con un email o un token, recarga y compra de inmediato. Tu saldo no caduca.