Proxies para coletar dados de treinamento de IA
Montar um dataset a partir da web pública significa coletas que duram semanas e cobrem vários idiomas. Rode-as no residencial ilimitado da ProxyWorld e você define o custo de todo o período no primeiro dia, enviando requisições de 60 países.
Preço por GB dificulta o orçamento
Com milhares de domínios, o tamanho das páginas não depende de você. Basta alguns sites com muitas fotos e scripts para o uso de GB crescer várias vezes acima do previsto.
O ilimitado é cobrado só por período e faixa de conexões. Assim você pode fechar o orçamento de uma coleta de 90 dias em um único valor antes da primeira requisição.
Coleta separada por idioma
Muitos sites verificam em que país está o IP do visitante e mostram a página no idioma desse país. Coloque um código de país como -cc-es (Espanha) ou -cc-id (Indonésia) no usuário e as requisições saem de um IP desse país.
Mantenha uma fila de tarefas separada por idioma e dê a cada uma um usuário diferente. O código do crawler não precisa mudar, e os resultados se acumulam separados por idioma.
Calculando uma coleta de 90 dias
A faixa de 200 conexões e 100 Mbps no Residence (90 dias) custa $3.31 por dia, $297.90 no total. Comprar o Layover (1 dia) 90 vezes para o mesmo período daria $391.50, então o Residence custa $93.60 a menos.
Para uma tarefa maior, compre a faixa de 1,000 conexões e 200 Mbps no Residence. Custa $7.19 por dia, $647.10 no total. No painel você pode digitar qualquer número de dias de 1~365, então dá para comprar exatamente o que o cronograma da coleta exige.
Regras a seguir durante a coleta
Colete apenas conteúdo público e siga o robots.txt e os termos de uso de cada site. Verifique as regras de direitos autorais e privacidade que se aplicam ao treinamento de IA, e apague os dados pessoais desnecessários antes de guardar qualquer coisa.
Mesmo quando o proxy tem folga, defina um limite de requisições por domínio. Você vai voltar aos mesmos sites na próxima versão do dataset.
Como configurar a ProxyWorld para Dados para treinar IA
1
Recarregue com cripto o valor que o período de coleta exige. Uma recarga pode ser de até $5,000.
2
Compre residencial ilimitado pelo número de dias de coleta. O Residence (90 dias) tem o menor preço diário.
3
Crie um usuário por idioma, como pwexample1-zone-unl-cc-de, e ligue cada um a uma fila de tarefas.
4
Conecte o crawler a gate.proxyworld.shop:6100 e mantenha as conexões simultâneas dentro da faixa comprada.
Perguntas frequentes
Um plano ilimitado pode cobrir vários países?
Sim. Um plano funciona nos 60 países. Você escolhe o país de cada requisição no usuário.
Coletas também precisam de sessões fixas?
Normalmente não. Trocar o IP a cada requisição é o que distribui a carga de forma equilibrada. Use -sid só em sites onde os cookies precisam continuar por várias páginas.
Com quais moedas posso recarregar?
Aceitamos USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON e Litecoin. O valor entra no seu saldo em USD.
A coleta acabou e sobrou saldo.
O saldo fica sem prazo de validade. Use-o na próxima coleta ou em outro produto.
Recarga de $25, 73 GB de residencial
Cadastre-se com e-mail ou token, recarregue e compre na hora. Seu saldo não expira.