Proxies para tarefas de scraping
Um scraper dispara muitas requisições para um site em pouco tempo. O plano ilimitado da ProxyWorld distribui essas requisições entre muitos IPs de conexões residenciais e cobra só pelos dias, não importa quantos dados você baixe.
Por que as requisições são bloqueadas
A maioria dos sites conta as requisições por IP. Quando um IP passa do limite, o site o deixa lento de propósito ou mostra uma tela de verificação. Alguns milhares de requisições de um único IP de servidor chegam rápido a esse limite.
Pelo gateway (o endereço de entrada do proxy), suas requisições saem de um grande pool de IPs residenciais. Um IP residencial é um endereço de uma linha de internet doméstica comum. O total enviado continua o mesmo, mas cada IP envia mais ou menos o que um visitante comum enviaria.
O preço vem do período e da faixa
Na faixa de 200 conexões e 100 Mbps, o Layover (1 dia) custa $4.35. O Tour (7 dias) custa $4.09 por dia, $28.63 no total, o Stay (30 dias) custa $3.70 por dia, $111.00 no total, e o Residence (90 dias) custa $3.31 por dia, $297.90 no total.
O volume de dados não importa. Se uma tarefa puxa mais de cerca de 11~14 GB por dia, o ilimitado sai mais barato que o residencial por GB. Coletar páginas de lojas cheias de fotos passa desse volume com facilidade.
Como escolher a faixa de conexões
Conte quantas requisições ficam abertas ao mesmo tempo. Se você roda 150 workers (tarefas de coleta rodando em paralelo), a faixa de 200 é suficiente e deixa margem para repetir requisições que falharam.
Com vários servidores de coleta, some todos os workers. Cerca de 400 no total cabem na faixa de 500 (200 Mbps). Custa $7.12 no Layover, ou $6.05 por dia no Stay. Você pode escolher outra faixa na próxima vez que comprar um plano.
O que você pode coletar
Páginas que qualquer pessoa abre sem login: dados públicos de produtos, notícias, cadastros de empresas e afins. Antes de começar, confira os termos de uso do site e a lei do país onde você atua.
Contas são suspensas por tentativas de login com dados vazados, spam, DDoS ou acesso a sites de governo. Dar um intervalo entre as requisições por domínio alivia o servidor do outro lado e permite continuar coletando dele por muito tempo.
Como configurar a ProxyWorld para Web scraping
1
Cadastre-se com e-mail e senha, ou com o token exibido na página de cadastro. Depois recarregue o saldo em USD com cripto na janela de pagamento.
2
Em residencial ilimitado, escolha um período (Layover, Tour, Stay, Residence ou 1~365 dias personalizados) e uma faixa de conexões, e pague.
3
Adicione -zone-unl ao fim do usuário do proxy. Se precisar de dados por país, adicione também um código de país, como -cc-fr.
4
Informe gate.proxyworld.shop nas configurações de proxy do scraper. A porta é 6100 para HTTP e 6200 para SOCKS5.
Perguntas frequentes
O IP muda a cada requisição?
Sim. Sem a opção -sid no usuário, cada requisição recebe um novo IP residencial.
Depois do login, preciso do mesmo IP por algumas páginas.
Adicione -sid- e um nome de sessão ao usuário, por exemplo -sid-shop01. Requisições com o mesmo nome de sessão saem do mesmo IP, e -ttl- define por quanto tempo ele é mantido, até 60 minutos.
Há limites além dos dados?
Você tem as conexões simultâneas e a velocidade da faixa que comprou. Os dados não são contados.
O status do meu pedido diz Ativando.
O pagamento foi feito e o plano está sendo preparado. Um pedido que não pode ser ativado é cancelado, e o valor integral pago volta para o seu saldo.
Recarga de $25, 73 GB de residencial
Cadastre-se com e-mail ou token, recarregue e compre na hora. Seu saldo não expira.