用于数据采集任务的代理
采集程序会在短时间内向一个网站发送大量请求。ProxyWorld 不限流量套餐将这些请求分散到许多家庭宽带 IP 上,只按天数收费,无论下载多少数据。
请求为什么会被拦截
大多数网站按 IP 统计请求数。一旦某个 IP 超过限制,网站就会故意降速或显示验证页面。从一个服务器 IP 发出几千个请求,很快就会达到这个限制。
通过网关(代理的入口地址),您的请求会从一个庞大的住宅 IP 池中发出。住宅 IP 是普通家庭宽带线路上的地址。发送的总量不变,但每个 IP 发送的量与普通访客差不多。
价格由时长和档位决定
在 200 个连接、100 Mbps 档位下,Layover(1 天)为 $4.35。Tour(7 天)每天 $4.09,合计 $28.63;Stay(30 天)每天 $3.70,合计 $111.00;Residence(90 天)每天 $3.31,合计 $297.90。
数据量不影响价格。如果一个任务每天采集超过约 11~14 GB,不限流量比按 GB 计费的住宅代理更便宜。采集图片多的商品页面很容易超过这个量。
选择连接数档位
统计同一时刻打开的请求数。如果您运行 150 个 worker(同时运行的采集任务),200 档就够用,还留有重试失败请求的余量。
如果有多台采集服务器,请把所有 worker 加起来。总共约 400 个适合 500 档(200 Mbps)。Layover 为 $7.12,Stay 为每天 $6.05。下次购买套餐时可以选择不同的档位。
可以采集哪些内容
无需登录、任何人都能打开的页面:公开的商品数据、新闻文章、商家名录等。开始之前,请查看该网站的使用条款以及您开展业务所在国家的法律。
使用泄露凭据尝试登录、发送垃圾信息、DDoS 或访问政府网站的账户会被暂停。对每个域名的请求之间留出间隔,可以减轻对方服务器的负担,也能长期持续采集。
如何为网页数据采集设置 ProxyWorld
1
用邮箱和密码注册,或使用注册页面显示的令牌注册。然后在支付窗口用加密货币为 USD 余额充值。
2
在不限流量住宅代理下,选择时长(Layover、Tour、Stay、Residence 或自定义 1~365 天)和连接数档位,然后付款。
3
在代理用户名末尾加上 -zone-unl。如果需要按国家获取数据,再加上国家代码,例如 -cc-fr。
4
在采集程序的代理设置中填入 gate.proxyworld.shop。HTTP 端口为 6100,SOCKS5 端口为 6200。
常见问题
每个请求都会更换 IP 吗?
是的。用户名中不带 -sid 参数时,每个请求都会分配一个新的住宅 IP。
登录后,我需要在几个页面中使用同一个 IP。
在用户名中添加 -sid- 和会话名,例如 -sid-shop01。使用相同会话名的请求从同一个 IP 发出,-ttl- 设置保持时长,最长 60 分钟。
除了数据量还有其他限制吗?
您可以使用所购档位的并发连接数和速度。数据量不计。
我的订单状态显示开通中。
付款已完成,套餐正在准备中。无法开通的订单会被取消,您支付的全部金额会退回余额。