用于采集 AI 训练数据的代理
从公开网页构建数据集,意味着要进行持续数周、覆盖多种语言的爬取。使用 ProxyWorld 不限流量住宅代理,第一天就能确定整个周期的费用,并从 60 个国家发出请求。
按 GB 计价让预算难以控制
面对成千上万个域名,页面大小不由您决定。只要混入几个图片和脚本很多的网站,GB 用量就可能超出计划好几倍。
不限流量只按时长和连接数档位计价。因此在发出第一个请求之前,就可以把 90 天的爬取预算写成一个固定金额。
按语言分别采集
许多网站会检查访客 IP 所在的国家,并以该国家的语言显示页面。在用户名中加入 -cc-es(西班牙)或 -cc-id(印度尼西亚)等国家代码,请求就会从该国家的 IP 发出。
为每种语言设置单独的任务队列,并分别使用不同的用户名。爬虫代码无需修改,结果会按语言分开积累。
计算 90 天的爬取费用
200 个连接、100 Mbps 档位的 Residence(90 天)每天 $3.31,合计 $297.90。同样的时间如果购买 90 次 Layover(1 天),需要 $391.50,Residence 便宜 $93.60。
规模更大的任务,可以购买 1,000 个连接、200 Mbps 档位的 Residence。每天 $7.19,合计 $647.10。在控制台可以输入 1~365 之间的任意天数,按爬取计划准确购买。
采集时需要遵守的规则
只采集公开内容,并遵守 robots.txt 和各网站的使用条款。请确认适用于 AI 训练的版权和隐私规定,在存储之前删除不需要的个人数据。
即使代理还有余量,也请为每个域名设置请求上限。下一个版本的数据集还需要再访问这些网站。
如何为AI 训练数据设置 ProxyWorld
1
按爬取周期所需的金额用加密货币充值。单次充值最多 $5,000。
2
按爬取天数购买不限流量住宅代理。Residence(90 天)每日价格最低。
3
为每种语言创建一个用户名,例如 pwexample1-zone-unl-cc-de,并分别接入任务队列。
4
将爬虫连接到 gate.proxyworld.shop:6100,并让并发连接数保持在所购档位之内。
常见问题
一个不限流量套餐可以覆盖多个国家吗?
可以。一个套餐可在全部 60 个国家使用。您在用户名中为每个请求选择国家。
爬取也需要粘性会话吗?
通常不需要。每个请求更换 IP 才能均匀分散负载。只在需要跨多个页面保留 Cookie 的网站上使用 -sid。
可以用哪些币种充值?
我们接受 USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON 和 Litecoin。金额会计入您的 USD 余额。
爬取结束了,余额还有剩余。
余额不会过期。可以用于下一次爬取或其他产品。