用于采集 AI 训练数据的代理

从公开网页构建数据集,意味着要进行持续数周、覆盖多种语言的爬取。使用 ProxyWorld 不限流量住宅代理,第一天就能确定整个周期的费用,并从 60 个国家发出请求。

按 GB 计价让预算难以控制

面对成千上万个域名,页面大小不由您决定。只要混入几个图片和脚本很多的网站,GB 用量就可能超出计划好几倍。

不限流量只按时长和连接数档位计价。因此在发出第一个请求之前,就可以把 90 天的爬取预算写成一个固定金额。

按语言分别采集

许多网站会检查访客 IP 所在的国家,并以该国家的语言显示页面。在用户名中加入 -cc-es(西班牙)或 -cc-id(印度尼西亚)等国家代码,请求就会从该国家的 IP 发出。

为每种语言设置单独的任务队列,并分别使用不同的用户名。爬虫代码无需修改,结果会按语言分开积累。

计算 90 天的爬取费用

200 个连接、100 Mbps 档位的 Residence(90 天)每天 $3.31,合计 $297.90。同样的时间如果购买 90 次 Layover(1 天),需要 $391.50,Residence 便宜 $93.60。

规模更大的任务,可以购买 1,000 个连接、200 Mbps 档位的 Residence。每天 $7.19,合计 $647.10。在控制台可以输入 1~365 之间的任意天数,按爬取计划准确购买。

采集时需要遵守的规则

只采集公开内容,并遵守 robots.txt 和各网站的使用条款。请确认适用于 AI 训练的版权和隐私规定,在存储之前删除不需要的个人数据。

即使代理还有余量,也请为每个域名设置请求上限。下一个版本的数据集还需要再访问这些网站。

如何为AI 训练数据设置 ProxyWorld

  1. 1

    按爬取周期所需的金额用加密货币充值。单次充值最多 $5,000。

  2. 2

    按爬取天数购买不限流量住宅代理。Residence(90 天)每日价格最低。

  3. 3

    为每种语言创建一个用户名,例如 pwexample1-zone-unl-cc-de,并分别接入任务队列。

  4. 4

    将爬虫连接到 gate.proxyworld.shop:6100,并让并发连接数保持在所购档位之内。

常见问题

一个不限流量套餐可以覆盖多个国家吗?

可以。一个套餐可在全部 60 个国家使用。您在用户名中为每个请求选择国家。

爬取也需要粘性会话吗?

通常不需要。每个请求更换 IP 才能均匀分散负载。只在需要跨多个页面保留 Cookie 的网站上使用 -sid。

可以用哪些币种充值?

我们接受 USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON 和 Litecoin。金额会计入您的 USD 余额。

爬取结束了,余额还有剩余。

余额不会过期。可以用于下一次爬取或其他产品。

充值 $25,即可购买 73 GB 住宅代理流量

用邮箱或令牌注册,充值后即可购买。余额永不过期。