收集 AI 訓練數據專用代理

用公開網頁建立數據集,代表要進行持續數星期、涵蓋多種語言的爬取。使用 ProxyWorld 無限流量住宅代理,第一日便可確定整個期間的費用,並由 60 個國家發出請求。

按 GB 計價令預算難以控制

面對數以千計的域名,頁面大小並非你能控制。只要混入幾個圖片和腳本多的網站,GB 用量便可能超出計劃好幾倍。

無限流量只按使用期及連線級別計價。因此在發出第一個請求前,你已可把 90 日爬取預算寫成一個固定金額。

按語言分開收集

不少網站會檢查訪客 IP 所在國家,並以該國語言顯示頁面。在用戶名稱加上 -cc-es(西班牙)或 -cc-id(印尼)等國家代碼,請求便會由該國 IP 發出。

為每種語言設立獨立的工作佇列,並各自使用不同的用戶名稱。爬蟲程式碼毋須修改,結果會按語言分開累積。

計算 90 日的爬取費用

200 個連線、100 Mbps 級別的 Residence(90 日)每日 $3.31,合共 $297.90。同一期間購買 90 次 Layover(1 日)需 $391.50,因此 Residence 便宜 $93.60。

較大型的工作可購買 1,000 個連線、200 Mbps 級別的 Residence,每日 $7.19,合共 $647.10。你可在控制台輸入 1~365 日內任何日數,按爬取時間表準確購買。

收集時須遵守的規則

只收集公開內容,並遵守 robots.txt 及各網站的使用條款。請查閱適用於 AI 訓練的版權及私隱規則,並在儲存前刪除不需要的個人資料。

即使代理仍有餘裕,亦請為每個域名設定請求上限。製作下一版數據集時,你還會再到訪同一批網站。

如何為 AI 訓練數據 設定 ProxyWorld

  1. 1

    按爬取期所需金額用加密貨幣增值。每次增值最多 $5,000。

  2. 2

    按爬取日數購買無限流量住宅代理。Residence(90 日)的每日價格最低。

  3. 3

    為每種語言建立一個用戶名稱,例如 pwexample1-zone-unl-cc-de,並各自接到一個工作佇列。

  4. 4

    把爬蟲連接到 gate.proxyworld.shop:6100,並把同時連線數控制在所購級別之內。

常見問題

一個無限流量計劃可以涵蓋多個國家嗎?

可以。一個計劃適用於全部 60 個國家。每個請求的國家可在用戶名稱中選擇。

爬取也需要黏性連線嗎?

通常不需要。每個請求更換 IP 才能平均分散負荷。只在需要跨多個頁面保留 Cookie 的網站使用 -sid。

可以用哪些加密貨幣增值?

我們接受 USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON 及 Litecoin。金額會存入你的美元餘額。

爬取已完成,但我還有餘額。

餘額不設期限,可用於下一次爬取或其他產品。

增值 $25,可買 73 GB 住宅代理

用電郵或權杖註冊,增值後即可購買。餘額永不過期。