蒐集 AI 訓練資料用的代理

從公開網路建立資料集,代表要執行持續數週、涵蓋多種語言的爬取。使用 ProxyWorld 無限流量住宅代理,第一天就能確定整個期間的費用,並從 60 個國家送出請求。

按 GB 計價讓預算難以掌握

面對數千個網域,頁面大小不是您能決定的。只要混入幾個圖片與腳本很多的網站,GB 用量就可能超出計畫好幾倍。

無限流量只依期間與連線級距計價。因此在送出第一個請求之前,就能把 90 天的爬取預算寫成一個固定金額。

依語言分開蒐集

許多網站會檢查訪客 IP 所在的國家,並以該國語言顯示頁面。在使用者名稱放入 -cc-es(西班牙)或 -cc-id(印尼)之類的國家代碼,請求就會從該國的 IP 發出。

每種語言各用一個工作佇列,並各給一個不同的使用者名稱。爬蟲程式碼不需修改,結果會依語言分開累積。

試算 90 天的爬取

200 個連線、100 Mbps 級距的 Residence(90 天)為每天 $3.31,合計 $297.90。同樣期間購買 90 次 Layover(1 天)需要 $391.50,Residence 便宜 $93.60。

規模更大的工作,可購買 1,000 個連線、200 Mbps 級距的 Residence,每天 $7.19,合計 $647.10。在控制台可輸入 1~365 天的任意天數,依爬取排程購買剛好需要的量。

蒐集時應遵守的規則

只蒐集公開內容,並遵守 robots.txt 與各網站的使用條款。確認適用於 AI 訓練的著作權與隱私規定,儲存前先刪除不需要的個人資料。

即使代理還有餘裕,也請為每個網域設定請求上限。下一版資料集還會再回到同樣的網站。

如何為AI 訓練資料設定 ProxyWorld

  1. 1

    依爬取期間所需的金額,用加密貨幣儲值。單次儲值最高 $5,000。

  2. 2

    依爬取天數購買無限流量住宅代理。Residence(90 天)的每日價格最低。

  3. 3

    每種語言建立一個使用者名稱,例如 pwexample1-zone-unl-cc-de,並各自連接到一個工作佇列。

  4. 4

    把爬蟲連到 gate.proxyworld.shop:6100,並將同時連線數控制在所購買的級距內。

常見問題

一個無限流量方案可以涵蓋多個國家嗎?

可以。一個方案可在全部 60 個國家使用。每個請求的國家在使用者名稱中選擇。

爬取也需要固定 IP 工作階段嗎?

通常不需要。每個請求換 IP,才能平均分散負載。只有在 Cookie 必須跨多個頁面延續的網站才使用 -sid。

可以用哪些幣種儲值?

我們接受 USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON 與 Litecoin。金額會存入您的 USD 餘額。

爬取結束了,還剩下餘額。

餘額會保留,不會過期。可用於下一次爬取或其他產品。

儲值 $25,可買 73 GB 住宅代理

用電子郵件或權杖註冊,儲值後即可購買。餘額永不過期。