蒐集 AI 訓練資料用的代理
從公開網路建立資料集,代表要執行持續數週、涵蓋多種語言的爬取。使用 ProxyWorld 無限流量住宅代理,第一天就能確定整個期間的費用,並從 60 個國家送出請求。
按 GB 計價讓預算難以掌握
面對數千個網域,頁面大小不是您能決定的。只要混入幾個圖片與腳本很多的網站,GB 用量就可能超出計畫好幾倍。
無限流量只依期間與連線級距計價。因此在送出第一個請求之前,就能把 90 天的爬取預算寫成一個固定金額。
依語言分開蒐集
許多網站會檢查訪客 IP 所在的國家,並以該國語言顯示頁面。在使用者名稱放入 -cc-es(西班牙)或 -cc-id(印尼)之類的國家代碼,請求就會從該國的 IP 發出。
每種語言各用一個工作佇列,並各給一個不同的使用者名稱。爬蟲程式碼不需修改,結果會依語言分開累積。
試算 90 天的爬取
200 個連線、100 Mbps 級距的 Residence(90 天)為每天 $3.31,合計 $297.90。同樣期間購買 90 次 Layover(1 天)需要 $391.50,Residence 便宜 $93.60。
規模更大的工作,可購買 1,000 個連線、200 Mbps 級距的 Residence,每天 $7.19,合計 $647.10。在控制台可輸入 1~365 天的任意天數,依爬取排程購買剛好需要的量。
蒐集時應遵守的規則
只蒐集公開內容,並遵守 robots.txt 與各網站的使用條款。確認適用於 AI 訓練的著作權與隱私規定,儲存前先刪除不需要的個人資料。
即使代理還有餘裕,也請為每個網域設定請求上限。下一版資料集還會再回到同樣的網站。
如何為AI 訓練資料設定 ProxyWorld
1
依爬取期間所需的金額,用加密貨幣儲值。單次儲值最高 $5,000。
2
依爬取天數購買無限流量住宅代理。Residence(90 天)的每日價格最低。
3
每種語言建立一個使用者名稱,例如 pwexample1-zone-unl-cc-de,並各自連接到一個工作佇列。
4
把爬蟲連到 gate.proxyworld.shop:6100,並將同時連線數控制在所購買的級距內。
常見問題
一個無限流量方案可以涵蓋多個國家嗎?
可以。一個方案可在全部 60 個國家使用。每個請求的國家在使用者名稱中選擇。
爬取也需要固定 IP 工作階段嗎?
通常不需要。每個請求換 IP,才能平均分散負載。只有在 Cookie 必須跨多個頁面延續的網站才使用 -sid。
可以用哪些幣種儲值?
我們接受 USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON 與 Litecoin。金額會存入您的 USD 餘額。
爬取結束了,還剩下餘額。
餘額會保留,不會過期。可用於下一次爬取或其他產品。