收集 AI 訓練數據專用代理
用公開網頁建立數據集,代表要進行持續數星期、涵蓋多種語言的爬取。使用 ProxyWorld 無限流量住宅代理,第一日便可確定整個期間的費用,並由 60 個國家發出請求。
按 GB 計價令預算難以控制
面對數以千計的域名,頁面大小並非你能控制。只要混入幾個圖片和腳本多的網站,GB 用量便可能超出計劃好幾倍。
無限流量只按使用期及連線級別計價。因此在發出第一個請求前,你已可把 90 日爬取預算寫成一個固定金額。
按語言分開收集
不少網站會檢查訪客 IP 所在國家,並以該國語言顯示頁面。在用戶名稱加上 -cc-es(西班牙)或 -cc-id(印尼)等國家代碼,請求便會由該國 IP 發出。
為每種語言設立獨立的工作佇列,並各自使用不同的用戶名稱。爬蟲程式碼毋須修改,結果會按語言分開累積。
計算 90 日的爬取費用
200 個連線、100 Mbps 級別的 Residence(90 日)每日 $3.31,合共 $297.90。同一期間購買 90 次 Layover(1 日)需 $391.50,因此 Residence 便宜 $93.60。
較大型的工作可購買 1,000 個連線、200 Mbps 級別的 Residence,每日 $7.19,合共 $647.10。你可在控制台輸入 1~365 日內任何日數,按爬取時間表準確購買。
收集時須遵守的規則
只收集公開內容,並遵守 robots.txt 及各網站的使用條款。請查閱適用於 AI 訓練的版權及私隱規則,並在儲存前刪除不需要的個人資料。
即使代理仍有餘裕,亦請為每個域名設定請求上限。製作下一版數據集時,你還會再到訪同一批網站。
如何為 AI 訓練數據 設定 ProxyWorld
1
按爬取期所需金額用加密貨幣增值。每次增值最多 $5,000。
2
按爬取日數購買無限流量住宅代理。Residence(90 日)的每日價格最低。
3
為每種語言建立一個用戶名稱,例如 pwexample1-zone-unl-cc-de,並各自接到一個工作佇列。
4
把爬蟲連接到 gate.proxyworld.shop:6100,並把同時連線數控制在所購級別之內。
常見問題
一個無限流量計劃可以涵蓋多個國家嗎?
可以。一個計劃適用於全部 60 個國家。每個請求的國家可在用戶名稱中選擇。
爬取也需要黏性連線嗎?
通常不需要。每個請求更換 IP 才能平均分散負荷。只在需要跨多個頁面保留 Cookie 的網站使用 -sid。
可以用哪些加密貨幣增值?
我們接受 USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON 及 Litecoin。金額會存入你的美元餘額。
爬取已完成,但我還有餘額。
餘額不設期限,可用於下一次爬取或其他產品。