爬蟲工作用的代理
爬蟲會在短時間內對同一個網站送出大量請求。ProxyWorld 無限流量方案把這些請求分散到許多家用網路 IP 上,不論下載多少資料,都只按天數收費。
請求為什麼會被封鎖
大多數網站會計算每個 IP 的請求數。一旦某個 IP 超過限制,網站就會刻意降速或顯示驗證畫面。從單一伺服器 IP 送出幾千個請求,很快就會達到限制。
透過連線位址(代理的入口位址),您的請求會從龐大的住宅 IP 池發出。住宅 IP 是一般家用網路線路上的位址。送出的總量不變,但每個 IP 送出的量和一般訪客差不多。
價格由期間與級距決定
以 200 個連線、100 Mbps 的級距計算,Layover(1 天)為 $4.35。Tour(7 天)每天 $4.09,合計 $28.63;Stay(30 天)每天 $3.70,合計 $111.00;Residence(90 天)每天 $3.31,合計 $297.90。
資料量不影響價格。如果一項工作每天抓取超過約 11~14 GB,無限流量會比按 GB 計費的住宅代理便宜。蒐集圖片很多的商店頁面,很容易超過這個量。
選擇連線級距
計算任一時刻同時開啟的請求數。如果您執行 150 個 worker(同時執行的蒐集工作),200 級距就足夠,還有餘裕重試失敗的請求。
使用多台蒐集伺服器時,請把所有 worker 加總。總數約 400 個適合 500 級距(200 Mbps)。Layover 為 $7.12,Stay 為每天 $6.05。下次購買方案時可以改選其他級距。
可以蒐集什麼
任何人不需登入就能開啟的頁面:公開的商品資料、新聞文章、商家名錄等。開始前,請確認該網站的使用條款,以及您營業所在國家的法律。
使用外洩憑證嘗試登入、發送垃圾訊息、DDoS 或存取政府網站的帳號會被停權。對每個網域的請求之間留出間隔,可以減輕對方伺服器的負擔,讓您能長期持續蒐集。
如何為網路爬蟲設定 ProxyWorld
1
用電子郵件與密碼,或註冊頁顯示的權杖註冊。然後在付款視窗用加密貨幣儲值 USD 餘額。
2
在無限流量住宅代理中選擇期間(Layover、Tour、Stay、Residence 或自訂 1~365 天)與連線級距,然後付款。
3
在代理使用者名稱最後加上 -zone-unl。如果需要各國資料,再加上國家代碼,例如 -cc-fr。
4
在爬蟲的代理設定中輸入 gate.proxyworld.shop。HTTP 連接埠為 6100,SOCKS5 為 6200。
常見問題
每個請求都會換 IP 嗎?
是的。使用者名稱中沒有 -sid 選項時,每個請求都會分配新的住宅 IP。
登入後,我需要在幾個頁面使用同一個 IP。
在使用者名稱加上 -sid- 與工作階段名稱,例如 -sid-shop01。相同工作階段名稱的請求會從同一個 IP 發出,-ttl- 設定保持時間,最長 60 分鐘。
除了資料量之外還有其他限制嗎?
您可使用所購買級距的同時連線數與速度。資料量不計算。
我的訂單狀態顯示開通中。
付款已完成,方案正在準備中。無法開通的訂單會被取消,您支付的全部金額會退回餘額。