數據爬取工作專用代理

爬蟲會在短時間內向同一網站發出大量請求。ProxyWorld 無限流量計劃把這些請求分散到大量家用寬頻 IP,無論下載多少數據,都只按日數收費。

請求為何會被封鎖

大部分網站會按 IP 計算請求數量。一個 IP 超出限制後,網站會刻意減慢速度或顯示驗證畫面。由一個伺服器 IP 發出數千個請求,很快便會達到限制。

經閘道(代理的接入地址)連線,你的請求會由龐大的住宅 IP 池發出。住宅 IP 是指普通家用上網線路的地址。你發送的總量不變,但每個 IP 的發送量與一般訪客相若。

價格取決於使用期及級別

以 200 個連線、100 Mbps 級別計,Layover(1 日)為 $4.35。Tour(7 日)每日 $4.09,合共 $28.63;Stay(30 日)每日 $3.70,合共 $111.00;Residence(90 日)每日 $3.31,合共 $297.90。

數據量不影響價格。如工作每日下載超過約 11~14 GB,無限流量會比按 GB 計費的住宅代理便宜。收集圖片多的網店頁面,很容易便超過這個用量。

選擇連線級別

計算任何一刻同時開啟的請求數量。如你運行 150 個工作程序(同時運行的收集工作),200 級別已足夠,並有餘裕重試失敗的請求。

如有多部收集伺服器,請把所有工作程序加起來。合共約 400 個,適合 500 級別(200 Mbps)。Layover 為 $7.12,Stay 則每日 $6.05。下次購買計劃時可改選其他級別。

可以收集的內容

毋須登入、任何人都可開啟的頁面:公開產品資料、新聞文章、商戶名錄等。開始前,請查閱該網站的使用條款,以及你營業所在國家的法律。

以洩露的登入資料嘗試登入、發送垃圾訊息、DDoS 或存取政府網站,帳戶會被暫停。每個域名的請求之間預留間隔,可減輕對方伺服器的負荷,讓你長期持續收集。

如何為 網頁數據爬取 設定 ProxyWorld

  1. 1

    用電郵和密碼,或註冊頁顯示的權杖註冊。然後在付款視窗用加密貨幣增值美元餘額。

  2. 2

    在無限流量住宅代理下選擇使用期(Layover、Tour、Stay、Residence 或自訂 1~365 日)及連線級別,然後付款。

  3. 3

    在代理用戶名稱末尾加上 -zone-unl。如需按國家收集數據,再加上國家代碼,例如 -cc-fr。

  4. 4

    在爬蟲的代理設定中輸入 gate.proxyworld.shop。HTTP 端口為 6100,SOCKS5 為 6200。

常見問題

每個請求都會更換 IP 嗎?

會。用戶名稱中沒有 -sid 選項時,每個請求都會分配新的住宅 IP。

登入後,我需要在幾個頁面使用同一 IP。

在用戶名稱加上 -sid- 及連線階段名稱,例如 -sid-shop01。相同連線階段名稱的請求會由同一 IP 發出,-ttl- 設定保持時間,最長 60 分鐘。

除數據外還有其他限制嗎?

你會獲得所購級別的同時連線數及速度。數據量不計算。

我的訂單狀態顯示「啟用中」。

付款已完成,計劃正在準備中。無法啟用的訂單會被取消,你支付的全數金額會退回餘額。

增值 $25,可買 73 GB 住宅代理

用電郵或權杖註冊,增值後即可購買。餘額永不過期。