スクレイピング用のプロキシ

スクレイパーは短時間に1つのサイトへ大量のリクエストを送ります。ProxyWorldの無制限プランは、それらのリクエストを多くの家庭用回線IPに分散し、ダウンロードするデータ量に関係なく日数分だけ課金します。

リクエストが遮断される理由

多くのサイトはIPごとにリクエスト数を数えています。上限を超えたIPは意図的に遅くされるか、認証画面が表示されます。1つのサーバーIPから数千件のリクエストを送ると、すぐに上限に達します。

ゲートウェイ (プロキシの入口となるアドレス) を通すと、リクエストは大規模な住宅用IPのプールから送信されます。住宅用IPとは、一般家庭のインターネット回線のアドレスです。送る総量は同じでも、IPごとの量は普通の訪問者と同じくらいになります。

同時接続200、100 Mbpsの段階では、Layover (1日) が$4.35です。Tour (7日) は1日$4.09で合計$28.63、Stay (30日) は1日$3.70で合計$111.00、Residence (90日) は1日$3.31で合計$297.90です。

データ量は関係ありません。1日に約11~14 GB以上取得する作業なら、GB単位の住宅用より無制限の方が安くなります。写真の多いストアのページを収集すれば、この量はすぐに超えます。

ある瞬間に同時に開いているリクエストの数を数えてください。ワーカー (同時に動く収集処理) が150なら、200の段階で足り、失敗したリクエストを再試行する余裕もあります。

収集サーバーが複数ある場合は、すべてのワーカー数を合計してください。合計400前後なら500の段階 (200 Mbps) が合います。Layoverで$7.12、Stayなら1日$6.05です。次にプランを購入するときに別の段階を選ぶこともできます。

ログインせずに誰でも開けるページです。公開されている商品データ、ニュース記事、企業情報などが該当します。始める前に、そのサイトの利用規約と、事業を行う国の法令をご確認ください。

流出した認証情報によるログインの試み、スパム、DDoS、政府機関サイトへのアクセスはアカウント停止の対象です。ドメインごとにリクエストの間隔を空けると相手のサーバーの負荷が減り、長く収集を続けられます。

リクエストごとにIPは変わりますか。

はい。ユーザー名に-sidオプションがなければ、リクエストごとに新しい住宅用IPが割り当てられます。

ログイン後、数ページは同じIPが必要です。

ユーザー名に-sid-とセッション名を付けてください (例: -sid-shop01)。同じセッション名のリクエストは同じIPから送信され、-ttl-で維持時間を最大60分まで設定できます。

データ量以外に制限はありますか。

購入した段階の同時接続数と速度が使えます。データ量は数えません。

注文の状態が「準備中」になっています。

お支払いは完了しており、プランを準備しています。開通できない注文はキャンセルされ、お支払い額の全額が残高に戻ります。

メールアドレスかトークンで登録し、チャージしてすぐに購入できます。残高に有効期限はありません。