AI学習データ収集用のプロキシ
公開ウェブからデータセットを作るには、数週間続き、複数の言語にまたがるクロールが必要です。ProxyWorldの無制限住宅用で動かせば、初日に期間全体の費用を確定でき、60か国からリクエストを送れます。
GB課金では予算が立てにくい
数千のドメインを扱うと、ページの大きさは選べません。写真やスクリプトの多いサイトがいくつか混ざるだけで、GBの使用量はプランの数倍に増えることがあります。
無制限の料金は期間と接続数の段階だけで決まります。そのため、最初のリクエストを送る前に、90日間のクロール予算を1つの金額として書き出せます。
言語ごとに分けて収集する
多くのサイトは訪問者のIPがどの国かを確認し、その国の言語でページを表示します。ユーザー名に-cc-es (スペイン) や-cc-id (インドネシア) のような国コードを入れると、その国のIPからリクエストが送信されます。
言語ごとにジョブキューを分け、それぞれに別のユーザー名を割り当ててください。クローラーのコードを変える必要はなく、結果は言語ごとに分かれてたまります。
90日間のクロールの計算
同時接続200、100 Mbpsの段階をResidence (90日) にすると1日$3.31、合計$297.90です。同じ期間にLayover (1日) を90回購入すると$391.50になるため、Residenceの方が$93.60安くなります。
より大きな作業なら、同時接続1,000、200 Mbpsの段階をResidenceで購入してください。1日$7.19、合計$647.10です。ダッシュボードでは1~365日の任意の日数を入力できるので、クロールの日程に必要な分だけ購入できます。
収集時に守るルール
公開コンテンツのみを収集し、robots.txtと各サイトの利用規約に従ってください。AI学習に適用される著作権とプライバシーのルールを確認し、保存する前に不要な個人データを削除してください。
プロキシに余裕があっても、ドメインごとにリクエストの上限を設けてください。データセットの次のバージョンでも、同じサイトを再び訪れることになります。
AI学習データ向けのProxyWorld設定方法
1
クロール期間に必要な金額を暗号資産でチャージします。一度のチャージは最大$5,000です。
2
クロールする日数分の無制限住宅用を購入します。Residence (90日) が最も安い日額です。
3
pwexample1-zone-unl-cc-deのように言語ごとにユーザー名を1つ作り、それぞれをジョブキューにつなぎます。
4
クローラーをgate.proxyworld.shop:6100に接続し、同時接続数を購入した段階の範囲内に収めます。
よくある質問
1つの無制限プランで複数の国に対応できますか。
はい。1つのプランで60か国すべてで使えます。国はリクエストごとにユーザー名で選びます。
クロールにもスティッキーセッションは必要ですか。
通常は不要です。リクエストごとにIPを変えることで負荷が均等に分散されます。-sidは、複数ページにわたってCookieを引き継ぐ必要があるサイトでだけ使ってください。
どの暗号資産でチャージできますか。
USDT、USDC、Bitcoin、Ethereum、BNB、Solana、TRON、Litecoinに対応しています。金額はUSD残高に入ります。
クロールが終わり、残高が残っています。
残高は有効期限なしで残ります。次のクロールやほかの製品に使ってください。