Proxy untuk pekerjaan scraping
Scraper mengirim banyak permintaan ke satu situs dalam waktu singkat. Paket unlimited ProxyWorld menyebarkan permintaan itu ke banyak IP koneksi rumahan dan hanya menagih per hari, berapa pun data yang Anda unduh.
Mengapa permintaan diblokir
Kebanyakan situs menghitung permintaan per IP. Begitu sebuah IP melewati batasnya, situs sengaja memperlambatnya atau menampilkan layar verifikasi. Beberapa ribu permintaan dari satu IP server cepat mencapai batas itu.
Lewat gateway (alamat masuk ke proxy), permintaan Anda keluar dari pool IP residensial yang besar. IP residensial adalah alamat di jaringan internet rumahan biasa. Total yang Anda kirim tetap sama, tetapi setiap IP hanya mengirim kira-kira sebanyak pengunjung biasa.
Harga ditentukan oleh durasi dan tingkatan
Pada tingkat 200 koneksi, 100 Mbps, Layover (1 hari) seharga $4.35. Tour (7 hari) $4.09 per hari dengan total $28.63, Stay (30 hari) $3.70 per hari dengan total $111.00, dan Residence (90 hari) $3.31 per hari dengan total $297.90.
Volume data tidak berpengaruh. Jika sebuah pekerjaan menarik lebih dari sekitar 11~14 GB per hari, unlimited lebih murah daripada residensial per GB. Mengumpulkan halaman toko yang penuh foto dengan mudah melewati angka itu.
Memilih tingkat koneksi
Hitung berapa permintaan yang terbuka pada satu waktu. Jika Anda menjalankan 150 worker (tugas pengumpulan yang berjalan bersamaan), tingkat 200 sudah cukup dan masih menyisakan ruang untuk mengulang permintaan yang gagal.
Jika ada beberapa server pengumpul, jumlahkan semua worker-nya. Sekitar 400 total cocok dengan tingkat 500 (200 Mbps). Harganya $7.12 untuk Layover, atau $6.05 per hari untuk Stay. Anda bisa memilih tingkat lain saat membeli paket berikutnya.
Apa yang boleh Anda kumpulkan
Halaman yang bisa dibuka siapa saja tanpa login: data produk publik, artikel berita, daftar bisnis, dan sejenisnya. Sebelum mulai, cek ketentuan penggunaan situs itu dan hukum di negara tempat Anda berbisnis.
Akun ditangguhkan karena percobaan login dengan kredensial bocor, spam, DDoS, atau akses ke situs pemerintah. Memberi jeda antar permintaan per domain meringankan beban server tujuan dan membuat Anda bisa terus mengumpulkan data dari sana dalam waktu lama.
Cara mengatur ProxyWorld untuk Web scraping
1
Daftar dengan email dan kata sandi, atau dengan token yang tampil di halaman pendaftaran. Lalu isi saldo USD Anda dengan kripto di jendela pembayaran.
2
Di residensial unlimited, pilih durasi (Layover, Tour, Stay, Residence, atau bebas 1~365 hari) dan tingkat koneksi, lalu bayar.
3
Tambahkan -zone-unl di akhir username proxy Anda. Jika butuh data per negara, tambahkan juga kode negara, seperti -cc-fr.
4
Masukkan gate.proxyworld.shop di pengaturan proxy scraper. Port-nya 6100 untuk HTTP dan 6200 untuk SOCKS5.
Pertanyaan umum
Apakah IP berganti di setiap permintaan?
Ya. Tanpa opsi -sid di username, setiap permintaan mendapat IP residensial baru.
Setelah login, saya butuh IP yang sama untuk beberapa halaman.
Tambahkan -sid- dan nama sesi ke username, misalnya -sid-shop01. Permintaan dengan nama sesi yang sama keluar dari IP yang sama, dan -ttl- mengatur berapa lama IP ditahan, hingga 60 menit.
Apakah ada batasan selain data?
Anda mendapat koneksi bersamaan dan kecepatan sesuai tingkat yang dibeli. Data tidak dihitung.
Status pesanan saya Sedang diaktifkan.
Pembayaran sudah selesai dan paket sedang disiapkan. Pesanan yang tidak bisa diaktifkan akan dibatalkan, dan seluruh jumlah yang Anda bayar kembali ke saldo.
Kasus penggunaan lainnya
Isi saldo $25, 73 GB residensial
Daftar dengan email atau token, isi saldo, dan langsung beli. Saldo Anda tidak pernah hangus.