Proxy untuk kerja scraping
Scraper menghantar banyak permintaan ke satu laman dalam masa singkat. Pakej tanpa had ProxyWorld menyebarkan permintaan itu ke banyak IP sambungan rumah dan hanya mengenakan caj mengikut hari, berapa banyak pun data yang dimuat turun.
Mengapa permintaan disekat
Kebanyakan laman mengira permintaan bagi setiap IP. Apabila IP melepasi had, laman sengaja melambatkannya atau memaparkan skrin pengesahan. Beberapa ribu permintaan dari satu IP pelayan cepat mencapai had itu.
Melalui gateway (alamat masuk untuk proxy), permintaan anda keluar dari kumpulan besar IP kediaman. IP kediaman ialah alamat pada talian internet rumah biasa. Jumlah yang dihantar tetap sama, tetapi setiap IP menghantar lebih kurang sebanyak pelawat biasa.
Harga ditentukan oleh tempoh dan tahap
Pada tahap 200 sambungan, 100 Mbps, Layover (1 hari) berharga $4.35. Tour (7 hari) $4.09 sehari dengan jumlah $28.63, Stay (30 hari) $3.70 sehari dengan jumlah $111.00, dan Residence (90 hari) $3.31 sehari dengan jumlah $297.90.
Jumlah data tidak penting. Jika sesuatu kerja menarik lebih daripada kira-kira 11~14 GB sehari, pakej tanpa had lebih murah daripada kediaman mengikut GB. Mengumpul halaman kedai yang banyak foto mudah melepasi jumlah itu.
Memilih tahap sambungan
Kira berapa banyak permintaan yang terbuka pada satu-satu masa. Jika anda menjalankan 150 worker (kerja pengumpulan yang berjalan serentak), tahap 200 sudah memadai dan memberi ruang untuk mencuba semula permintaan yang gagal.
Dengan beberapa pelayan pengumpulan, jumlahkan semua worker. Kira-kira 400 secara keseluruhan sesuai dengan tahap 500 (200 Mbps). Harganya $7.12 pada Layover, atau $6.05 sehari pada Stay. Anda boleh memilih tahap lain pada kali seterusnya membeli pakej.
Apa yang boleh anda kumpul
Halaman yang boleh dibuka sesiapa sahaja tanpa log masuk: data produk awam, artikel berita, senarai perniagaan dan seumpamanya. Sebelum bermula, semak terma penggunaan laman tersebut dan undang-undang di negara anda menjalankan perniagaan.
Akaun digantung kerana cubaan log masuk dengan butiran yang bocor, spam, DDoS atau akses ke laman kerajaan. Memberi jarak antara permintaan bagi setiap domain mengurangkan beban pada pelayan pihak sana dan membolehkan anda terus mengumpul data daripadanya untuk jangka panjang.
Cara menyediakan ProxyWorld untuk Web scraping
1
Daftar dengan e-mel dan kata laluan, atau dengan token yang dipaparkan di halaman pendaftaran. Kemudian tambah nilai baki USD anda dengan kripto di tetingkap pembayaran.
2
Di bawah kediaman tanpa had, pilih tempoh (Layover, Tour, Stay, Residence atau tersuai 1~365 hari) dan tahap sambungan, kemudian bayar.
3
Tambah -zone-unl di hujung nama pengguna proxy anda. Jika anda perlukan data mengikut negara, tambah juga kod negara, seperti -cc-fr.
4
Masukkan gate.proxyworld.shop dalam tetapan proxy scraper. Port ialah 6100 untuk HTTP dan 6200 untuk SOCKS5.
Soalan lazim
Adakah IP bertukar pada setiap permintaan?
Ya. Tanpa pilihan -sid dalam nama pengguna, setiap permintaan diberi IP kediaman baharu.
Selepas log masuk, saya perlukan IP yang sama untuk beberapa halaman.
Tambah -sid- dan nama sesi pada nama pengguna, contohnya -sid-shop01. Permintaan dengan nama sesi yang sama keluar dari IP yang sama, dan -ttl- menetapkan berapa lama ia kekal, sehingga 60 minit.
Adakah had lain selain data?
Anda mendapat sambungan serentak dan kelajuan mengikut tahap yang dibeli. Data tidak dikira.
Status pesanan saya menunjukkan Sedang diaktifkan.
Bayaran sudah selesai dan pakej sedang disediakan. Pesanan yang tidak dapat diaktifkan akan dibatalkan, dan jumlah penuh yang anda bayar dikembalikan ke baki.
Tambah nilai $25, 73 GB kediaman
Daftar dengan e-mel atau token, tambah nilai dan terus beli. Baki anda tidak pernah luput.