Proxy cho công việc scraping
Công cụ scraping gửi rất nhiều yêu cầu đến một trang trong thời gian ngắn. Gói không giới hạn của ProxyWorld chia các yêu cầu đó qua nhiều IP mạng gia đình và chỉ tính tiền theo ngày, dù bạn tải về bao nhiêu dữ liệu.
Vì sao yêu cầu bị chặn
Hầu hết các trang đếm số yêu cầu theo từng IP. Khi một IP vượt giới hạn, họ cố ý làm chậm hoặc hiện màn hình xác minh. Vài nghìn yêu cầu từ một IP máy chủ sẽ chạm giới hạn đó rất nhanh.
Qua gateway (địa chỉ vào của proxy), yêu cầu của bạn đi ra từ một kho IP dân cư lớn. IP dân cư là địa chỉ trên đường truyền internet gia đình thông thường. Tổng lượng bạn gửi không đổi, nhưng mỗi IP chỉ gửi khoảng bằng một người truy cập bình thường.
Giá tính theo thời hạn và mức kết nối
Với mức 200 kết nối, 100 Mbps, Layover (1 ngày) giá $4.35. Tour (7 ngày) giá $4.09 mỗi ngày, tổng $28.63, Stay (30 ngày) giá $3.70 mỗi ngày, tổng $111.00, và Residence (90 ngày) giá $3.31 mỗi ngày, tổng $297.90.
Lượng dữ liệu không ảnh hưởng. Nếu một công việc tải hơn khoảng 11~14 GB mỗi ngày, gói không giới hạn rẻ hơn dân cư tính theo GB. Thu thập trang cửa hàng nhiều ảnh sẽ dễ dàng vượt mức đó.
Chọn mức kết nối
Đếm số yêu cầu đang mở tại cùng một thời điểm. Nếu bạn chạy 150 worker (các tác vụ thu thập chạy cùng lúc), mức 200 là đủ và còn dư để thử lại yêu cầu lỗi.
Với nhiều máy chủ thu thập, hãy cộng tổng số worker của tất cả. Khoảng 400 worker phù hợp với mức 500 (200 Mbps). Giá $7.12 với Layover, hoặc $6.05 mỗi ngày với Stay. Lần mua gói sau, bạn có thể chọn mức khác.
Bạn được thu thập những gì
Các trang ai cũng mở được mà không cần đăng nhập: dữ liệu sản phẩm công khai, bài báo, danh bạ doanh nghiệp và tương tự. Trước khi bắt đầu, hãy kiểm tra điều khoản sử dụng của trang đó và pháp luật tại quốc gia bạn kinh doanh.
Tài khoản sẽ bị tạm ngưng nếu thử đăng nhập bằng thông tin bị lộ, spam, DDoS hoặc truy cập trang của cơ quan nhà nước. Giãn cách các yêu cầu theo từng tên miền giúp giảm tải cho máy chủ bên kia và giúp bạn thu thập lâu dài từ đó.
Cách cài đặt ProxyWorld cho Web scraping
1
Đăng ký bằng email và mật khẩu, hoặc bằng token hiển thị trên trang đăng ký. Sau đó nạp tiền mã hóa vào số dư USD trong cửa sổ thanh toán.
2
Ở mục dân cư không giới hạn, chọn thời hạn (Layover, Tour, Stay, Residence hoặc tùy chọn 1~365 ngày) và mức kết nối, rồi thanh toán.
3
Thêm -zone-unl vào cuối tên người dùng proxy. Nếu cần dữ liệu theo quốc gia, thêm cả mã quốc gia, ví dụ -cc-fr.
4
Nhập gate.proxyworld.shop vào cài đặt proxy của công cụ scraping. Cổng 6100 cho HTTP và 6200 cho SOCKS5.
Câu hỏi thường gặp
IP có đổi ở mỗi yêu cầu không?
Có. Nếu tên người dùng không có tùy chọn -sid, mỗi yêu cầu được cấp một IP dân cư mới.
Sau khi đăng nhập, tôi cần cùng một IP cho vài trang.
Thêm -sid- và tên phiên vào tên người dùng, ví dụ -sid-shop01. Các yêu cầu cùng tên phiên đi ra từ cùng một IP, và -ttl- đặt thời gian giữ, tối đa 60 phút.
Ngoài dữ liệu còn giới hạn nào khác không?
Bạn được dùng số kết nối đồng thời và tốc độ của mức đã mua. Dữ liệu không bị tính.
Trạng thái đơn hàng của tôi hiện Đang kích hoạt.
Thanh toán đã xong và gói đang được chuẩn bị. Đơn không kích hoạt được sẽ bị hủy, toàn bộ số tiền bạn đã trả sẽ về lại số dư.
Nạp $25, dùng 73 GB dân cư
Đăng ký bằng email hoặc token, nạp tiền và mua ngay. Số dư không bao giờ hết hạn.