스크래핑 작업을 위한 프록시
스크래퍼는 짧은 시간에 같은 사이트로 많은 요청을 보내요. ProxyWorld 무제한 요금제는 그 요청을 여러 가정 회선 IP로 흩어 보내고, 내려받은 데이터 양과 상관없이 날짜만큼만 요금을 받아요.
요청이 막히는 이유
대부분의 사이트는 IP별로 요청 수를 세요. 기준을 넘긴 IP에는 응답을 일부러 늦추거나 확인 화면을 보여 줘요. 서버 IP 하나로 몇천 번 요청하면 금방 이 기준에 닿아요.
게이트웨이(프록시로 들어가는 입구 주소)를 거치면 요청이 수많은 주거용 IP로 나뉘어 나가요. 주거용 IP는 일반 가정 인터넷 회선에 붙은 주소예요. 보내는 총량은 그대로지만, IP 하나가 보내는 양은 보통 방문자 수준이 돼요.
요금은 기간과 구간으로 정해져요
동시 접속 200개, 100 Mbps 구간 기준으로 Layover(1일)는 $4.35예요. Tour(7일)는 하루 $4.09로 합계 $28.63, Stay(30일)는 하루 $3.70로 합계 $111.00, Residence(90일)는 하루 $3.31로 합계 $297.90이에요.
데이터 양은 따지지 않아요. 하루 수집량이 대략 11~14 GB를 넘는다면 GB 단위 주거용보다 무제한 쪽이 더 싸요. 사진이 많은 쇼핑몰 페이지를 모으면 이 정도는 쉽게 넘어요.
동시 접속 구간 고르기
기준은 한순간에 열려 있는 요청 개수예요. 작업자(동시에 도는 수집 작업)를 150개 돌린다면 200개 구간이면 되고, 실패한 요청을 다시 보낼 자리도 남아요.
수집 서버가 여러 대면 작업자 수를 모두 더해서 보세요. 합이 400개 정도면 500개 구간(200 Mbps)이 알맞아요. Layover로 사면 $7.12, Stay로 사면 하루 $6.05예요. 구간은 다음에 요금제를 살 때 다시 고를 수 있어요.
모아도 되는 데이터
로그인하지 않아도 누구나 열 수 있는 페이지가 대상이에요. 공개된 상품 정보, 뉴스 기사, 업체 소개 같은 것들이요. 수집 전에 그 사이트 이용약관과 내가 사업하는 나라의 법을 먼저 확인하세요.
유출된 계정 정보로 로그인을 시도하거나 스팸, DDoS, 정부 사이트 접근에 쓰면 계정을 정지해요. 도메인별로 요청 사이에 간격을 두면 상대 서버에 부담이 덜하고, 같은 사이트를 오래 수집할 수 있어요.
웹 스크래핑에 ProxyWorld 연결하는 순서
1
이메일과 비밀번호, 또는 가입 화면에 나오는 토큰 중 하나로 가입해요. 그다음 결제 창에서 암호화폐로 USD 잔액을 충전해요.
2
무제한 주거용에서 기간(Layover, Tour, Stay, Residence 또는 1~365일 직접 입력)과 접속 구간을 골라 결제해요.
3
프록시 사용자 이름 끝에 -zone-unl을 붙여요. 나라별 데이터가 필요하면 -cc-fr처럼 나라 코드도 이어 붙여요.
4
스크래퍼 프록시 설정에 gate.proxyworld.shop을 넣어요. 포트는 HTTP가 6100, SOCKS5가 6200이에요.
자주 받는 질문
요청할 때마다 IP가 바뀌나요?
네. 사용자 이름에 -sid 옵션이 없으면 요청 하나마다 새 주거용 IP가 배정돼요.
로그인 후 몇 페이지는 같은 IP로 이어서 봐야 해요.
사용자 이름에 -sid-와 세션 이름을 붙이세요. 예를 들면 -sid-shop01이에요. 세션 이름이 같은 요청은 같은 IP로 나가고, 유지 시간은 -ttl-로 최대 60분까지 정해요.
데이터 말고 다른 제한이 있나요?
동시 접속 수와 속도는 산 구간만큼 쓸 수 있어요. 데이터 양은 세지 않아요.
주문 상태가 '개통 진행'이라고 나와요.
결제는 끝났고 요금제를 준비하고 있다는 뜻이에요. 개통이 안 되는 주문은 취소되고, 결제한 금액이 전부 잔액으로 돌아와요.