AI 학습 데이터를 모으는 프록시
공개 웹에서 데이터셋을 만들면 크롤링이 몇 주 동안 이어지고, 언어도 여러 개를 다뤄요. ProxyWorld 무제한 주거용으로 돌리면 전체 기간 비용을 첫날 정해 둘 수 있고, 요청은 60개 나라에서 보낼 수 있어요.
GB 요금으로는 예산을 맞추기 어려워요
도메인이 수천 개가 되면 페이지 용량은 내가 정할 수 없어요. 사진과 스크립트가 무거운 사이트가 조금만 섞여도 GB 사용량이 계획보다 몇 배 늘어나요.
무제한 요금은 기간과 접속 구간으로만 정해져요. 그래서 90일 크롤링 예산을 첫 요청을 보내기 전에 금액 하나로 적어 둘 수 있어요.
언어별 데이터 나눠 모으기
사이트 상당수는 방문자 IP가 어느 나라인지 보고 그 나라 언어 페이지를 보여 줘요. 사용자 이름에 -cc-es(스페인)나 -cc-id(인도네시아) 같은 나라 코드를 넣으면 그 나라 IP로 요청이 나가요.
언어별로 작업 대기열을 따로 두고 사용자 이름만 다르게 지정하세요. 크롤러 코드는 고칠 필요가 없고, 결과도 언어별로 따로 쌓여요.
90일 크롤링 비용 계산
200개, 100 Mbps 구간을 Residence(90일)로 사면 하루 $3.31, 합계 $297.90이에요. 같은 기간을 Layover(1일)로 90번 사면 $391.50이라, Residence가 $93.60 덜 들어요.
규모가 크면 1,000개, 200 Mbps 구간을 Residence로 사요. 하루 $7.19, 합계 $647.10이에요. 대시보드에서는 기간을 1~365일 중 원하는 일수로 넣을 수 있어서 크롤링 일정에 맞춰 살 수 있어요.
수집할 때 지켜야 할 것
공개된 콘텐츠만 모으고, robots.txt와 사이트 이용약관을 따르세요. AI 학습에 쓸 때 적용되는 저작권, 개인정보 규정도 확인하고, 필요 없는 개인정보는 저장 전에 지워 두세요.
프록시 용량이 남아도 도메인마다 요청 수 상한을 정해 두세요. 데이터셋 다음 판을 만들 때 같은 사이트를 다시 찾아가게 되니까요.
AI 학습 데이터에 ProxyWorld 연결하는 순서
1
크롤링 기간에 필요한 금액을 암호화폐로 충전해요. 한 번에 $5,000까지 넣을 수 있어요.
2
크롤링 일수만큼 무제한 주거용을 사요. 하루 단가는 Residence(90일)가 가장 낮아요.
3
pwexample1-zone-unl-cc-de처럼 언어마다 사용자 이름을 하나씩 만들어 작업 대기열에 연결해요.
4
크롤러를 gate.proxyworld.shop:6100에 연결하고, 동시 접속 수가 산 구간을 넘지 않게 맞춰 두세요.
자주 받는 질문
무제한 요금제 하나로 여러 나라를 쓸 수 있나요?
네. 요금제 하나로 60개 나라를 모두 써요. 요청마다 사용자 이름에서 나라를 정하면 돼요.
크롤링에도 고정 세션이 필요할까요?
보통은 필요 없어요. 요청마다 IP가 바뀌어야 부하가 고르게 나뉘어요. 여러 페이지에 걸쳐 쿠키가 유지돼야 하는 사이트에서만 -sid를 쓰세요.
충전할 수 있는 코인은 무엇인가요?
USDT, USDC, 비트코인, 이더리움, BNB, 솔라나, 트론, 라이트코인을 받아요. 충전한 금액은 USD 잔액으로 들어가요.
크롤링을 마쳤는데 잔액이 남았어요.
잔액은 기한 없이 남아 있어요. 다음 크롤링이나 다른 상품을 살 때 쓰세요.