Проксі для парсингу
Парсер надсилає багато запитів до одного сайту за короткий час. Безлімітний тариф ProxyWorld розподіляє ці запити між багатьма IP домашніх підключень і бере плату лише за дні, скільки б даних ви не завантажили.
Чому запити блокуються
Більшість сайтів рахують запити з кожного IP. Щойно IP перевищує ліміт, його навмисно сповільнюють або показують екран перевірки. Кілька тисяч запитів з одного серверного IP швидко досягають цього ліміту.
Через шлюз (вхідну адресу проксі) ваші запити виходять з великого пулу резидентних IP. Резидентний IP: адреса на звичайній домашній інтернет-лінії. Загальний обсяг запитів той самий, але кожен IP надсилає приблизно стільки, скільки звичайний відвідувач.
Ціна залежить від терміну та сходинки
На сходинці 200 підключень і 100 Mbps Layover (1 день) коштує $4.35. Tour (7 днів) коштує $4.09 на день, разом $28.63, Stay (30 днів) $3.70 на день, разом $111.00, а Residence (90 днів) $3.31 на день, разом $297.90.
Обсяг даних не має значення. Якщо завдання завантажує більше ніж приблизно 11~14 GB на день, безлімітний тариф дешевший за резидентні з оплатою за GB. Збір сторінок магазинів з великою кількістю фото легко перевищує цей поріг.
Вибір сходинки підключень
Порахуйте, скільки запитів відкрито водночас. Якщо ви запускаєте 150 воркерів (завдань збору, що працюють одночасно), сходинки 200 достатньо, і лишається запас для повтору невдалих запитів.
Якщо серверів для збору кілька, складіть усіх їхніх воркерів. Близько 400 разом підходить до сходинки 500 (200 Mbps). Це $7.12 на Layover або $6.05 на день на Stay. Під час наступної купівлі тарифу можна обрати іншу сходинку.
Що можна збирати
Сторінки, які будь-хто може відкрити без входу: публічні дані про товари, новини, каталоги компаній тощо. Перед початком перевірте умови використання сайту та закони країни, де ви ведете бізнес.
Акаунти призупиняються за спроби входу з викраденими даними, спам, DDoS або доступ до державних сайтів. Паузи між запитами до одного домену зменшують навантаження на чужий сервер і дають змогу довго збирати з нього дані.
Як налаштувати ProxyWorld для Парсинг сайтів
1
Зареєструйтеся через email і пароль або через токен зі сторінки реєстрації. Потім поповніть баланс у USD криптовалютою у вікні оплати.
2
У розділі безлімітних резидентних проксі оберіть термін (Layover, Tour, Stay, Residence або довільні 1~365 днів) і сходинку підключень, потім оплатіть.
3
Додайте -zone-unl у кінець логіна проксі. Якщо потрібні дані за країнами, додайте також код країни, наприклад -cc-fr.
4
Вкажіть gate.proxyworld.shop у налаштуваннях проксі парсера. Порт 6100 для HTTP і 6200 для SOCKS5.
Часті запитання
Чи змінюється IP з кожним запитом?
Так. Без параметра -sid у логіні кожному запиту призначається новий резидентний IP.
Після входу мені потрібен той самий IP для кількох сторінок.
Додайте до логіна -sid- і назву сесії, наприклад -sid-shop01. Запити з однаковою назвою сесії виходять з того самого IP, а -ttl- задає, як довго він утримується, до 60 хвилин.
Чи є обмеження, крім трафіку?
Ви отримуєте одночасні підключення та швидкість купленої сходинки. Трафік не рахується.
Замовлення має статус «Активується».
Оплату завершено, тариф готується. Замовлення, яке не вдалося активувати, скасовується, і вся сплачена сума повертається на баланс.
Інші сценарії використання
Поповнення $25, 73 GB резидентних
Зареєструйтеся через email або токен, поповніть баланс і купуйте одразу. Баланс не згорає.