Прокси для парсинга
Парсер отправляет на один сайт много запросов за короткое время. Безлимитный тариф ProxyWorld распределяет эти запросы по множеству IP домашних подключений и берет плату только за дни, сколько бы данных вы ни скачали.
Почему запросы блокируют
Большинство сайтов считают запросы с каждого IP. Когда IP превышает лимит, его специально замедляют или показывают экран проверки. Несколько тысяч запросов с одного серверного IP быстро достигают этого лимита.
Через шлюз (адрес входа в прокси) ваши запросы выходят из большого пула резидентных IP. Резидентный IP: адрес на обычной домашней интернет-линии. Общий объем запросов не меняется, но каждый IP отправляет примерно столько же, сколько обычный посетитель.
Цена зависит от срока и ступени
На ступени 200 подключений, 100 Mbps Layover (1 день) стоит $4.35. Tour (7 дней) стоит $4.09 в день, всего $28.63, Stay (30 дней) $3.70 в день, всего $111.00, а Residence (90 дней) $3.31 в день, всего $297.90.
Объем данных не важен. Если задача скачивает больше примерно 11~14 GB в день, безлимит дешевле резидентных прокси за GB. При сборе страниц магазинов с большим количеством фото этот порог легко превысить.
Выбор ступени подключений
Посчитайте, сколько запросов открыто одновременно. Если у вас 150 воркеров (задач сбора, работающих одновременно), ступени 200 достаточно, и останется запас для повтора неудачных запросов.
Если серверов сбора несколько, сложите всех их воркеров. Около 400 в сумме подходят под ступень 500 (200 Mbps). Она стоит $7.12 на Layover или $6.05 в день на Stay. При следующей покупке тарифа можно выбрать другую ступень.
Что можно собирать
Страницы, которые любой может открыть без входа: публичные данные о товарах, новости, каталоги компаний и тому подобное. Перед началом проверьте условия использования сайта и законы страны, где вы ведете бизнес.
Аккаунты блокируются за попытки входа с утекшими данными, спам, DDoS или доступ к государственным сайтам. Паузы между запросами к одному домену снижают нагрузку на чужой сервер и позволяют собирать с него данные долго.
Как настроить ProxyWorld для Парсинг сайтов
1
Зарегистрируйтесь по email и паролю или по токену со страницы регистрации. Затем пополните баланс в USD криптовалютой в окне оплаты.
2
В разделе безлимитных резидентных прокси выберите срок (Layover, Tour, Stay, Residence или свой от 1 до 365 дней) и ступень подключений, затем оплатите.
3
Добавьте -zone-unl в конец логина прокси. Если нужны данные по странам, добавьте и код страны, например -cc-fr.
4
Укажите gate.proxyworld.shop в настройках прокси парсера. Порт 6100 для HTTP и 6200 для SOCKS5.
Частые вопросы
IP меняется при каждом запросе?
Да. Без параметра -sid в логине каждому запросу назначается новый резидентный IP.
После входа мне нужен один IP на несколько страниц.
Добавьте к логину -sid- и имя сессии, например -sid-shop01. Запросы с одним именем сессии идут с одного IP, а -ttl- задает время удержания, до 60 минут.
Есть ли ограничения кроме трафика?
Вы получаете одновременные подключения и скорость купленной ступени. Трафик не учитывается.
У заказа статус "Активируется".
Оплата прошла, тариф готовится. Если заказ не удается активировать, он отменяется, и вся оплаченная сумма возвращается на баланс.
Пополнение $25, 73 GB резидентного трафика
Зарегистрируйтесь по email или токену, пополните баланс и сразу покупайте. Баланс не сгорает.