Прокси для сбора данных для обучения ИИ
Сбор датасета из открытого интернета означает краулинг на недели и на нескольких языках. На безлимитных резидентных прокси ProxyWorld стоимость за весь срок известна в первый же день, а запросы можно отправлять из 60 стран.
С оплатой за GB трудно планировать бюджет
Когда доменов тысячи, размер страниц от вас не зависит. Добавьте несколько сайтов с тяжелыми фото и скриптами, и расход GB может в несколько раз превысить план.
Цена безлимита зависит только от срока и ступени подключений. Поэтому бюджет на 90 дней краулинга можно записать одной суммой еще до первого запроса.
Сбор по каждому языку отдельно
Многие сайты определяют страну IP посетителя и показывают страницу на языке этой страны. Укажите в логине код страны, например -cc-es (Испания) или -cc-id (Индонезия), и запросы пойдут с IP этой страны.
Держите отдельную очередь задач для каждого языка и дайте каждой свой логин. Код краулера менять не нужно, а результаты собираются отдельно по языкам.
Расчет краулинга на 90 дней
Ступень 200 подключений, 100 Mbps на Residence (90 дней) стоит $3.31 в день, всего $297.90. Если покупать Layover (1 день) 90 раз на тот же период, выйдет $391.50, то есть Residence дешевле на $93.60.
Для задачи покрупнее купите ступень 1,000 подключений, 200 Mbps на Residence. Это $7.19 в день, всего $647.10. В личном кабинете можно указать любое число дней от 1 до 365 и купить ровно столько, сколько нужно по графику краулинга.
Правила при сборе данных
Собирайте только публичный контент и соблюдайте robots.txt и условия использования каждого сайта. Проверьте правила об авторском праве и персональных данных, применимые к обучению ИИ, и удаляйте ненужные персональные данные до сохранения.
Даже если у прокси есть запас, задайте лимит запросов на каждый домен. Вам еще предстоит возвращаться на те же сайты для следующей версии датасета.
Как настроить ProxyWorld для Данные для обучения ИИ
1
Пополните баланс криптовалютой на сумму, нужную на срок краулинга. Одно пополнение до $5,000.
2
Купите безлимитные резидентные прокси на число дней краулинга. У Residence (90 дней) самая низкая цена за день.
3
Создайте по логину на каждый язык, например pwexample1-zone-unl-cc-de, и подключите каждый к своей очереди задач.
4
Подключите краулер к gate.proxyworld.shop:6100 и держите число одновременных подключений в пределах купленной ступени.
Частые вопросы
Может ли один безлимитный тариф охватывать несколько стран?
Да. Один тариф работает во всех 60 странах. Страна выбирается для каждого запроса в логине.
Нужны ли для краулинга фиксированные сессии?
Обычно нет. Именно смена IP при каждом запросе равномерно распределяет нагрузку. Используйте -sid только на сайтах, где cookie должны сохраняться на нескольких страницах.
Какими монетами можно пополнить баланс?
Мы принимаем USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON и Litecoin. Сумма зачисляется на баланс в USD.
Краулинг закончился, а баланс остался.
Баланс хранится без срока действия. Используйте его для следующего краулинга или другого продукта.
Пополнение $25, 73 GB резидентного трафика
Зарегистрируйтесь по email или токену, пополните баланс и сразу покупайте. Баланс не сгорает.