Проксі для збору даних для навчання ШІ
Створення датасету з публічного вебу означає збір, що триває тижнями та охоплює кілька мов. На безлімітних резидентних проксі ProxyWorld вартість за весь термін відома з першого дня, а запити можна надсилати з 60 країн.
Оплата за GB ускладнює бюджет
Коли доменів тисячі, розмір сторінок від вас не залежить. Додайте кілька сайтів з важкими фото та скриптами, і використання GB може в рази перевищити план.
Безлімітний тариф залежить лише від терміну та сходинки підключень. Тож бюджет на 90 днів збору можна записати однією сумою ще до першого запиту.
Збір для кожної мови окремо
Багато сайтів перевіряють, у якій країні IP відвідувача, і показують сторінку мовою цієї країни. Вкажіть у логіні код країни, наприклад -cc-es (Іспанія) або -cc-id (Індонезія), і запити виходитимуть з IP цієї країни.
Тримайте окрему чергу завдань для кожної мови й дайте кожній інший логін. Код краулера змінювати не треба, а результати накопичуються окремо за мовами.
Розрахунок збору на 90 днів
Сходинка 200 підключень і 100 Mbps на Residence (90 днів) коштує $3.31 на день, разом $297.90. Купівля Layover (1 день) 90 разів за той самий період коштувала б $391.50, тож Residence дешевший на $93.60.
Для більшого завдання купіть сходинку 1,000 підключень і 200 Mbps на Residence. Це $7.19 на день, разом $647.10. У кабінеті можна ввести будь-яку кількість днів від 1~365, тож купуйте рівно стільки, скільки потребує графік збору.
Правила під час збору даних
Збирайте лише публічний вміст і дотримуйтеся robots.txt та умов використання кожного сайту. Перевірте правила авторського права й захисту персональних даних, що стосуються навчання ШІ, і видаляйте непотрібні персональні дані перед збереженням.
Навіть якщо проксі має запас, задайте ліміт запитів на домен. Ви повертатиметеся на ті самі сайти для наступної версії датасету.
Як налаштувати ProxyWorld для Дані для навчання ШІ
1
Поповніть баланс криптовалютою на суму, потрібну для періоду збору. Одне поповнення може бути до $5,000.
2
Купіть безлімітні резидентні проксі на кількість днів збору. Residence (90 днів) має найнижчу ціну за день.
3
Створіть по одному логіну для кожної мови, наприклад pwexample1-zone-unl-cc-de, і підключіть кожен до черги завдань.
4
Підключіть краулер до gate.proxyworld.shop:6100 і тримайте кількість одночасних підключень у межах купленої сходинки.
Часті запитання
Чи може один безлімітний тариф охопити кілька країн?
Так. Один тариф працює в усіх 60 країнах. Країну для кожного запиту ви обираєте в логіні.
Чи потрібні для збору фіксовані сесії?
Зазвичай ні. Саме зміна IP з кожним запитом рівномірно розподіляє навантаження. Використовуйте -sid лише на сайтах, де cookie мають зберігатися між кількома сторінками.
Якими монетами можна поповнити баланс?
Ми приймаємо USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON і Litecoin. Сума зараховується на баланс у USD.
Збір завершено, а на балансі лишилися кошти.
Баланс не має терміну дії. Використайте його для наступного збору або на інший продукт.
Інші сценарії використання
Поповнення $25, 73 GB резидентних
Зареєструйтеся через email або токен, поповніть баланс і купуйте одразу. Баланс не згорає.