Proxys zum Erfassen von KI-Trainingsdaten
Einen Datensatz aus dem öffentlichen Web aufzubauen bedeutet wochenlange Crawls in mehreren Sprachen. Mit Unlimited Residential von ProxyWorld legen Sie die Kosten für den ganzen Zeitraum am ersten Tag fest und senden Anfragen aus 60 Ländern.
Abrechnung pro GB erschwert die Budgetplanung
Bei tausenden Domains haben Sie keinen Einfluss auf die Seitengröße. Kommen einige Websites mit vielen Fotos und Skripten dazu, kann Ihr GB-Verbrauch ein Vielfaches des Plans erreichen.
Unlimited wird nur nach Laufzeit und Verbindungsstufe berechnet. So können Sie das Budget für einen Crawl über 90 Tage als einen Betrag festlegen, bevor die erste Anfrage rausgeht.
Jede Sprache getrennt erfassen
Viele Websites prüfen, in welchem Land die IP eines Besuchers liegt, und zeigen die Seite in der Sprache dieses Landes. Setzen Sie einen Ländercode wie -cc-es (Spanien) oder -cc-id (Indonesien) in den Benutzernamen, und die Anfragen laufen über eine IP in diesem Land.
Führen Sie pro Sprache eine eigene Job-Warteschlange und geben Sie jeder einen anderen Benutzernamen. Der Crawler-Code bleibt unverändert, und die Ergebnisse sammeln sich getrennt nach Sprache.
Rechenbeispiel für einen Crawl über 90 Tage
Die Stufe mit 200 Verbindungen und 100 Mbps kostet bei Residence (90 Tage) $3.31 pro Tag, insgesamt $297.90. 90-mal Layover (1 Tag) für denselben Zeitraum würde $391.50 kosten. Residence ist also $93.60 günstiger.
Für eine größere Aufgabe kaufen Sie die Stufe mit 1,000 Verbindungen und 200 Mbps bei Residence. Sie kostet $7.19 pro Tag, insgesamt $647.10. Im Dashboard können Sie jede Anzahl Tage von 1~365 eingeben und so genau das kaufen, was Ihr Crawl-Zeitplan braucht.
Regeln beim Erfassen
Erfassen Sie nur öffentliche Inhalte und beachten Sie robots.txt und die Nutzungsbedingungen jeder Website. Prüfen Sie die für KI-Training geltenden Urheberrechts- und Datenschutzregeln und löschen Sie nicht benötigte personenbezogene Daten, bevor Sie etwas speichern.
Auch wenn der Proxy noch Reserven hat, legen Sie ein Anfragelimit pro Domain fest. Für die nächste Version des Datensatzes kehren Sie zu denselben Websites zurück.
So richten Sie ProxyWorld für KI-Trainingsdaten ein
1
Laden Sie den Betrag, den der Crawl-Zeitraum braucht, mit Krypto auf. Eine Aufladung kann bis zu $5,000 betragen.
2
Kaufen Sie Unlimited Residential für die Anzahl der Crawl-Tage. Residence (90 Tage) hat den niedrigsten Tagespreis.
3
Erstellen Sie einen Benutzernamen pro Sprache, etwa pwexample1-zone-unl-cc-de, und verbinden Sie jeden mit einer Job-Warteschlange.
4
Verbinden Sie den Crawler mit gate.proxyworld.shop:6100 und halten Sie die gleichzeitigen Verbindungen innerhalb der gekauften Stufe.
Häufige Fragen
Deckt ein Unlimited-Tarif mehrere Länder ab?
Ja. Ein Tarif funktioniert in allen 60 Ländern. Das Land wählen Sie für jede Anfrage im Benutzernamen.
Brauchen Crawls auch Sticky Sessions?
Meist nicht. Gerade der Wechsel der IP pro Anfrage verteilt die Last gleichmäßig. Nutzen Sie -sid nur auf Websites, bei denen Cookies über mehrere Seiten erhalten bleiben müssen.
Mit welchen Coins kann ich aufladen?
Wir akzeptieren USDT, USDC, Bitcoin, Ethereum, BNB, Solana, TRON und Litecoin. Der Betrag wird Ihrem USD-Guthaben gutgeschrieben.
Der Crawl ist beendet und ich habe noch Guthaben.
Das Guthaben bleibt ohne Ablaufdatum erhalten. Nutzen Sie es für den nächsten Crawl oder ein anderes Produkt.
Weitere Anwendungsfälle
$25 aufladen, 73 GB Residential
Registrieren Sie sich per E-Mail oder Token, laden Sie auf und kaufen Sie sofort. Ihr Guthaben verfällt nie.