4gptsbot

Τι είναι

Το 4gptsbot είναι ο crawler της 4GPTs. Διαβάζει δημόσιες σελίδες προϊόντων: τις σελίδες που μπορεί να ανοίξει κάθε επισκέπτης.

Πώς θα το αναγνωρίσετε

Τα αιτήματα του 4gptsbot φέρουν το User-Agent 4gptsbot/1.0 (+https://4gpts.com/bot) και υπογραφή Web Bot Auth (HTTP Message Signatures), την οποία μπορείτε να επαληθεύσετε με τον κατάλογο κλειδιών του στο https://4gpts.com/.well-known/http-message-signatures-directory.

robots.txt

Το 4gptsbot τηρεί την ομάδα του robots.txt για το user-agent token 4gptsbot, ή την ομάδα * όταν δεν υπάρχει ομάδα για το 4gptsbot, και το Crawl-delay.

Όρια ρυθμού και αρνήσεις

Όταν ένας ιστότοπος απαντά 403 Forbidden, 429 Too Many Requests ή 503 Service Unavailable, το 4gptsbot σταματά τα αιτήματα σε όλο τον ιστότοπο, όχι μόνο στη σελίδα: για τουλάχιστον όσο ζητά το Retry-After και ποτέ λιγότερο από 15 λεπτά, με διπλασιασμό σε κάθε άρνηση έως μία ημέρα.

Πώς να το αποκλείσετε

Για να το αποκλείσετε, προσθέστε στο robots.txt σας αυτές τις γραμμές:

User-agent: 4gptsbot
Disallow: /

Πώς να το επιβραδύνετε

Για να το επιβραδύνετε, προσθέστε στο robots.txt σας αυτές τις γραμμές, όπου 10 είναι τα δευτερόλεπτα ανάμεσα στα αιτήματα:

User-agent: 4gptsbot
Crawl-delay: 10

Επικοινωνία

Για οτιδήποτε αφορά το 4gptsbot, γράψτε στο contact@4gpts.com.