#rfc-9116

Λήψη και αξιολόγηση του robots.txt οποιουδήποτε ιστότοπου. Παρέχετε μια διεύθυνση URL και ένα user-agent και το τελικό σημείο ελέγχου σας λέει εάν αυτή η διεύθυνση URL είναι ανιχνεύσιμη — επιλέγοντας την πιο συγκεκριμένη ομάδα user-agent και εφαρμόζοντας τους κανόνες Allow/Disallow με τη μεγαλύτερη αντιστοίχιση του RFC 9309 (με μπαλαντέρ * και $, όπου το Allow κερδίζει σε ισοπαλίες), και επιστρέφοντας τον κανόνα που ταιριάζει, την καθυστέρηση ανίχνευσης της ομάδας και τους χάρτες ιστότοπου που δηλώνει ο ιστότοπος. Το τελικό σημείο ανάλυσης επιστρέφει ολόκληρο το αρχείο δομημένο σε ομάδες ανά user-agent (τις λίστες allow και disallow και την καθυστέρηση ανίχνευσης) συν τη λίστα των χαρτών ιστότοπου. Ένα λείπει robots.txt (404/403) σημαίνει ότι όλα επιτρέπονται, ακριβώς όπως απαιτεί η προδιαγραφή. Το αίτημα γίνεται από την πλευρά του διακομιστή και οι ιδιωτικοί ή εσωτερικοί στόχοι απορρίπτονται (προστασία SSRF). Κατασκευασμένο για ελέγχους SEO, συμμόρφωση ανιχνευτών και scraper, ανακάλυψη χαρτών ιστότοπου και προ-ελέγχους "επιτρέπεται να το λάβω;". Ένας αξιολογητής robots.txt — διακριτός από τον έλεγχο SEO στη σελίδα (seo), την εργαλειοθήκη XML (xml) και την αποκάλυψη/προεπισκόπηση συνδέσμων (url). Χωρίς upstream κλειδί, χωρίς cache.

api.oanor.com/robots-api

Λήψη και ανάλυση του RFC 9116 security.txt οποιουδήποτε τομέα — το αναγνώσιμο από μηχανή αρχείο στο /.well-known/security.txt που λέει στους ερευνητές ασφαλείας πώς να αναφέρουν ευπάθειες. Δώστε έναν τομέα και η υπηρεσία εντοπίζει το αρχείο (η κανονική διαδρομή .well-known με μια κληρονομική εναλλακτική ρίζας), αναλύει κάθε πεδίο — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring και CSAF — και αναφέρει αν είναι έγκυρο (έχει τουλάχιστον ένα Contact και μία μη ληγμένη Expires), αν είναι υπογεγραμμένο με PGP, αν έχει λήξει (με τον αριθμό των ημερών που απομένουν) και μια λίστα ζητημάτων με συγκεκριμένες συμβουλές. Ένα συνοδευτικό τελικό σημείο επιστρέφει το ακατέργαστο αρχείο. Το αίτημα γίνεται από την πλευρά του διακομιστή· οι ιδιωτικοί και εσωτερικοί στόχοι απορρίπτονται (προστασία SSRF). Κατασκευασμένο για ελέγχους ασφαλείας, αξιολόγηση κινδύνου τρίτων και προμηθευτών, ανασκοπήσεις επιφάνειας επίθεσης και ελέγχους συμμόρφωσης πολιτικής αποκάλυψης ευπαθειών. Ένας αναλυτής και επικυρωτής security.txt — διακριτός από τον βαθμολογητή κεφαλίδων ασφαλείας HTTP (secheaders), τον έλεγχο πιστοποιητικού SSL/TLS (sslcheck) και την προσβασιμότητα κεντρικού υπολογιστή (hostcheck). Χωρίς upstream κλειδί, χωρίς cache.

api.oanor.com/securitytxt-api