#rfc-9116

Récupérez et évaluez le robots.txt de n'importe quel site web. Passez une URL et un user-agent, et le point de terminaison check vous indique si cette URL est explorable — en sélectionnant le groupe d'user-agent le plus spécifique et en appliquant les règles de correspondance la plus longue Allow/Disallow de la RFC 9309 (avec les wildcards * et $, où Allow l'emporte en cas d'égalité), et en renvoyant la règle correspondante, le crawl-delay du groupe et les sitemaps déclarés par le site. Le point de terminaison parse renvoie l'intégralité du fichier structuré en groupes par user-agent (leurs listes allow et disallow et crawl-delay) ainsi que la liste des sitemaps. Un robots.txt manquant (404/403) signifie que tout est autorisé, exactement comme le spécifie la norme. La requête est effectuée côté serveur et les cibles privées ou internes sont refusées (protégé contre les SSRF). Conçu pour les audits SEO, la conformité des crawlers et scrappers, la découverte de sitemaps et les vérifications préalables « suis-je autorisé à récupérer ceci ? ». Un évaluateur de robots.txt — distinct de l'audit SEO sur la page (seo), de la boîte à outils XML (xml) et du dépliage d'aperçu de lien (url). Pas de clé en amont, pas de cache.

api.oanor.com/robots-api

Récupère et analyse le fichier security.txt RFC 9116 de n'importe quel domaine — le fichier lisible par machine à /.well-known/security.txt qui indique aux chercheurs en sécurité comment signaler des vulnérabilités. Passez un domaine et le service localise le fichier (le chemin canonique .well-known avec une solution de repli racine héritée), analyse chaque champ — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring et CSAF — et indique s'il est valide (a au moins un Contact et un seul Expires non expiré), s'il est signé PGP, s'il a expiré (avec le nombre de jours restants) et une liste de problèmes avec des conseils concrets. Un point de terminaison compagnon renvoie le fichier brut. La requête est effectuée côté serveur ; les cibles privées et internes sont refusées (protégé contre SSRF). Conçu pour les audits de sécurité, l'évaluation des risques des fournisseurs et tiers, les examens de surface d'attaque et les vérifications de conformité des politiques de divulgation des vulnérabilités. Un analyseur et validateur security.txt — distinct du vérificateur d'en-têtes de sécurité HTTP (secheaders), de la vérification de certificat SSL/TLS (sslcheck) et de l'accessibilité de l'hôte (hostcheck). Pas de clé amont, pas de cache.

api.oanor.com/securitytxt-api