#rfc-9116

Rufen Sie die robots.txt jeder Website ab und werten Sie sie aus. Übergeben Sie eine URL und einen User-Agent, und der Check-Endpunkt teilt Ihnen mit, ob diese URL crawlbar ist – dabei wird die spezifischste User-Agent-Gruppe ausgewählt und die RFC 9309 Longest-Match Allow/Disallow-Regeln (mit * und $ Platzhaltern, wobei Allow bei Gleichstand gewinnt) angewendet, und gibt die passende Regel, die Crawl-Delay der Gruppe und die Sitemaps zurück, die die Website deklariert. Der Parse-Endpunkt gibt die gesamte Datei strukturiert in Gruppen pro User-Agent (deren Allow- und Disallow-Listen sowie Crawl-Delay) plus die Liste der Sitemaps zurück. Eine fehlende robots.txt (404/403) bedeutet, dass alles erlaubt ist, genau wie es die Spezifikation verlangt. Die Anfrage wird serverseitig gestellt und private oder interne Ziele werden abgelehnt (SSRF-geschützt). Entwickelt für SEO-Audits, Crawler- und Scraper-Compliance, Sitemap-Erkennung und Pre-Flight-„Darf ich das abrufen?“-Prüfungen. Ein robots.txt-Evaluator – abgegrenzt vom On-Page-SEO-Audit (seo), dem XML-Toolkit (xml) und Link-Unfurling/Preview (url). Kein Upstream-Key, kein Cache.

api.oanor.com/robots-api

Rufen Sie die RFC 9116 security.txt einer beliebigen Domain ab und parsen Sie sie – die maschinenlesbare Datei unter /.well-known/security.txt, die Sicherheitsforschern mitteilt, wie sie Schwachstellen melden können. Übergeben Sie eine Domain, und der Dienst lokalisiert die Datei (den kanonischen .well-known-Pfad mit einem Legacy-Root-Fallback), parst jedes Feld – Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring und CSAF – und meldet, ob sie gültig ist (mindestens ein Contact und ein einzelnes, nicht abgelaufenes Expires), ob sie PGP-signiert ist, ob sie abgelaufen ist (mit der Anzahl verbleibender Tage) und eine Liste von Problemen mit konkreten Ratschlägen. Ein begleitender Endpunkt gibt die Rohdatei zurück. Die Anfrage wird serverseitig gestellt; private und interne Ziele werden abgelehnt (SSRF-geschützt). Entwickelt für Sicherheitsaudits, Lieferanten- und Drittanbieter-Risikobewertungen, Angriffsflächenüberprüfungen und Compliance-Prüfungen von Richtlinien zur Offenlegung von Schwachstellen. Ein security.txt-Parser und -Validator – unterschieden vom HTTP-Sicherheitsheader-Grader (secheaders), der SSL/TLS-Zertifikatsprüfung (sslcheck) und der Host-Erreichbarkeit (hostcheck). Kein Upstream-Key, kein Cache.

api.oanor.com/securitytxt-api