#robots-txt

Obtén y evalúa el robots.txt de cualquier sitio web. Proporciona una URL y un agente de usuario, y el endpoint de verificación te indica si esa URL es rastreable: selecciona el grupo de agente de usuario más específico y aplica las reglas de coincidencia más larga de Allow/Disallow según RFC 9309 (con comodines * y $, donde Allow gana en empates), y devuelve la regla coincidente, el crawl-delay del grupo y los sitemaps que declara el sitio. El endpoint de análisis devuelve el archivo completo estructurado en grupos por agente de usuario (sus listas de allow y disallow y crawl-delay) más la lista de sitemaps. Un robots.txt faltante (404/403) significa que todo está permitido, exactamente como lo requiere la especificación. La solicitud se realiza del lado del servidor y se rechazan los destinos privados o internos (protegido contra SSRF). Diseñado para auditorías SEO, cumplimiento de rastreadores y scrapers, descubrimiento de sitemaps y verificaciones previas de "¿tengo permiso para obtener esto?". Un evaluador de robots.txt, distinto de la auditoría SEO en página (seo), el kit de herramientas XML (xml) y la previsualización de enlaces (url). Sin clave upstream, sin caché.

api.oanor.com/robots-api