oanor
Gratis registreren
Marktplaats Prijzen Functies Inloggen

API · /robots-api

robots.txt API

gezond 4,091 Abonnees

Haal de robots.txt van elke website op en evalueer deze. Geef een URL en een user-agent door en het check-eindpunt vertelt je of die URL crawlbaar is — waarbij de meest specifieke user-agentgroep wordt geselecteerd en de RFC 9309 langste-match Allow/Disallow-regels worden toegepast (met * en $ jokertekens, waarbij Allow wint bij gelijke stand), en de overeenkomende regel, de crawl-delay van de groep en de sitemaps die de site declareert worden geretourneerd. Het parse-eindpunt retourneert het hele bestand gestructureerd in per-user-agentgroepen (hun allow- en disallow-lijsten en crawl-delay) plus de lijst met sitemaps. Een ontbrekende robots.txt (404/403) betekent dat alles is toegestaan, precies zoals de specificatie vereist. Het verzoek wordt server-side gedaan en privé- of interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor SEO-audits, crawler- en scraper-compliance, sitemap-ontdekking en pre-flight "mag ik dit ophalen?"-controles. Een robots.txt-evaluator — te onderscheiden van de on-page SEO-audit (seo), de XML-toolkit (xml) en link-unfurling/preview (url). Geen upstream-sleutel, geen cache.

#robots-txt #seo #crawler #rfc-9116 #web #sitemap
api.oanor.com/robots-api
Verkrijg een API-sleutel Probeer het in de speeltuin → Provider contacteren

Machineleesbare specificaties zodat AI-agenten deze API kunnen integreren.

/api/robots-api/openapi.json
/api/robots-api/llms.txt

Ontdekking: GET /api/index.json vermeldt elke API.

API-gezondheid

gezond
Uptime
100.00%
Serversondes · 24 uur
Gem. latentie
129 ms
Serversondes · 24 uur
Abonnees
4,091
actief
Totaal aantal oproepen
0
laatste 7 dagen
status Volledige statuspagina → · 3 sondes/24u

Prijzen

Kies een niveau: maandelijks gefactureerd en op elk gewenst moment opzegbaar.

Free

Vrij

  • 2,000 oproepen / maand
  • 2 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 2.000 oproepen/maand
  • 2 verzoeken/sec
  • Crawlbaarheid + parse
  • Geen creditcard
Meld u aan om u te abonneren

Starter

€5.90 /maand

  • 37,500 oproepen / maand
  • 8 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 37,5k oproepen/maand
  • 8 verzoeken/sec
  • RFC 9309 match + sitemaps
  • E-mailondersteuning
Meld u aan om u te abonneren

Pro

€19.70 /maand

  • 202,000 oproepen / maand
  • 20 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 202k oproepen/maand
  • 20 verzoeken/sec
  • Crawler- en SEO-pijplijnen
  • Prioritaire ondersteuning
Meld u aan om u te abonneren

Mega

€51.60 /maand

  • 785,000 oproepen / maand
  • 50 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 785k oproepen/maand
  • 50 verzoeken/sec
  • Crawl-platform schaal
  • Toegewijde SLA
Meld u aan om u te abonneren

Gebouwd door

P
PremiumApi

Gerelateerd APIs

Andere APIs met overlappende tags.

Sitemap API

Haal een XML-sitemap op en parse deze (het sitemaps.org-protocol). Geef een sitemap-URL door en het parse-eindpunt haalt deze op — volgt redirects en decomprimeert transparant .gz-sitemaps — en retourneert het type: een urlset met elke URL en de lastmod, changefreq en priority, of een sitemapindex met de onderliggende sitemaps, met offset/limit-paginering voor grote bestanden. Het urls-eindpunt gaat verder: wanneer de sitemap een index is, haalt het ook de onderliggende sitemaps op en maakt elke pagina-URL plat in één lijst, met een configureerbare limiet op URL's en onderliggende sitemaps en een truncated-vlag zodat u de controle behoudt. Het verzoek wordt server-side uitgevoerd en privé- of interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor SEO-audits, het opbouwen van crawl-wachtrijen en contentinventarissen, wijzigingsmonitoring en migratiecontroles. Een sitemap-fetcher en parser — anders dan generieke XML-naar-JSON-conversie (xml), de robots.txt-evaluator (robots) en de on-page SEO-audit (seo). Geen upstream-sleutel, geen cache.

api.oanor.com/sitemap-api

Readability API

Bepaal hoe gemakkelijk een stuk tekst te lezen is met behulp van de standaard, peer-reviewed leesbaarheidsformules — Flesch Reading Ease, Flesch-Kincaid Grade, Gunning Fog, SMOG, Coleman-Liau en de Automated Readability Index. Geef tekst door en ontvang alle zes scores samen met de onderliggende tellingen (woorden, zinnen, lettergrepen, complexe en meervoudig-lettergrepige woorden, letters en tekens), een gemiddeld leesniveau, een geschatte leestijd en een eenvoudige uitleg van de leesbaarheid. Een tweede eindpunt telt lettergrepen voor een woord of voor elk woord in een zin. Geef tekst inline via ?text=, als queryparameter of in een request body; alles wordt lokaal berekend zonder netwerkaanroepen, dus het is snel en deterministisch. Gebouwd voor content- en copywritingtools, SEO en redactionele workflows, onderwijs en toegankelijkheidscontroles (plain language), en UX-writing review. Een leesbaarheidsscorer — te onderscheiden van sentiment/NLP-analyse (nlp), spelling- en grammaticacontrole (grammar), de case- en teksthulpprogramma's (text) en stringovereenkomst (similarity). Geen upstream-sleutel, geen cache.

api.oanor.com/readability-api

SEO API

Voer een on-page SEO-audit uit op elke URL — titel- en meta-beschrijvingsanalyse, koppenstructuur, inhoudslengte, alt-tekstdekking van afbeeldingen, canonical / viewport / Open Graph-controles en een uitsplitsing van interne/externe links — met een algemene score van 0–100. Plus een speciaal eindpunt voor linkanalyse.

api.oanor.com/seo-api

security.txt API

Haal het RFC 9116 security.txt-bestand van elk domein op en parse het — het machineleesbare bestand op /.well-known/security.txt dat beveiligingsonderzoekers vertelt hoe ze kwetsbaarheden kunnen melden. Geef een domein door en de service lokaliseert het bestand (het canonieke .well-known-pad met een legacy root fallback), parseert elk veld — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring en CSAF — en rapporteert of het geldig is (minstens één Contact en een enkele, niet-verlopen Expires), of het PGP-ondertekend is, of het is verlopen (met het aantal resterende dagen) en een lijst met problemen met concreet advies. Een bijbehorend eindpunt retourneert het ruwe bestand. Het verzoek wordt server-side gedaan; privé- en interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor beveiligingsaudits, leveranciers- en externe risicobeoordeling, aanvalsoppervlaktebeoordelingen en controles op naleving van het beleid voor het melden van kwetsbaarheden. Een security.txt-parser en -validator — verschillend van de HTTP-beveiligingsheader-grader (secheaders), de SSL/TLS-certificaatcontrole (sslcheck) en hostbereikbaarheid (hostcheck). Geen upstream-sleutel, geen cache.

api.oanor.com/securitytxt-api

Veelgestelde vragen

Snelle antwoorden over prijzen, quota's en integratie.

Hoe krijg ik een API-sleutel voor robots.txt API?
Registreer gratis op oanor.com, genereer een API-sleutel in het ontwikkelaarsdashboard en roep robots.txt API aan met de x-oanor-key-header. Geen creditcard nodig voor het gratis abonnement.
Wat is de rate-limit voor robots.txt API?
Het gratis pakket staat 1 verzoek per seconde toe. Betaalde pakketten schalen tot 50 verzoeken per seconde op het Mega-niveau. Harde limieten geven HTTP 429 boven de quota — geen verrassende meerkosten.
Wat kost robots.txt API?
robots.txt API heeft een gratis pakket met 100 calls / maand. Betaalde pakketten beginnen bij €5.90 / maand met hogere quota's en snellere rate-limits.
Kan ik mijn abonnement op elk moment opzeggen?
Ja. Abonnementen worden maandelijks gefactureerd en je kunt op elk moment opzeggen via je facturatie-dashboard. Geen langetermijncontracten en geen opzegkosten.
Voldoet robots.txt API aan de AVG?
Alle aanvragen aan robots.txt API lopen via onze EU-gateway. Je upstream-API-sleutel verlaat nooit onze server en er worden geen persoonsgegevens gedeeld met de upstream-leverancier behalve de aanvraag zelf.

Kies een eindpunt uit de lijst aan de linkerkant om de details ervan te bekijken en het te proberen.

Codefragmenten

Meld u aan om een ​​API-sleutel te krijgen en roep vervolgens een pad onder uw naaktslak aan.

curl https://api.oanor.com/robots-api/SOME_PATH \
  -H "x-oanor-key: oanor_test_..."
const res = await fetch("https://api.oanor.com/robots-api/SOME_PATH", {
  headers: { "x-oanor-key": "oanor_test_..." }
});
const data = await res.json();
$ch = curl_init("https://api.oanor.com/robots-api/SOME_PATH");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, ["x-oanor-key: oanor_test_..."]);
$response = curl_exec($ch);
import requests
r = requests.get(
    "https://api.oanor.com/robots-api/SOME_PATH",
    headers={"x-oanor-key": "oanor_test_..."},
)
print(r.json())

Beoordelingen

Log in om te beoordelen.

Nog geen beoordelingen.

Discussie

Stel vragen, deel tips, krijg antwoorden van de aanbieder en andere ontwikkelaars. Openbaar — iedereen kan meelezen.

Meld je aan om te schrijven of te antwoorden.

Inloggen

Nieuwe discussie

/ 4000

📌 Vastgepind 🔒 Vergrendeld

·

· ·

/ 4000

🔒 Deze discussie is vergrendeld — geen nieuwe antwoorden.

  • Nog geen discussies — start de eerste.

Support

Privé 1:1-support met de aanbieder — facturatie, integratie, account. Alleen jij en het aanbiedersteam zien deze threads.

Meld je aan om een supportticket te openen.

Inloggen

Nieuw ticket openen

Beschrijf waar je hulp bij nodig hebt. Het team krijgt een mail en antwoordt op de ticketpagina.

  • Nog geen tickets voor deze API.

Abonnement actief: calls kunnen direct starten.

Verstuur uw eerste aanvraag —

Abonnement actief: kopieer een fragment en start uw eerste oproep.