Uw content kan inhoudelijk perfect zijn. Maar als uw robots.txt AI-crawlers blokkeert, bestaat uw website simpelweg niet voor ChatGPT, Perplexity of Google AI Overviews. De technische toegankelijkheid van uw site is de allereerste voorwaarde voor AI-zichtbaarheid.

In deze tutorial doorloopt u stap voor stap hoe u uw robots.txt controleert, optimaliseert en valideert voor de belangrijkste AI-crawlers. Geen theorie zonder actie: elke stap levert u een concreet resultaat op.

Waarom uw robots.txt de poortwachter is voor AI-crawlers

De robots.txt is een simpel tekstbestand in de root van uw domein. Het vertelt crawlers welke pagina's ze mogen bezoeken en welke niet. Voor traditionele zoekmachines is dit al decennia de standaard. Maar de opkomst van generatieve AI voegt een nieuwe laag toe.

AI-engines zoals ChatGPT (via GPTBot), Anthropic Claude (via ClaudeBot) en Google Gemini gebruiken hun eigen crawlers. Deze bots respecteren uw robots.txt. Als u ze per ongeluk blokkeert, kan uw content niet worden geïndexeerd en dus niet worden geciteerd in AI-antwoorden.

Het probleem? Veel standaard robots.txt-bestanden zijn jaren geleden ingesteld. Ze houden geen rekening met deze nieuwe generatie crawlers. Dat maakt een grondige robots.txt check onderdeel van uw technische GEO-setup.

Stap 1: controleer uw huidige robots.txt

Open uw browser en navigeer naar uwdomein.nl/robots.txt. U ziet nu de huidige instructies voor alle crawlers. Let specifiek op deze elementen:

  • User-agent: * gevolgd door Disallow: / blokkeert alle crawlers, inclusief AI-bots.
  • User-agent: GPTBot met een Disallow-regel blokkeert specifiek OpenAI.
  • User-agent: ClaudeBot met een Disallow-regel blokkeert Anthropic.
  • User-agent: Google-Extended met een Disallow-regel blokkeert Google AI-toepassingen.

Noteer welke regels actief zijn. Dit is uw nulmeting. Ziet u een brede Disallow: / zonder uitzonderingen? Dan is de kans groot dat AI-crawlers uw volledige site niet kunnen lezen.

Veelvoorkomende blokkades

Regel in robots.txt Effect op AI-crawlers
User-agent: * / Disallow: / Blokkeert alle bots, inclusief AI
User-agent: GPTBot / Disallow: / Blokkeert alleen ChatGPT
User-agent: ClaudeBot / Disallow: / Blokkeert alleen Claude
User-agent: Google-Extended / Disallow: / Blokkeert Google AI Overviews
Geen vermelding van AI-bots Standaard toegestaan (via wildcard)

Stap 2: bepaal welke AI-crawlers u wilt toestaan

Niet elke organisatie wil volledig open zijn voor alle AI-crawlers. Maak een bewuste keuze. Stel uzelf drie vragen:

  1. Op welke AI-platformen wilt u zichtbaar zijn?
  2. Zijn er pagina's met gevoelige of niet-openbare content?
  3. Wilt u specifieke mappen (zoals /admin/ of /staging/) uitsluiten?

Voor de meeste zakelijke websites geldt: sta GPTBot, ClaudeBot, PerplexityBot en Google-Extended toe op alle publieke pagina's. Blokkeer alleen technische of interne secties.

Stap 3: schrijf uw geoptimaliseerde robots.txt

Hieronder vindt u een template dat direct implementeerbaar is. Kopieer het, pas het aan voor uw domein en upload het naar uw root-directory.

# Traditionele zoekmachines
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# AI-crawlers expliciet toestaan
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /staging/

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

User-agent: PerplexityBot
Allow: /
Disallow: /admin/

User-agent: Google-Extended
Allow: /
Disallow: /admin/

# Overige bots
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /tmp/

# Sitemap
Sitemap: https://uwdomein.nl/sitemap.xml

Let op: de volgorde van regels is belangrijk. Specifieke user-agent regels hebben voorrang op de wildcard (*). Plaats uw AI-crawler regels daarom altijd boven de algemene regel.

Stap 4: valideer uw wijzigingen

Na het uploaden van uw aangepaste robots.txt is validatie essentieel. Gebruik hiervoor twee methoden:

  • Google Search Console: Gebruik de robots.txt Tester om te controleren of Googlebot en Google-Extended correct worden behandeld.
  • GrowthScope Quickscan: Voer uw domein in en ontvang binnen enkele minuten een volledige technische GEO-analyse. De scan controleert automatisch of AI-crawlers toegang hebben en of uw robots.txt correct is geconfigureerd.

De Quickscan biedt u direct inzicht in uw crawlability-status per AI-platform. Geen account, geen API-keys, geen setup.

Robots.txt en llms.txt: twee lagen van AI-toegankelijkheid

Uw robots.txt regelt of AI-crawlers uw site mogen bezoeken. Maar er is een tweede laag: het llms.txt-bestand. Dit bestand vertelt AI-engines wat uw organisatie doet, welke pagina's het belangrijkst zijn en hoe uw content gestructureerd is.

robots.txt is uw toegangspoort. Het opent of sluit de deur. llms.txt is uw visitekaartje. Het vertelt de AI wie u bent en wat u te bieden heeft.

Beide bestanden werken samen. Zonder een correct robots.txt bereikt uw llms.txt de crawler niet. Zonder llms.txt mist de crawler context over uw merk. Implementeer beide voor maximale AI-zichtbaarheid.

Veelgemaakte fouten bij robots.txt voor AI

Zelfs ervaren developers maken deze fouten:

  • Wildcard-blokkade vergeten te updaten. Een oude Disallow: / onder User-agent: * blokkeert alle AI-bots als er geen specifieke regels boven staan.
  • Crawl-delay instellen voor AI-bots. Dit vertraagt indexatie onnodig en kan ertoe leiden dat de crawler uw site overslaat.
  • Sitemap niet opnemen. Zonder sitemap-verwijzing mist de crawler de structuur van uw site.
  • Geen periodieke controle. CMS-updates of plugin-wijzigingen kunnen uw robots.txt ongemerkt overschrijven.

Maak robots.txt checks onderdeel van uw technische routine

AI-zichtbaarheid is geen eenmalige configuratie. Platforms als ChatGPT en Perplexity introduceren regelmatig nieuwe crawlers. Uw robots.txt moet meegroeien. Plan een kwartaalcheck in of gebruik de trendtracking van GrowthScope om veranderingen in uw technische GEO-status automatisch te monitoren.

Start vandaag met uw robots.txt check. Vul uw domein in, ontvang uw technische GEO-analyse en weet binnen minuten of AI-crawlers uw site kunnen bereiken.

Start uw Quickscan →