Uw website is technisch perfect ingericht voor AI-crawlers. Schema markup staat, llms.txt is geïmplementeerd, en toch wordt uw merk niet genoemd door ChatGPT of Perplexity. De oorzaak? Cloudflare blokkeert de crawlers voordat ze uw content bereiken.
Bot management is essentieel voor websitebeveiliging. Maar de standaardinstellingen van Cloudflare maken geen onderscheid tussen kwaadaardige bots en AI-crawlers van OpenAI, Anthropic of Google.
In deze tutorial leert u hoe u Cloudflare bot management configureert zodat u beschermd blijft tegen aanvallen, maar wél vindbaar bent voor AI-engines. Geen theorie, maar stappen die u direct kunt uitvoeren.
Het probleem: Cloudflare behandelt alle bots gelijk
Cloudflare's "Bot Fight Mode" en "Super Bot Fight Mode" zijn krachtige tools. Ze blokkeren scraping, credential stuffing en DDoS-aanvallen. Maar deze bescherming werkt met een brede kwast.
AI-crawlers zoals GPTBot (OpenAI), ClaudeBot (Anthropic) en Google-Extended worden door deze modes vaak als "automated traffic" geclassificeerd en geblokkeerd. U ziet dit terug in uw server logs als 403-responses of Managed Challenge pagina's die bots niet kunnen oplossen.
Dit is het technische equivalent van een winkel die de deur op slot gooit voor iedereen, inclusief betalende klanten. Wilt u begrijpen waarom die technische GEO-setup zo cruciaal is? Hier begint het.
Stap 1: identificeer welke AI-crawlers u wilt toelaten
Niet elke AI-crawler verdient toegang. Maak eerst een bewuste keuze. Dit zijn de crawlers die directe invloed hebben op uw AI-zichtbaarheid:
| Crawler | Eigenaar | Doel | User Agent |
|---|---|---|---|
| GPTBot | OpenAI | Training en retrieval voor ChatGPT | GPTBot |
| OAI-SearchBot | OpenAI | ChatGPT Search resultaten | OAI-SearchBot |
| ClaudeBot | Anthropic | Training voor Claude | ClaudeBot |
| Google-Extended | AI Overviews en Gemini | Google-Extended | |
| PerplexityBot | Perplexity | Antwoordgeneratie | PerplexityBot |
Bepaal per crawler of toegang past bij uw strategie. Wilt u zichtbaar zijn in ChatGPT? Dan moet GPTBot uw site kunnen bereiken. Controleer ook of uw llms.txt bestand correct is ingesteld, want dat werkt alleen als de crawler niet al bij de voordeur wordt tegengehouden.
Stap 2: configureer Cloudflare WAF Custom Rules
De oplossing zit niet in het uitschakelen van bot protection. U maakt uitzonderingen voor specifieke, geverifieerde AI-crawlers via WAF Custom Rules.
Navigeer naar de juiste instellingen
Open uw Cloudflare dashboard en ga naar Security, vervolgens WAF en dan Custom Rules. Hier maakt u regels aan die specifieke user agents doorlaten voordat de bot protection ze blokkeert.
Maak een allow-regel voor AI-crawlers
Maak een nieuwe Custom Rule met de volgende logica:
- Rule name: "Allow AI Crawlers"
- Field: User Agent
- Operator: contains
- Value: GPTBot
Voeg met "Or" extra condities toe voor elke crawler die u wilt toelaten. Stel de Action in op "Skip" en selecteer welke beveiligingslagen u wilt overslaan voor deze user agents. Kies minimaal "Bot Fight Mode" en "Super Bot Fight Mode".
Prioriteit instellen
Plaats deze regel boven uw andere WAF-regels. Cloudflare verwerkt regels van boven naar beneden. Als een blokkeerregel eerder wordt uitgevoerd, bereikt uw allow-regel de crawler nooit.
Stap 3: valideer met Cloudflare Analytics
Configuratie zonder validatie is gokken. Na het instellen van uw regels moet u bevestigen dat AI-crawlers daadwerkelijk doorgelaten worden.
Ga in uw Cloudflare dashboard naar Security en vervolgens Events. Filter op de user agents die u heeft toegelaten. U zoekt naar twee signalen:
- Succesvolle requests (200-status) van GPTBot, ClaudeBot en andere toegelaten crawlers
- Geen "Managed Challenge" of "Block" acties voor deze user agents
Controleer dit de eerste week dagelijks. AI-crawlers bezoeken uw site niet continu, dus het kan enkele dagen duren voordat u resultaten ziet.
Stap 4: combineer met robots.txt voor fijnmazige controle
Cloudflare bepaalt of een crawler uw server bereikt. Uw robots.txt bepaalt welke pagina's de crawler mag indexeren. Gebruik beide lagen samen voor maximale controle.
Een veelgemaakte fout is het toelaten van AI-crawlers in Cloudflare, maar ze vervolgens blokkeren in robots.txt. Of andersom. Controleer of uw configuratie op beide niveaus consistent is.
Wilt u direct inzicht in hoe AI-engines uw website op dit moment interpreteren? Start een scan op GrowthScope en ontvang binnen minuten uw GEO Readiness Score.
Veelgemaakte fouten bij Cloudflare en AI-crawlers
Zelfs ervaren developers trappen in deze valkuilen:
- Bot Fight Mode globaal ingeschakeld zonder uitzonderingen. Dit is de meestvoorkomende oorzaak van AI-onzichtbaarheid. De modus blokkeert vrijwel alle automated traffic.
- IP-gebaseerde whitelisting. AI-crawlers gebruiken wisselende IP-adressen. User agent-gebaseerde regels zijn betrouwbaarder.
- Geen monitoring na configuratie. Cloudflare updates kunnen uw custom rules beïnvloeden. Integreer een maandelijkse check in uw sprint.
- Alleen robots.txt aanpassen. Als Cloudflare de crawler al blokkeert op netwerkniveau, wordt uw robots.txt nooit gelezen.
Hoe u structureel grip houdt op AI-crawlability
Deze configuratie is geen eenmalige actie. AI-bedrijven introduceren regelmatig nieuwe crawlers. Cloudflare past zijn bot detection continu aan. Wat vandaag werkt, kan volgende maand anders functioneren.
Plan een kwartaalcontrole in uw technische sprints. Verifieer of bestaande regels nog actief zijn, of er nieuwe AI-crawlers zijn die u moet toelaten, en of uw GEO-score stabiel blijft.
Door Cloudflare bot management bewust te configureren, zorgt u ervoor dat uw technische GEO-fundament stevig staat. Beveiliging en vindbaarheid sluiten elkaar niet uit.
Met de juiste regels versterken ze elkaar. Wilt u direct valideren of AI-crawlers uw site daadwerkelijk bereiken? Neem contact op of start vandaag uw audit.
