GPTBot, OAI-SearchBot en OAI-AdsBot: geef je site toegang

OpenAI stuurt drie verschillende bots over je website, en ze doen alle drie iets anders. Eén verzamelt tekst om modellen te trainen, één haalt pagina’s op om te citeren in antwoorden, en één leest je pagina om advertenties aan het juiste gesprek te koppelen. GPTBot is daarvan de bekendste, en meestal de enige waar mensen van gehoord hebben.

Wat we vaak zien: een website heeft ooit alle AI-bots geblokkeerd omdat dat toen het advies van de maand was, en niemand heeft daar sindsdien naar gekeken. Dan sta je onzichtbaar in precies het kanaal waar je zichtbaar wilde worden.

Hieronder staat wat elke bot doet, wat blokkeren je kost, hoe je het instelt in je robots.txt en hoe je controleert of ze echt binnenkomen.

GPTBot: trainen

GPTBot verzamelt openbare tekst van websites om toekomstige modellen mee te trainen. Dat is de bot waar de meeste discussie over is gegaan, omdat het gaat over je werk dat wordt gebruikt om iets te bouwen waar jij niet direct iets voor terugkrijgt.

Blokkeer je hem, dan wordt jouw content niet meegenomen in de training van nieuwe modellen. Dat betekent niet dat je verdwijnt uit ChatGPT, want daar is een andere bot voor.

Wat het wel betekent: als een model over een paar jaar uit zichzelf iets weet over jouw vakgebied, dan zit jouw kennis daar niet in. Voor de meeste dienstverleners is dat een klein verlies.

Voor uitgevers, opleiders en iedereen die van zijn teksten leeft, ligt die afweging anders. Daar is blokkeren een verdedigbare keuze.

OAI-SearchBot: gevonden worden

OAI-SearchBot haalt pagina’s op zodat ChatGPT ze kan gebruiken en noemen in antwoorden. Dit is de bot die bepaalt of jij überhaupt in beeld komt als iemand een vraag stelt over jouw vakgebied.

Blokkeer je deze, dan word je niet meer genoemd. Niet in citaten, niet in bronvermeldingen, niet in lijstjes met aanbieders. Je bestaat dan simpelweg niet voor de assistent.

Dit is de bot die je zeker wilt toelaten. De hele beweging rond Generative Engine Optimization draait erom dat je hier binnenkomt en dat er iets te citeren valt.

Wij zien met enige regelmaat dat deze per ongeluk is meegeblokkeerd, samen met GPTBot, omdat iemand alles met OAI in de naam heeft dichtgezet. Dat is een dure vergissing.

OAI-AdsBot: adverteren

OAI-AdsBot leest je pagina om te bepalen waar je advertentie bij past. Dat gaat over de inhoud van de bestemmingspagina en over de vraag of die aansluit op het gesprek.

Blokkeer je hem, dan werkt je advertentie slechter of helemaal niet. Het systeem kan dan niet beoordelen of jouw pagina past bij de situatie, en relevantie telt mee in de veiling.

Ga je adverteren, dan is dit dus geen optionele stap maar een voorwaarde. Vijf minuten werk, en het voorkomt een maand budget dat nergens landt.

Wat handig is: je kunt deze toelaten zonder GPTBot toe te laten. Je hoeft dus niet te kiezen tussen adverteren en je teksten beschermen tegen training.

Hoe je het instelt

Je regelt dit in je robots.txt, het bestand dat op je eigen domein staat en dat bots vertelt wat ze wel en niet mogen. Bij WordPress zit dat vaak in je SEO-plugin.

Je noemt per bot de naam en geeft aan of hij toegang heeft. Wil je alle drie binnenlaten, dan hoef je niets te doen, want zonder regel is toegang de standaard.

Wil je alleen training uitsluiten, dan zet je een regel voor GPTBot en laat je de andere twee met rust. Dat is de opzet die wij bij de meeste dienstverleners aanraden.

Let op dat je geen algemene regel hebt staan die alles blokkeert. Dat komt voor bij sites die ooit door een ontwikkelaar zijn dichtgezet, en dan tellen de specifieke regels niet meer.

Wat wij bij klanten aanraden

OAI-SearchBot en OAI-AdsBot: toelaten. Je wilt gevonden en genoemd worden, en als je adverteert wil je dat je advertenties werken. Daar is geen goede reden tegen te bedenken voor een dienstverlener.

GPTBot: dat is een keuze. Voor de meeste dienstverleners is toelaten prima, want je kennis in een model helpt eerder dan dat het schaadt. Voor wie van zijn teksten leeft, is blokkeren verdedigbaar.

Wat je in elk geval niet doet is alles blokkeren zonder na te denken, of alles toelaten zonder te weten wat je toelaat. Het is vijf minuten werk om er bewust over te beslissen.

En noteer je keuze ergens, met de datum erbij. Anders zit je over een jaar te raden waarom er iets dicht staat.

Hoe je controleert of ze binnenkomen

Je robots.txt aanpassen is één ding, weten of het werkt is een ander. De betrouwbaarste controle is kijken in je serverlogs, want daar staat elk bezoek in met de naam van de bot erbij.

Bij veel hostingpakketten kun je die logs downloaden of inzien via het beheerpaneel. Zoek op de botnamen en kijk of ze de afgelopen weken langs zijn geweest en welke pagina’s ze ophaalden.

Kun je niet bij je logs, dan is de eenvoudigste controle je robots.txt openen in je browser. Type je domein met daarachter het pad naar dat bestand en lees wat er staat.

Wat je daar wilt zien is geen regel die alles dichtzet, en geen aparte regel die de bots blokkeert die je wilde toelaten. Meer hoeft er niet te staan.

Het verschil met de crawlers van Google

Google gebruikt één hoofdcrawler voor de zoekmachine en aparte voor advertenties en andere diensten. De opzet lijkt op die van OpenAI, maar de gevolgen van blokkeren zijn anders.

Blokkeer je Googlebot, dan verdwijn je uit de zoekresultaten en dat merkt iedereen binnen een week. Blokkeer je OAI-SearchBot, dan verdwijn je uit ChatGPT-antwoorden en dat merkt vrijwel niemand, want er is geen ranglijst waarin je positie zichtbaar daalt.

Dat is precies waarom dit zo lang onopgemerkt blijft. Er komt geen melding, er is geen daling in een dashboard, je wordt gewoon niet meer genoemd.

Het is dus iets wat je actief moet controleren en niet iets wat vanzelf opvalt. Zet het in je jaarlijkse ronde langs je technische instellingen.

Hoe je het per map regelt

Het hoeft geen alles-of-niets keuze te zijn. In je robots.txt kun je per bot aangeven welke delen van je site wel en niet toegankelijk zijn.

Dat is handig als je een deel van je content beschermd wilt houden en de rest juist vindbaar. Denk aan een map met whitepapers of modellen die je normaal alleen aan klanten geeft.

Praktisch: je laat de bot toe op je site, en sluit specifiek die ene map uit. Dan blijf je vindbaar op je gewone pagina’s zonder je waardevolle materiaal weg te geven.

Doe dat wel bewust en niet uit voorzorg. Elke map die je uitsluit is een stuk van je vakkennis dat niet meetelt als een model bepaalt wie er verstand van heeft.

Wat blokkeren je niet oplevert

Er is een hardnekkig idee dat blokkeren je onderhandelingspositie versterkt, of dat je er later voor betaald krijgt. Daar is tot nu toe weinig van terechtgekomen voor gewone bedrijven.

Wat het wel oplevert is minder zichtbaarheid, en dat is voor een dienstverlener meestal het tegenovergestelde van wat je wilt. Je verkoopt geen teksten, je verkoopt diensten waar die teksten naartoe leiden.

De afweging ligt anders als je content zelf het product is. Een uitgever, een opleider of een onderzoeksbureau heeft een reëel belang bij het beschermen van dat materiaal.

Voor de meeste dienstverleners is het simpel: je wilt genoemd worden, dus je laat de bots binnen die daarvoor zorgen.

Wat je nog meer nodig hebt om genoemd te worden

Toegang geven is een voorwaarde, geen garantie. Een bot die binnenkomt op een pagina zonder duidelijk antwoord, haalt daar niets uit om te citeren.

Wat helpt is pagina’s die één concrete vraag beantwoorden, met het antwoord bovenaan. Modellen vatten samen, en ze vatten alleen samen wat er staat.

Wat ook helpt is dat je informatie ergens anders wordt bevestigd. Een bedrijf dat alleen op zijn eigen site bestaat, is voor een model lastiger te vertrouwen dan een bedrijf dat elders wordt genoemd.

Hoe je daaraan werkt staat bij Generative Engine Optimization. De bots binnenlaten is stap één van een langere lijst.

Hoe dit samenhangt met adverteren

Als je gaat adverteren, hangt er meer aan deze instelling dan alleen zichtbaarheid. De AdsBot moet je bestemmingspagina kunnen lezen om te bepalen of die past bij het gesprek.

Kan hij dat niet, dan mis je relevantie in de veiling. En omdat relevantie een hoger bod kan verslaan, kost dat je direct geld.

Loop dit dus na voordat je je eerste campagne aanzet. Het staat niet voor niets in onze standaardvolgorde bij je eerste campagne opzetten.

Het is de goedkoopste stap van het hele traject en tegelijk de stap die het vaakst wordt overgeslagen.

Wat dit betekent per type dienstverlener

Voor klinieken, praktijken en salons is er weinig reden om iets te blokkeren. Je wilt gevonden worden en je teksten zijn geen product.

Voor juristen en adviesbureaus geldt hetzelfde, met één kanttekening: als je uitgebreide kennisdocumenten of modellen publiceert die je normaal verkoopt, kun je die specifieke map wel uitsluiten.

Voor opleiders en uitgevers is de afweging echt anders. Daar zou ik GPTBot blokkeren en de andere twee toelaten, zodat je wel gevonden wordt maar je materiaal niet in de training belandt.

Voor webshops speelt vooral de AdsBot, omdat productfeeds en productpagina’s gelezen moeten kunnen worden om te kunnen adverteren.

Wat er nog meer over je site loopt

OpenAI is niet de enige. Ook Google, Anthropic, Perplexity en anderen sturen bots langs, elk met hun eigen naam en hun eigen doel.

De logica is overal hetzelfde: er is meestal een bot voor trainen en een bot voor ophalen en citeren. Die twee wil je apart kunnen behandelen.

Wat je niet moet doen is per aanbieder een aparte strategie verzinnen. Kies één lijn: citeren toestaan, trainen naar eigen inzicht, en houd dat consequent aan.

Wij kijken daarbij naar drie zoek-werelden tegelijk, en dat noemen we Triple Search Marketing: Google, Meta en de AI-zoekmachines als één plan.

Wanneer je dit opnieuw nakijkt

Zet dit in je vaste ronde langs technische instellingen, bijvoorbeeld één keer per jaar. Er komt geen melding als er iets verandert, dus je moet er zelf naartoe.

Kijk er sowieso naar na een verhuizing naar een nieuwe website of een nieuwe hostingpartij. Bij een oplevering staat er vaak nog een blokkade uit de testomgeving die niemand heeft weggehaald.

Ook na het installeren of vervangen van een SEO-plugin is het even checken waard, want die schrijven soms hun eigen regels in je robots.txt.

En kijk opnieuw als er nieuwe bots bij komen. Dit veld beweegt snel, en de lijst van vandaag is over een jaar waarschijnlijk langer.

Wat we vaak zien misgaan

De eerste fout is alles blokkeren op basis van een artikel uit 2023. De situatie is veranderd en de gevolgen van blokkeren zijn groter geworden.

De tweede is OAI-SearchBot per ongeluk meenemen bij het blokkeren van GPTBot. Dat is de duurste vergissing in dit rijtje, want je verdwijnt uit de antwoorden zelf.

De derde is een algemene blokkeerregel die alle specifieke regels overrulet. Dat komt voor bij sites die ooit door een ontwikkelaar zijn dichtgezet en nooit zijn opengezet.

En de vierde: aannemen dat het goed staat zonder het te controleren. Er komt geen melding als het misgaat, dus je moet zelf kijken.

Wil je dat we je robots.txt nalopen voordat je begint met adverteren? Dat is vijf minuten werk en het voorkomt een maand verspild budget. Plan een strategiegesprek, of lees eerst hoe wij dit oppakken bij ChatGPT Ads uitbesteden.