Een log file analyse is de enige manier om met zekerheid te zien wat zoekmachines echt op jouw website doen. Niet wat ze volgens een tool waarschijnlijk doen, en niet wat Google Search Console je met een paar dagen vertraging laat zien, maar wat er daadwerkelijk regel voor regel op je server is binnengekomen.
Voor de meeste dienstverleners klinkt dat als iets voor grote webshops met tienduizenden pagina’s. Dat beeld klopt maar half. Ook bij een site van tweehonderd pagina’s zien we regelmatig dat Google zijn tijd stopt in pagina’s die er niet toe doen, terwijl de pagina’s waar het geld vandaan moet komen maandenlang niet bezocht worden.
In dit stuk leggen we uit wat een logbestand is, wat je eruit kunt halen, hoe je er zonder technische achtergrond mee begint en wanneer het de moeite waard is om er iemand naar te laten kijken. In gewone taal, want het onderwerp is technischer dan het hoeft te zijn.
Wat een log file analyse is
Elke keer dat iemand of iets een pagina van jouw website opvraagt, schrijft de server daar een regel over weg. Wie vroeg het op, welk adres, op welk moment, en welk antwoord ging er terug. Dat bestand met al die regels heet een logbestand, en een log file analyse is niets anders dan die regels op een rij zetten en er patronen in zoeken.
Het bijzondere eraan is dat dit de enige bron is die niet afhankelijk is van JavaScript, van cookies of van toestemming van de bezoeker. Analytics mist bezoekers die iets blokkeren. Een logbestand mist niemand, want de server heeft het verzoek nu eenmaal afgehandeld.
Voor SEO kijken we vooral naar de regels die van zoekmachines komen. Googlebot, Bingbot en tegenwoordig ook de crawlers van AI-diensten laten allemaal hun sporen na. Wat zij wel en niet bezoeken, zegt direct iets over wat er van jouw site in de zoekresultaten terechtkomt.
Waarom dit voor dienstverleners interessant is
Wat we vaak zien bij dienstverleners met een gegroeide website, is dat er in de loop der jaren van alles bij is gekomen. Oude nieuwsberichten, testpagina’s, een archief van vacatures uit 2019, tagpagina’s die niemand ooit bedoeld heeft. Voor een bezoeker is dat onzichtbaar, voor een crawler niet.
Een zoekmachine besteedt een beperkte hoeveelheid aandacht aan jouw site. Gaat die aandacht naar honderden pagina’s zonder waarde, dan blijft er minder over voor je dienstpagina’s en je kennisbank. Dat merk je niet aan een foutmelding, je merkt het aan pagina’s die traag of niet worden opgepikt.
Precies dat maakt de analyse zo nuttig. Je krijgt geen theoretisch advies over wat beter zou kunnen, je krijgt een lijst met adressen waar Google zijn tijd aan besteedt. Dat gesprek gaat vervolgens vanzelf over de goede dingen.
Het verschil met Search Console en een crawltool
Google Search Console laat je een deel van dit beeld zien, maar samengevat en met vertraging. Je ziet hoeveel pagina’s er per dag gecrawld zijn en welke er niet geïndexeerd zijn, alleen niet welke pagina’s precies wanneer bezocht werden. Voor het herkennen van patronen is dat te grofmazig.
Een crawltool doet weer iets anders. Die loopt jouw site na zoals een zoekmachine dat zou kunnen doen, en vertelt je wat een crawler zou kunnen tegenkomen. Nuttig, maar het blijft een simulatie. Het zegt niets over wat er daadwerkelijk gebeurd is.
Een crawltool vertelt je wat er kán gebeuren. Een logbestand vertelt je wat er is gebeurd.
De drie bronnen vullen elkaar dus aan. In de praktijk beginnen we bij Search Console voor het grote beeld, gebruiken we een crawl om de structuur te begrijpen, en pakken we de logs erbij zodra er iets niet klopt dat we met die eerste twee niet verklaard krijgen.
Waar je logbestanden vindt
Bij vrijwel elke Nederlandse hostingpartij zijn de logbestanden op te vragen. Soms staan ze klaar in het klantenpaneel onder een kopje statistieken of logs, soms moet je ze even aanvragen bij support. Dat laatste is meestal een kwestie van een mailtje en een dag wachten.
Werk je met een sneldienst voor je website, dan zit de eerste laag vaak niet meer bij je hosting maar bij de partij die het verkeer afvangt. In dat geval haal je de logs daar op, want anders mis je precies de verzoeken die nooit bij je eigen server zijn aangekomen.
Vraag om een periode van minimaal twee tot vier weken. Bij een kleinere site gebeurt er in een paar dagen simpelweg te weinig om iets zinnigs uit af te leiden. En vraag om het onbewerkte bestand, niet om een samenvatting, want juist de details maak je de analyse.
Wat je in de logs kunt zien
Het eerste waar we naar kijken is de verdeling. Welke delen van de site krijgen de meeste aandacht van Googlebot, en klopt dat met wat je belangrijk vindt? Staat de helft van de crawlactiviteit op een archief dat je zelf vergeten was, dan heb je binnen tien minuten je eerste conclusie.
Daarna kijken we naar de antwoorden die je server geeft. Een groot aantal doorverwijzingen betekent dat crawlers een omweg maken die je eenvoudig kunt inkorten. Serverfouten op momenten van drukte wijzen op iets anders, namelijk dat je hosting het op piekmomenten niet aankan.
Vervolgens de frequentie. Hoe vaak komt Google terug op je dienstpagina’s, en hoe lang duurt het voordat een nieuw kennisbankartikel wordt opgepikt? Als dat weken duurt, weet je dat je nieuwe content niet snel gaat scoren, hoe goed die ook is.
En tot slot de pagina’s die helemaal niet voorkomen. Dat rijtje is vaak het meest verhelderend, want dat zijn pagina’s waarvan je aannam dat ze meedoen terwijl ze nooit bezocht zijn.
Hoe je zo’n analyse in praktijk aanpakt
Je hebt hier geen zwaar programma voor nodig. Er zijn tools die logbestanden inlezen en er meteen grafieken van maken, en voor een site van een paar honderd pagina’s kom je met een spreadsheet ook een heel eind. Het bestand is uiteindelijk een tabel met kolommen.
Begin met filteren op de bezoeken van zoekmachines, zodat je het gewone bezoekersverkeer eruit haalt. Let daarbij op dat niet alles wat zich Googlebot noemt dat ook echt is. Er zijn partijen die zich zo voordoen om ongestoord te kunnen scrapen, en die vervuilen je beeld.
Groepeer daarna op mapniveau. Niet per pagina beginnen, maar per onderdeel van de site: de kennisbank, de dienstpagina’s, het blog, de overige pagina’s. Op dat niveau zie je de scheefgroei meteen, en pas als je weet welk onderdeel raar doet, ga je een niveau dieper.
Wat je met de uitkomsten doet
De meest voorkomende uitkomst is dat er ballast weg mag. Oude pagina’s zonder verkeer en zonder doel kun je samenvoegen of laten vervallen, en pagina’s die er wel horen te zijn maar niet in de zoekresultaten thuishoren kun je uitsluiten van indexering. Dat maakt direct ruimte.
De tweede uitkomst gaat vrijwel altijd over interne links. Pagina’s die zelden bezocht worden door een crawler, blijken bijna altijd pagina’s te zijn waar nauwelijks vanuit de rest van de site naartoe gelinkt wordt. Een paar links vanuit je goed bezochte pagina’s lost dat op.
De derde is snelheid. Zie je in de logs dat je server er structureel lang over doet om te antwoorden, dan is dat een van de weinige technische verbeteringen die zowel je bezoekers als je vindbaarheid direct helpt. Meer daarover staat in onze kennisbank over technische SEO.
Wat we daarnaast bijna altijd meenemen, is de volgorde waarin je de verbeteringen aanpakt. De verleiding is groot om met de lange lijst kleine dingen te beginnen, omdat die overzichtelijk voelt. In de praktijk levert één ingreep op het onderdeel dat de meeste crawlaandacht opslokt meer op dan twintig losse aanpassingen aan pagina’s die toch al goed bezocht werden.
En houd na een aanpassing een tweede meting aan, ongeveer vier tot zes weken later. Zoekmachines passen hun gedrag niet van de ene op de andere dag aan, dus een directe vergelijking zegt weinig. Pas in die tweede meting zie je of de aandacht daadwerkelijk verschoven is naar de pagina’s waar je hem hebben wilde.
Wat we per type dienstverlener terugzien
Bij advocatenkantoren en accountants zit de ballast bijna altijd in het nieuwsarchief. Jaren aan korte berichten over wetswijzigingen, elk met een eigen pagina, en vaak ook nog eens per jaar en per auteur apart ontsloten. In de logs zie je dan dat een fors deel van de crawlactiviteit daarheen gaat, terwijl de rechtsgebiedpagina’s die de klanten moeten opleveren er nauwelijks tussen staan.
Bij klinieken en beautyondernemers komen we vaker iets anders tegen. Daar staan behandelingen regelmatig dubbel op de site, bijvoorbeeld één keer als losse pagina en één keer binnen een overzicht, of onder twee verschillende adressen na een verbouwing van de website. Crawlers halen dan hetzelfde verhaal meerdere keren op en verdelen hun aandacht over versies die met elkaar concurreren.
Bij HR-bureaus en consultants met een vacature- of kennisdeel zien we weer een ander patroon. Filters en zoekfuncties genereren eindeloos veel adressen die technisch gezien allemaal bestaan, terwijl ze inhoudelijk hetzelfde tonen. Zonder logbestand blijft dat onzichtbaar, want in het menu van de site zie je die adressen nergens terug.
Wat deze drie gemeen hebben, is dat niemand het expres zo gebouwd heeft. Het groeit erin, jaar na jaar, en het valt pas op als je de regels op een rij zet. En dat is precies waarom een analyse zo vaak sneller iets oplevert dan mensen verwachten.
AI-crawlers in je logbestanden
Sinds AI-zoekmachines populair zijn geworden, zien we er een nieuwe groep bezoekers bij in de logs. De crawlers achter diensten als ChatGPT en Perplexity halen ook content op, en ze laten net zo goed sporen na. Voor het eerst kun je dus terugzien of die partijen jouw site überhaupt bezoeken.
Dat is nuttiger dan het klinkt. Wie in AI-antwoorden genoemd wil worden, moet eerst gelezen worden. Zie je die crawlers helemaal niet langskomen, dan weet je dat je aan die kant van je zichtbaarheid nog niets hebt opgebouwd, hoe goed je in Google ook staat.
Het omgekeerde komt ook voor. Sommige sites worden zo intensief opgehaald dat het de server merkbaar belast. Ook dat is iets wat je alleen in de logs terugziet, en waar je vervolgens een keuze in kunt maken. Hoe die zoek-werelden samenhangen, leggen we uit op onze pagina over Triple Search Marketing.
Wanneer het de moeite waard is
Voor een site van dertig pagina’s die netjes is opgebouwd, is een log file analyse overdreven. Daar zie je in Search Console genoeg. Het wordt interessant zodra je site groeit voorbij de honderd pagina’s, of zodra er iets gebeurt dat je niet kunt verklaren.
Dat laatste is eigenlijk het beste moment. Nieuwe content die niet opgepikt wordt, verkeer dat wegzakt zonder duidelijke reden, een verhuizing naar een nieuwe website waarna er van alles anders loopt. In die situaties geeft een logbestand antwoord waar andere bronnen alleen aanwijzingen geven.
Wat we vaak zien misgaan, is dat er maanden gediscussieerd wordt over mogelijke oorzaken terwijl het antwoord al die tijd op de server stond. Eén middag in de logs kijken scheelt dan een heel kwartaal aan aannames.
Veelgestelde vragen over log file analyse
Wat is een log file analyse precies?
Het is het bekijken van de bestanden waarin je server elk bezoek aan je website registreert. Per regel staat er wie iets opvroeg, welk adres, wanneer en welk antwoord de server gaf. Door de regels van zoekmachines eruit te filteren, zie je precies welke pagina’s Google wel en niet bezoekt en hoe vaak dat gebeurt.
Hoe kom ik aan de logbestanden van mijn website?
Bij vrijwel elke hostingpartij kun je ze opvragen. Soms staan ze in het klantenpaneel onder statistieken of logs, en anders levert support ze op verzoek aan. Vraag om onbewerkte bestanden over een periode van twee tot vier weken. Gebruik je een dienst die het verkeer voor je server afvangt, haal de logs dan daar op.
Wat is het verschil met Google Search Console?
Search Console geeft een samengevat beeld met vertraging: hoeveel pagina’s er gecrawld zijn en welke niet geïndexeerd zijn. Logbestanden geven het onbewerkte detail, dus welk adres op welk moment door welke crawler is opgehaald en welk antwoord de server gaf. Voor het herkennen van patronen per deel van de site heb je dat detail nodig.
Heb ik technische kennis nodig voor een log file analyse?
Voor de eerste stappen niet echt. Een logbestand is uiteindelijk een tabel die je in een spreadsheet kunt openen en op mapniveau kunt groeperen. Daarmee zie je de grootste scheefgroei al. Voor grotere sites of ingewikkelde vraagstukken werken speciale tools prettiger, en dan is het handig als iemand het vaker gedaan heeft.
Hoe vaak moet je logbestanden analyseren?
Voor de meeste dienstverleners is een of twee keer per jaar voldoende, plus een extra keer na een grote verandering zoals een nieuwe website of een verhuizing naar een ander adres. Zit je met een onverklaarbare terugval in verkeer of met content die niet opgepikt wordt, dan is het meteen het eerste wat we erbij pakken.
Wat een log file analyse vooral oplevert, is duidelijkheid. Je hoeft niet meer te gissen naar wat zoekmachines met je site doen, want het staat er gewoon. En zodra dat helder is, worden de beslissingen erna een stuk makkelijker.
Wil je weten of dit bij jouw website iets zou opleveren? Plan een strategiegesprek. We kijken samen naar je situatie en zeggen het eerlijk als het niet nodig is.
