Crawlbudget: wanneer het er wel en niet toe doet

Crawlbudget is het aantal pagina’s dat Google binnen een bepaalde periode op jouw site ophaalt. Het is geen instelling, geen ranking-factor en geen knop die je kunt omzetten. Het is een uitkomst: hoeveel Google van je wil hebben, gecombineerd met hoeveel je server aankan.

Voor de meeste sites is crawlbudget een non-probleem. Voor een handjevol sites is het het belangrijkste technische onderwerp dat er is. Het verschil zit vrijwel volledig in schaal. Hieronder de grens, en wat je doet als je aan de verkeerde kant ervan staat.

Waar crawlbudget uit bestaat

Google splitst het in twee delen, en die scheiding is nuttig omdat je ze anders aanpakt.

Crawlcapaciteit is wat je server aankan zonder te bezwijken. Reageert je site traag of gooit hij serverfouten, dan trekt Google zichzelf terug. Dit is een hosting- en performancevraagstuk.

Crawlvraag is hoeveel Google van je site wil hebben. Populaire pagina’s en pagina’s die vaak veranderen worden vaker opgehaald. Pagina’s die niemand linkt en die al twee jaar niet zijn aangepast, zakken naar de achtergrond. Dit is een autoriteits- en structuurvraagstuk.

Je hebt dus twee heel verschillende knoppen. De ene ligt bij development, de andere bij SEO en content.

Wanneer het er niet toe doet

Heb je een site onder de paar duizend URL’s die technisch fatsoenlijk in elkaar zit? Dan is crawlbudget vrijwel zeker niet je bottleneck. Google haalt die site moeiteloos op. Als pagina’s niet geïndexeerd raken, ligt dat aan iets anders: dunne content, een canonical die de verkeerde kant op wijst, een noindex die er niet hoort, of pagina’s waar simpelweg geen enkele interne link naartoe gaat.

Ik zie dit misdiagnose-patroon regelmatig. Pagina’s staan niet in de index, iemand roept crawlbudget, en er verdwijnt een maand in het optimaliseren van iets dat niet stuk was. Controleer eerst de indexeringsredenen in Search Console. Staat daar “Gecrawld, momenteel niet geïndexeerd”, dan is Google wél langs geweest en vond hij het niet goed genoeg. Dat is een kwaliteitsprobleem, geen budgetprobleem.

Wanneer het er wel toe doet

Crawlbudget wordt echt relevant bij:

• Grote sites, ruwweg vanaf tienduizenden URL’s. Webshops met veel varianten, marktplaatsen, portals.
• Sites met veel gefacetteerde navigatie, waar filters op kleur, maat, merk en prijs zich vermenigvuldigen tot een oneindige URL-ruimte.
• Sites die snel veranderen, waar nieuwe pagina’s binnen uren vindbaar moeten zijn.
• Sites met serieuze performanceproblemen, waar de crawlcapaciteit de beperkende factor is.

Bij de eerste twee is het probleem bijna nooit dat Google te weinig crawlt. Het probleem is dat Google zijn aandacht verspilt aan URL’s die er niet toe doen, waardoor de pagina’s die wel geld opleveren minder vaak aan de beurt komen.

Hoe je het vaststelt

Raden heeft geen zin. Er zijn twee bronnen die je het echte antwoord geven.

De crawlstatistieken in Search Console. Te vinden onder Instellingen. Je ziet het aantal crawlverzoeken per dag, de gemiddelde responstijd en de verdeling over responscodes en bestandstypen. Loopt de responstijd op terwijl het aantal verzoeken daalt, dan zit je tegen je crawlcapaciteit aan. Zie je veel 404’s of redirects in de verdeling, dan verbrandt Google je budget aan rommel.

Je serverlogs. Dit is de eerlijkste bron die er is. Hier zie je per URL hoe vaak Googlebot langskwam. Filter op de geverifieerde Googlebot en zet de meest gecrawlde URL’s op een rij. Herken je ze niet, of zijn het filtercombinaties en sorteervarianten, dan heb je je diagnose. Een logfile-analyse van een week is voor een grote site vaak het meest waardevolle technische werk dat je in een kwartaal doet.

Vergelijk die crawllijst vervolgens met een crawl van je eigen site en met je lijst omzetpagina’s. De pagina’s die veel omzet doen en weinig crawls krijgen, dat is je werklijst.

Wat je eraan doet

De volgorde is belangrijk. Begin bovenaan.

1. Snoei de URL-ruimte. Blokkeer waardeloze parametercombinaties in robots.txt en zorg dat je nergens intern naartoe linkt. Dit is verreweg de grootste winst bij gefacetteerde navigatie.
2. Ruim redirectketens en 404’s op. Elke hop is een verzoek dat niets oplevert. Ketens van drie of vier stappen zijn gratis verspilling.
3. Houd je sitemaps schoon. Alleen canonieke, indexeerbare, 200-gevende URL’s. Een sitemap vol redirects is een verkeerd signaal.
4. Versterk je interne links. Belangrijke pagina’s die diep weggestopt zitten, worden minder vaak opgehaald. Kortere klikpaden vertalen zich direct naar meer crawlaandacht.
5. Verbeter je serverresponstijd. Snellere responses betekenen letterlijk meer pagina’s per crawlsessie.

Wat je niet moet doen: de crawlsnelheid handmatig omhoog willen forceren, of noindex gebruiken om crawlbudget te besparen. Noindex houdt pagina’s uit de index maar Google moet ze wél blijven ophalen om te zien dat de noindex er nog staat. Wil je crawlen voorkomen, dan is robots.txt het juiste instrument. Wil je indexeren voorkomen, dan is noindex het juiste instrument. Die twee worden constant door elkaar gehaald.

De samenvatting in één alinea

Crawlbudget is een schaalprobleem, geen hygiëneprobleem. Onder een paar duizend URL’s: negeer het en kijk naar contentkwaliteit en interne links. Boven de tienduizenden URL’s, zeker met filters in het spel: neem het serieus, ga naar je logs, en stuur Googles aandacht naar de pagina’s die er toe doen. De vraag is zelden “crawlt Google genoeg”. De vraag is “crawlt Google het juiste”.

Dit hoort thuis in de fundamentenlaag van je site, samen met de rest van je technische structuur en indexeerbaarheid. Wil je begrijpen wat er precies gebeurt tussen ophalen en opnemen in de index, lees dan hoe crawlen en indexeren onder de motorkap werkt.

Zit je met een grote site waar dit echt speelt en heb je tijdelijk iemand nodig die het oppakt en het team meeneemt? Dat is precies het werk dat ik als interim SEO-specialist doe.