Hoe crawlen en indexeren werkt onder de motorkap

Voordat een pagina kan ranken, moet Google hem eerst vinden en begrijpen. Dat gebeurt in twee stappen: crawlen en indexeren. Crawlen is het ontdekken en ophalen van je pagina’s. Indexeren is het begrijpen en opslaan ervan. Verschijnt je pagina niet in de zoekresultaten, dan gaat het bijna altijd mis in een van deze twee.

Wie snapt wat er onder de motorkap gebeurt, lost indexatieproblemen sneller op. Geen giswerk meer, maar weten waar je moet kijken.

Wat is crawlen?

Crawlen is het proces waarbij Googlebot je website afloopt. Hij start bij pagina’s die hij al kent, volgt de links die hij tegenkomt en ontdekt zo nieuwe pagina’s. Elke gevonden URL zet hij op een lijst om op te halen.

Twee dingen bepalen of een pagina gecrawld wordt. Ten eerste: is hij bereikbaar via een link? Een pagina zonder inkomende links, een orphan page, vindt Googlebot niet vanzelf. Ten tweede: mag hij gecrawld worden? Een blokkade in robots.txt houdt de bot tegen bij de voordeur.

Van crawlen naar renderen

Moderne websites zijn niet alleen HTML. Veel content wordt pas zichtbaar nadat JavaScript is uitgevoerd. Daarom voegt Google een stap toe: renderen. De bot laadt de pagina, voert de scripts uit en kijkt naar het eindresultaat, zoals een browser dat doet.

Dit is waar het vaak misgaat. Content die pas na een zware JavaScript-stap verschijnt, kan later of onvolledig worden gezien. Belangrijke tekst en links zet je daarom bij voorkeur direct in de HTML.

Wat is indexeren?

Zodra een pagina is gecrawld en gerenderd, probeert Google te begrijpen waar hij over gaat. Hij analyseert de inhoud, de structuur en de signalen op de pagina, en besluit of en hoe hij hem opneemt in de index. De index is de gigantische database waaruit Google put bij elke zoekopdracht.

Belangrijk: gecrawld betekent niet automatisch geïndexeerd. Google kiest. Dunne, dubbele of weinig waardevolle pagina’s laat hij bewust buiten de index. Pas als een pagina geïndexeerd is, kan hij verschijnen in de resultaten.

Waarom een pagina niet geïndexeerd wordt

Dit zijn de meest voorkomende oorzaken die ik in de praktijk tegenkom.

• Geblokkeerd in robots.txt. De bot mag de pagina niet crawlen.
• Noindex-tag. De pagina zegt expliciet: neem me niet op.
• Canonical naar een andere pagina. Google ziet een andere versie als het origineel.
• Te weinig waarde. Dunne of dubbele content die Google de moeite niet waard vindt.
• Niet gevonden. Een orphan page zonder interne links.

De volgorde waarin je deze checkt, scheelt tijd. Kijk eerst of de pagina überhaupt bereikbaar en toegestaan is, daarna pas naar de inhoud.

Hoe je het controleert

Je hoeft niet te gissen. Google Search Console vertelt je precies wat er met een pagina gebeurt. Plak de URL in de inspectietool en je ziet of hij geïndexeerd is, wanneer hij voor het laatst gecrawld werd en of er problemen zijn.

Voor een compleet beeld combineer ik dat met een crawl van de site zelf, zodat ik zie wat er staat en hoe de interne links lopen. Hoe die technische basis je vindbaarheid bepaalt, lees je in waarom techniek en structuur de basis blijven.

De kern

Crawlen, renderen, indexeren, ranken. In die volgorde. Zit je vindbaarheid vast, dan zit het probleem bijna altijd vroeg in die keten, niet bij de content zelf. Begin dus bij de basis.

Loopt je indexatie vast en kom je er zelf niet uit? Bekijk hoe ik als SEO consultant werk en plan een gesprek.