Screaming Frog 25: wat er nieuw is en wat ik ervan ga gebruiken

Op 3 november bracht Screaming Frog versie 25.0 van de SEO Spider uit. Een dag later volgde 25.1 met een paar bugfixes. De releasenotes zijn lang. Het meeste is handig. Een paar dingen veranderen hoe ik werk.

Hieronder per functie wat het doet en of het ertoe doet. Ben je nieuw met de tool, begin dan bij Screaming Frog voor beginners.

In het kort

• De configuratie staat nu in JSON. Een AI-assistent kan je crawl via MCP instellen en debuggen.
• Je bouwt een eigen dashboard met grafieken, tellers en tabellen.
• Je zet issues zelf aan en uit, met een eigen type en prioriteit.
• Je sluit links uit op hun plek in de pagina, bijvoorbeeld de navigatie.
• De crawler remt vanzelf af bij 429- en 503-responses.
• Een nieuw tabblad Social controleert Open Graph en X Cards.
• Je exporteert pagina’s als Markdown.
• Nederlands is toegevoegd als taal.

De grootste verandering: je crawl instellen via een AI-assistent

De configuratiebestanden zijn nu JSON. Dat klinkt als een detail, maar de rest van de release bouwt erop. JSON lees je gewoon, pas je aan in een teksteditor en laat je ook door een AI-assistent aanpassen.

Dat laatste is waar het om draait. De SEO Spider had al een MCP-koppeling. Daarmee stuurt een assistent als Claude de crawler aan. In versie 25 kan die assistent ook de configuratie aanpassen, bijvoorbeeld JavaScript-rendering aanzetten of een XPath voor custom extraction schrijven. Er zit debugtooling in de MCP. De assistent meldt dan waarom een crawl misloopt en stelt een oplossing voor. List Mode werkt nu ook volledig via MCP.

Mijn advies: leg per type site een vaste JSON-configuratie vast. Eén voor webshops, één voor JavaScript-sites, één voor content-sites. Bewaar die naast je projectbestanden. Dan start elke audit met dezelfde instellingen, of je nu zelf klikt of een assistent laat crawlen. Het oude formaat werkt nog, dus haast is er niet.

Een eigen dashboard

Er is een nieuw tabblad Dashboard. Je bouwt het op met widgets: grafieken, tellers en tabellen. Een dashboard kun je delen, als standaard instellen en exporteren voor een rapportage. Een nieuw dashboard maak je met het plusje rechtsonder.

De winst zit in standaardiseren. Bouw één dashboard met de cijfers die je in elke audit wilt zien en zet dat als standaard. Bij mij zijn dat ongeveer de tien rapporten die ik altijd eerst open. Dan zie je na elke crawl in één scherm of er iets ernstigs speelt.

Maar een dashboard is geen advies. Een klant heeft niets aan een grafiek met 412 redirects. Hij wil weten welke drie dingen eerst moeten.

Issues die je zelf instelt

Je kunt nu per crawl issues uitzetten, of hun type (Issue, Warning, Opportunity) en prioriteit (High, Medium, Low) aanpassen. Dat doe je met een rechtsklik in het Issues-paneel rechts, ook voor meerdere issues tegelijk. Je filtert op “Found in Crawl” of “All Issues”, op uitgezette issues en met een nieuwe zoekbox.

Voor mij is dit de praktische winst van de release. Een standaardlijst weet niet wat voor site je crawlt. Een korte page title op een merkpagina is geen probleem. Zet hem op Low of zet hem uit, dan toont je issueslijst wat voor deze site echt telt. Dat scheelt uitzoekwerk en het voorkomt dat een klant schrikt van honderden meldingen die er niet toe doen.

Volgens de releasenotes werkt het per crawl. Een vaste standaard kan toch, via de JSON-configuratie. De instellingen per issue zijn daar een eigen onderdeel van. Ik heb ze vastgelegd in een configuratie per type site, en de assistent zet die vóór elke crawl. Eén valkuil als je dat via MCP doet: stuur je één aangepast issue, dan vervangt dat de hele lijst. Stuur dus altijd de complete set mee.

Links uitsluiten op hun plek in de pagina

Tot nu toe sloot je links alleen uit op URL-patroon. Nu kan het ook op het linkpad, dus op de plek in de pagina waar de link staat. Screaming Frog noemt de navigatie en filters als voorbeeld.

Twee toepassingen waar ik dit voor ga gebruiken. Bij webshops met facetfilters staan de filterlinks meestal in hetzelfde blok. Die sluit je nu in één keer uit, zonder ingewikkelde URL-patronen. En je kunt testen wat er overblijft zonder het megamenu. Welke pagina’s zijn dan nog bereikbaar via links in de content? Wat dan wegvalt, bestaat alleen dankzij de navigatie. Daar zit vaak het werk voor interne links. Meer over waarom dat telt staat in crawlbudget: wanneer het ertoe doet.

Auto Throttle: een crawler die vanzelf afremt

Geeft een host 429- of 503-responses of verbreekt hij verbindingen, dan verlaagt de SEO Spider nu vanzelf het aantal verzoeken. Daarna loopt de snelheid geleidelijk weer op. Stopt de host met reageren, dan pauzeert de crawl. Het aantal retries stel je in. De nieuwe instelling “Connection Failure Retries” staat onder Config > Spider > Advanced en werkt samen met “Pause crawl if a host stops responding” en “5XX Response Retries”. Remt de crawler af, dan zie je dat onderin naast de crawlsnelheid.

Ik heb meegemaakt dat de firewall van een klant na een crawl mijn IP-adres blokkeerde. Tot die blokkade eraf was, lukte er vanaf dat adres niets meer. Auto Throttle helpt, maar het is geen garantie. Het reageert op 429, 503 en verbroken verbindingen. Een firewall die zonder waarschuwing blokkeert, houd je er niet mee tegen. Spreek bij grote sites dus nog steeds vooraf een crawlsnelheid af en vraag of je IP-adres op de witte lijst kan.

Een tabblad voor social meta tags

Het nieuwe tabblad Social controleert Open Graph- en X Card-tags. Het signaleert ontbrekende of onvolledige tags, afbeeldingen die geen 200-status geven en afbeeldingen met een verkeerd formaat. Die tags bepalen hoe je link eruitziet als iemand hem deelt op LinkedIn of in een chat. Een kapotte afbeelding daar kost klikken.

Er zijn ook nieuwe issues bijgekomen, zoals “Hreflang: Mismatch with HTML Lang Attribute” en “Links: Pages With Empty Anchor Tags”. Die laatste vind ik de interessantste. Een link zonder tekst vertelt zoekmachines niets over de pagina waar hij naartoe gaat.

Markdown-export: je pagina zonder opmaak

Staat “Store HTML” of “Store Rendered HTML” aan, dan vind je onder View Source een nieuw filter Markdown. In bulk exporteer je via Bulk Export > Web > All Page Markdown.

Screaming Frog zegt niet waar het voor bedoeld is. Ik ga het gebruiken voor GEO. AI-systemen lezen tekst, geen vormgeving. Markdown laat zien wat er van je content overblijft zonder opmaak. Staan de koppen in een logische volgorde? Staat het antwoord bovenaan? Blijft er nog iets over als het menu en de footer wegvallen? Het is ook een schone bron om content in bulk te laten beoordelen. Hoe AI-zoekmachines je content gebruiken, lees je op GEO en AI Search.

Kleinere updates die het noemen waard zijn

• Geplande crawls zet je aan en uit, start je direct met “Run Now” en pauzeer je via File > Crawls.
• De CLI kan crawls pauzeren, hervatten, verwijderen, hernoemen en verplaatsen, en projecten aanmaken en beheren.
• Bestandsnamen van exports stel je samen uit onderdelen zoals datum, domein, project, crawlnaam en rapportnaam.
• Relatieve sitemap-URL’s, zoals /sitemap.xml, werken nu in “Crawl Linked XML Sitemaps”.
• JavaScript-rendering gebruikt standaard “Network Idle” als wachttijd.
• Rijnummers blijven staan bij horizontaal scrollen, en Overview en Issues hebben een zoekbox.
• AI-prompts kunnen draaien terwijl de doelcontent leeg is, met “Allow Missing Prompt Target Content”.
• Versie 25.1 lost een crash op bij sommige schaalinstellingen van Windows.

Let op die nieuwe standaard voor JavaScript-rendering. Vergelijk je een crawl in versie 25 met een oudere, dan kan een verschil komen door de andere wachttijd en niet door de site.

Wat ik als eerste doe na de update

1. Een vaste JSON-configuratie per type site vastleggen.
2. De issues afstellen, zodat ruis van de lijst verdwijnt.
3. Eén standaarddashboard bouwen met de cijfers die ik altijd wil zien.
4. Bij JavaScript-sites controleren of “Network Idle” hetzelfde oplevert als mijn oude instelling, voordat ik crawls vergelijk.

Een crawl levert data op, geen plan. Wil je weten wat een crawl van jouw site oplevert, als lijst met prioriteiten in plaats van een export? Dat krijg je bij een SEO audit.