Crawlen:
wat is het en hoe werkt het?

Op het internet komt dagelijks veel nieuwe content beschikbaar en bestaande pagina’s worden regelmatig geüpdatet met nieuwe content. Als er iets gewijzigd is, gaat er geen seintje naar Google dus moet Google actief op zoek naar veranderingen. Dit doet de zoekmachine door de website te crawlen. Hoe dat precies werkt, lees in je in dit artikel.

De Googlebot

Crawlen is het proces waarbij de zogenoemde Googlebot websites scant om wijzigingen te identificeren en te verwerken in de Google Index. De Googlebot, ook wel een ‘spider’ of ‘bot’ genoemd, wordt aangestuurd door duizenden computers, waardoor het iedere bestaande website zo ongeveer om de paar seconden kan bezoeken. Dit doet de bot volgens een algoritme, dat bepaalt welke pagina’s bezocht moeten worden en hoe vaak. Dit algoritme kijkt onder andere naar de pageranking, de links naar de pagina toe en eventuele crawlbeperkingen. Dit proces zorgt ervoor dat de Google zoekindex steeds de meest actuele informatie kan weergeven.

Crawlbeperkingen

Er zijn een aantal redenen waarom de Googlebot een pagina niet kan crawlen. De simpelste reden is dat je een pagina enkel kan bezoeken als je inlogt. De bot bezoekt de website als een bezoeker zonder account, dus alle pagina’s die enkel met een gebruikersnaam en wachtwoord bereikt kunnen worden, zal de bot niet bezoeken.

Een andere veel voorkomende beperking is feitelijk een fout: de pagina die de bot probeert te bezoeken bestaat niet of het pad dat de bot probeert te volgen, is fout. Als bezoeker zie je dan vaak een pagina met een Error 404. Deze content wordt dus niet meegenomen door de bot, maar het zorgt ook voor een slechte gebruikerservaring. In dit artikel lees je hoe je error 404’s op kunt lossen.

De derde beperking vind je in de robots.txt van je website: een tekstbestandje dat instructies geeft aan de Googlebot. Hier kun je in aangeven dat bepaalde pagina’s in je website niet gecrawld mogen worden met een zogenoemde ‘disallow’. Hier zou je bijvoorbeeld voor kunnen kiezen op het moment dat je een pagina hebt met een aanbieding die je alleen aan een specifieke doelgroep wilt doen. In dit geval wil je niet dat Google deze pagina crawlt en indexeert, waardoor deze informatie uiteindelijk ook niet terug zal komen in de zoekresultaten.

Typen crawls

De Googlebot bezoekt je website altijd via een nieuwe versie van de Chrome browser. Daarnaast gebruikt de bot twee typen crawlers, namelijk een mobile crawler en een desktop crawler. Het verschil zit hem in hoe de Googlebot de pagina’s bekijkt: het simuleert of een bezoek via een mobiel device of op een desktop.

Nieuwe websites zullen altijd de mobile crawler als primaire crawler toegewezen krijgen, wat betekent dat alle pagina’s op je website op deze manier opgehaald worden. Enkele pagina’s zullen daarnaast via een secundaire crawl met de desktop crawl opgehaald worden. Extra belangrijk dus om je website mobile first vorm te geven en de mobiele versie van je website te optimaliseren.

Wat betekent dit voor jouw website?

Om jouw website goed te kunnen indexeren, moet Google jouw website kunnen crawlen. Optimaliseer je website dan ook zo veel mogelijk. Lees in dit artikel hoe je het Google makkelijker maakt om jouw website te crawlen.

Heb je hulp nodig? Neem dan contact met ons op via het contactformulier of chat direct met ons via het icoon rechtsonder. We helpen je graag verder!

Contentmanager Ananda
Ananda | Contentmanager
zoekmachine


Verder lezen?

Deze artikelen vind je misschien ook interessant:

sitemap

Wat is een sitemap en hoe maak je deze?

Een sitemap kun je in feite zien als de inhoudsopgave bij een boek. Het is namelijk een pagina waarin links naar alle pagina’s van de website staan. Meestal zijn deze gesorteerd op onderwerp of relevantie. De sitemap is dan ook een handig hulpmiddel voor zowel zoekmachines als bezoekers om bepaalde pagina’s te vinden op je website.

Lees verder »
browser

Verbeter hoe Google je website crawlt

De Googlebot bezoekt jouw website regelmatig, om zo veranderingen en nieuwe pagina’s op te kunnen pakken. Om de zoekmachine te helpen jouw wijzigingen te vinden en gemakkelijk door de website te navigeren, kun je een aantal stappen ondernemen.

Lees verder »