Crawlen is het proces waarbij de zogenoemde Googlebot websites scant om wijzigingen te identificeren en te verwerken in de Google Index. De Googlebot, ook wel een ‘spider’ of ‘bot’ genoemd, wordt aangestuurd door duizenden computers, waardoor het iedere bestaande website zo ongeveer om de paar seconden kan bezoeken. Dit doet de bot volgens een algoritme, dat bepaalt welke pagina’s bezocht moeten worden en hoe vaak. Dit algoritme kijkt onder andere naar de pageranking, de links naar de pagina toe en eventuele crawlbeperkingen. Dit proces zorgt ervoor dat de Google zoekindex steeds de meest actuele informatie kan weergeven.
Er zijn een aantal redenen waarom de Googlebot een pagina niet kan crawlen. De simpelste reden is dat je een pagina enkel kan bezoeken als je inlogt. De bot bezoekt de website als een bezoeker zonder account, dus alle pagina’s die enkel met een gebruikersnaam en wachtwoord bereikt kunnen worden, zal de bot niet bezoeken.
Een andere veel voorkomende beperking is feitelijk een fout: de pagina die de bot probeert te bezoeken bestaat niet of het pad dat de bot probeert te volgen, is fout. Als bezoeker zie je dan vaak een pagina met een Error 404. Deze content wordt dus niet meegenomen door de bot, maar het zorgt ook voor een slechte gebruikerservaring. In dit artikel lees je hoe je error 404’s op kunt lossen.
De derde beperking vind je in de robots.txt van je website: een tekstbestandje dat instructies geeft aan de Googlebot. Hier kun je in aangeven dat bepaalde pagina’s in je website niet gecrawld mogen worden met een zogenoemde ‘disallow’. Hier zou je bijvoorbeeld voor kunnen kiezen op het moment dat je een pagina hebt met een aanbieding die je alleen aan een specifieke doelgroep wilt doen. In dit geval wil je niet dat Google deze pagina crawlt en indexeert, waardoor deze informatie uiteindelijk ook niet terug zal komen in de zoekresultaten.
De Googlebot bezoekt je website altijd via een nieuwe versie van de Chrome browser. Daarnaast gebruikt de bot twee typen crawlers, namelijk een mobile crawler en een desktop crawler. Het verschil zit hem in hoe de Googlebot de pagina’s bekijkt: het simuleert of een bezoek via een mobiel device of op een desktop.
Nieuwe websites zullen altijd de mobile crawler als primaire crawler toegewezen krijgen, wat betekent dat alle pagina’s op je website op deze manier opgehaald worden. Enkele pagina’s zullen daarnaast via een secundaire crawl met de desktop crawl opgehaald worden. Extra belangrijk dus om je website mobile first vorm te geven en de mobiele versie van je website te optimaliseren.
Om jouw website goed te kunnen indexeren, moet Google jouw website kunnen crawlen. Optimaliseer je website dan ook zo veel mogelijk. Lees in dit artikel hoe je het Google makkelijker maakt om jouw website te crawlen.
Heb je hulp nodig? Neem dan contact met ons op via het contactformulier of chat direct met ons via het icoon rechtsonder. We helpen je graag verder!
Behalve over de opbouw van de mediabibliotheek is het ook handig om na te denken over de afbeeldingen zelf. In welk formaat upload je ze (jpg of png) en hoe groot zijn ze? Wat het meest geschikt is hangt af van de specificaties, gesteld door bijvoorbeeld het platform of het CMS waar je afbeelding in geplaatst wordt.
Afbeeldingen zijn onmisbaar op je website. We schreven al eens over het belang van een SEO-waardige image gallery. Maar waar begin je met het vinden van beeldmateriaal? Schiet je je foto’s zelf, huur je een fotograaf in of gebruik je stock images? Hoe kom je aan beeld dat past bij jouw organisatie? En waar moet je op letten als het gaat om auteursrechten?
Je hebt misschien nog niet eerder van rich snippets gehoord, maar grote kans dat je ze wel eens voorbij hebt zien komen in Google. Deze rich snippets ondersteunen in Google de ‘normale’ zoekresultaten. Maar waar zijn deze rich snippets goed voor?