Een robots.txt bestand? Wat is dat nou weer, hoor ik u denken. Het klinkt technisch, ict-ig en ingewikkeld. En ja, dat klopt, dat is het eigenlijk ook wel een beetje. Maar aangezien het een positieve bijdrage levert aan de SEO van uw website is het wel de moeite waard om u er even in te verdiepen en er meer over te leren.

Een robots.txt bestand, wat is het?

Dit bestand is speciaal bestemd voor zoekmachines. Het vertelt de zoekmachines namelijk hoe ze een website moeten ‘lezen’. Het onderzoeken van een website door een zoekmachine wordt uitgevoerd door bots. Dit noemen we ‘crawlen’. Een robots.txt bestand vertelt de bots hoe ze dit moeten doen.

Bots kijken altijd eerst naar robots.txt

De bots zullen bij het verkennen van uw website altijd automatisch kijken of er een robots.txt bestand aanwezig is. Op basis van de richtlijnen in dit bestand zal hij uw website crawlen. Bestaat dit bestand niet voor uw site? Dan crawlen ze de hele website. Geen probleem, toch? Nee, in veel gevallen is dit inderdaad geen probleem. Maar heeft u bijvoorbeeld ‘dubbele content’, of ‘duplicate content’ op uw pagina’s staan? Dan is dat niet bevorderlijk voor de SEO van uw website. Google houdt namelijk niet van ‘duplicate content’.

Disallow opdrachten; gij zult niet…

In een robots.txt kunt u de zoekmachine de opdracht geven om bepaalde pagina’s van uw site niet te indexeren. Op deze manier wordt de dubbele content niet herkend, en brengt het dus geen schade toe aan uw SEO. Daarnaast is het zo dat sommige pagina’s simpelweg gewoon niet interessant zijn om in de zoekresultaten te verschijnen. Bijvoorbeeld uw admin-page, of een pagina met zoekresultaten. Een gebruiker zit daar natuurlijk helemaal niet op te wachten. Door de zoekmachine de opdracht ‘disallow’ te geven, zal de aangegeven pagina niet worden gecrawld en de inhoud verschijnt dan ook niet in de zoekresultaten. Op deze manier kun je bepaalde delen van je website; mappen, pdf-bestanden, foto’s of hele pagina’s afschermen voor de zoekmachine.

Allow opdrachten; gij zult wel…

Het tegenovergestelde kan ook. De bots de opdracht geven om bepaalde delen van uw site juist wel te crawlen. Nu is het zo dat de bots automatisch alles crawlen, tenzij ze de opdrachten hebben gekregen om iets niet mee te nemen. Hier hoef je de bots dus geen toestemming voor te geven. Maar stel nou dat u een bepaald deel in een map wel wilt laten crawlen, maar de rest niet. Dan kunt u dit via het bestand aangeven. De bots weten dan precies wat ze wel en wat ze niet mogen crawlen. Een soort routekaart zeg maar. En nu we het over routekaarten hebben… U kunt in het robots.txt de bots ook verwijzen naar uw sitemap. Dit helpt de zoekmachines om uw website beter te indexeren. Het dan ook altijd slim om het robots.txt bestand wel te gebruiken.

Zelf doen, of laten doen?

Er is op internet genoeg informatie te vinden over hoe het robots.txt bestand activeert en waar u hem dan het beste kunt plaatsen. Bent u zelf heel handig met dat soort zaken? Dan is het voor u waarschijnlijk geen probleem en delegeert u de bots zonder moeite door uw website. Maar ik kan me goed voorstellen dat u het allemaal wat minder vanzelfsprekend vindt. In dat geval is het waarschijnlijk beter om uw beheerder er naar te vragen. Hij weet zich er ongetwijfeld wel raad mee.