Robots.txt
Robots.txt är en textfil som ligger på en webbplats och talar om för sökmotorers robotar (crawlers) vilka sidor eller delar av sajten de får eller inte får indexera. Den används för att styra hur en webbplats blir synlig i sökresultat.
Syftet är att ge sökmotorer instruktioner om vilka delar av webbplatsen som bör undvikas vid indexering. Det kan vara sidor som inte är relevanta för allmänheten (t.ex. interna admin-sidor), duplicerat innehåll eller testmiljöer.
Det är dock viktigt att förstå att robots.txt inte är ett säkerhetsverktyg. Det hindrar inte åtkomst till sidor, utan endast ger rekommendationer till välkända sökmotorer. Obehöriga kan fortfarande se innehållet om de känner till URL:en.
Hur används robots.txt i praktiken?
Webbansvariga och SEO-specialister använder robots.txt för att:
- Blockera sökmotorer från att indexera interna eller irrelevanta sidor.
- Förhindra duplicerat innehåll från att dyka upp i sökresultat.
- Styra crawl-budgeten så att sökmotorer fokuserar på viktiga sidor.
- Peka ut var sitemap.xml-filen finns för att underlätta indexering.
Robots.txt i sig är inte en KPI, men dess effekt kan mätas indirekt genom SEO-verktyg. Exempel på mätpunkter:
- Indexeringsstatus: Vilka sidor som faktiskt indexeras (via Google Search Console).
- Crawl-statistik: Hur ofta och vilka sidor som crawlas.
- Organisk synlighet: Om ändringar i robots.txt påverkar ranking eller trafik.
Exempel
En e-handelsbutik har tusentals produktsidor men vill inte att interna sökresultatsidor indexeras av Google. Genom att lägga till en regel i robots.txt kan de blockera exempelvis /search/-URL:er. Det leder till bättre crawl-budget och renare sökresultat.
Tips för att jobba smartare med robots.txt
- Var försiktig med blockeringar: En felaktig regel kan dölja hela sajten från Google.
- Testa alltid i Google Search Console: Använd verktyget för att simulera och verifiera reglerna.
- Blockera inte viktiga resurser: Se till att CSS- och JS-filer som behövs för rendering är tillgängliga.
- Använd för rätt ändamål: Robots.txt är för sökmotorstyrning, inte för att skydda känsligt innehåll.
- Håll det enkelt: Undvik onödigt komplicerade regler.