För några dagar sedan publicerade vi en artikel om Sitemap – ett protokoll som hjälper sökmotorer förstå logiken bakom din webbplats för att på så sätt kunna indexera den lättare. Motsatsen till Sitemap är protokollet robots.txt – eller Robots Exclusion Standard som det egentligen heter. Med robots.txt berättar du vad sökmotorer INTE skall indexera. Det […]