Hva er robots.txt?
En fil på nettsiden som forteller søkemotorer hvilke deler de ikke skal lese.
Hva betyr det for bedriften din?
Robots.txt brukes til å styre hvordan søkemotorer går gjennom nettsiden, for eksempel for å holde dem unna sider som ikke har noe i søk å gjøre.
Filen er ikke en måte å holde en side utenfor Google på. Vil du at en side ikke skal vises i søk, bruk noindex eller passordbeskyttelse.
Relaterte begreper
- IndekseringNår Google har lest en side og lagt den inn i søkeregisteret sitt. En side som ikke er indeksert, kan ikke dukke opp i søk.
- SitemapEn fil som lister opp sidene på nettstedet, så Google finner dem lettere.
- SEOArbeidet med å få nettsiden høyere opp i de vanlige søkeresultatene på Google, uten å betale for annonser.