Datoteka Robots.txt

Kratek opis modula

Robots.txt protokol omogoča omejevanje brskanja spletnim pajkom in drugim robotom po določenih delih vašega spletnega mesta. S tako imenovano Robots.txt datoteko določimo različnim brskalnikom kot je Google, v katere vsebine lahko dostopa in do katerih nima dostopa. Datoteko se namesti ob glavni domeni (primer_www.vašadomena/robots.txt)

Lastnosti:

• Omejevanje indeksiranja in brskanja po določenih vsebinah

Slikovna predstavitev