Wat kan je met robots.txt
Nanosites:
Zoekmachines werken met zogenaamde "robots" of "spiders".
Je kunt deze "robots" gedeeltelijk besturen door middel van een robots.txt bestand te plaatsen in je root directory.
Laatst gewijzigd: 2008-02-01 23:00:00
Paginaweergaves: 339
Tags: robotstxt