#Documento robot para sitio KLON #Metemos primero el sitemap.xml Sitemap:http://www.klon-outwear.com/sitemap.xml #--------------------------------------- #Ahora las directrices para los robots #Elegimos el robot, en este caso las normas son para todos al poner * User-Agent:* #Le damos 10 segundos de pausa entre peticion de pagina para no saturar nuestro servidor Crawl-delay:10