Robots.txt
Edita el archivo Robots.txt con un sencillo editor en el que podrás restringir o dar acceso a los robots que te interesen.
Robots.txt es un archivo de texto que suele encontrarse en el directorio raíz de un sitio web. Contiene instrucciones que indican a los rastreadores de los motores de búsqueda qué páginas de un sitio web deben ser indexables y cuáles deben evitar.
Robots.txt puede utilizarse para mantener determinadas partes del sitio fuera de los resultados de los motores de búsqueda, evitar el contenido duplicado y especificar dónde se encuentra el mapa del sitio XML.
