En muchas ocasiones estaremos interesados en no mostrar determinadas partes de nuestra Web, bien por que sea información “confidencial” que no queremos que aparezca en buscadores o bien por ser partes técnicas del desarrollo que no van a aportar nada a nuestro posicionamiento.
Una de las formas de controlar esto es por medio del archivo robots.txt. este archivo comunica al robot si queremos que indexe nuestra Web. Básicamente se trata de un archivo que debemos renombrar como robots.txt, el cual se encargara de permitir a los robots navegar por nuestra Web.
El contenido de este archivo en caso de no querer que los robots nos indexen seria algo así:
User-Agent: *
Disallow: /
En este archivo (*) indica que esta regla es para todos los buscadores, si no fuera así lo sustituiríamos por el nombre del robot al que queremos alertar. En el apartado Disallow: indicaremos que directorios no queremos indexar, en nuestro ejemplo hemos indicado (/) que no indexe nada apuntando a la raíz del sitio.
En el siguiente ejemplo vamos a decirle a Google que no indexe nuestros directorio ”/cursos” y “/trabajos”
User-Agent: Goolgebot
Disallow: /cursos/
Disallow: /trabajos/
Otra forma de indicar a los robots la no indexación de alguna parte de nuestro contenido es utilizando una etiqueta Meta en la cabecera de la página que no queremos indexar.
Esta sería la sintaxis.
<META CONTENT=”NOINDEX, NOFOLLOW”>