Utilizando robots.txt para evitar que los buscadores indexen contenido de tu web

Si tenemos contenido en nuestra web que no deseamos que aparezca en los resultados de búqueda de los buscadores aquí explicamos como:

1º Creamos un archivo llamado robots.txt

2º  Para saber a que bot viene definida la regla, usamos un * para referirse a todos. Para por ejemplo referirse a Google nada más usariamos googlebot .

    User-agent: *

Para bloquear la indexación de TODA nuestra web:

    User-agent: *
    Disallow: /