Utilizando robots.txt para evitar que los buscadores indexen contenido de tu web

Si tenemos contenido en nuestra web que no deseamos que aparezca en los resultados de búqueda de los buscadores aquí explicamos como:

1º Creamos un archivo llamado robots.txt

2º  Para saber a que bot viene definida la regla, usamos un * para referirse a todos. Para por ejemplo referirse a Google nada más usariamos googlebot .

    User-agent: *

Para bloquear la indexación de TODA nuestra web:

    User-agent: *
    Disallow: /

Bloquear el acceso a Facebook en Windows

Si necesitamos bloquear el acceso a ciertas páginas web como Facebook en un ordenador, hay una forma muy sencilla para hacerlo (válido para todos los Windows), para ello deberemos de editar el archivo: C:\Windows\system32\drivers\etc\hosts con nuestro editor favorito, en mi caso pulse WIN+R (ejecutar) e introducí:

notepad C:\Windows\system32\drivers\etc\hosts 

y al final del documento añadimos:

# Bloqueo Facebook
127.0.0.1 www.facebook.com
127.0.0.1 facebook.com
127.0.0.1 static.ak.fbcdn.net
127.0.0.1 www.static.ak.fbcdn.net
127.0.0.1 login.facebook.com
127.0.0.1 www.login.facebook.com
127.0.0.1 fbcdn.net
127.0.0.1 www.fbcdn.net
127.0.0.1 fbcdn.com
127.0.0.1 www.fbcdn.com
127.0.0.1 static.ak.connect.facebook.com
127.0.0.1 www.static.ak.connect.facebook.com

guardamos, cerramos y reiniciamos! Ahora acabamos de indicar e nuestro sistema operativo que cada vez que se acceda a los dominios listados, vaya a la ip 127.0.0.1, osea a nuestra propia máquina.