Concepto de Disallow
¿Qué es un Disallow?
Un Disallow o estándar de exclusión de bots o robots, es un método para prevenir que ciertos robots que escanean sitios web públicos o privados, u otros robots que estudian todo o parte del acceso, puedan agregar información innecesaria a los resultados de búsqueda. Este archivo Disallow se ubica en el directorio raíz (root) en el servidor web.
Disallow all es una instrucción básica en el archivo robots. Disallow es una palabra en inglés que quiere decir “rechazar”. Es decir, es una orden que se le da al robots de búsqueda que debe rechazar. Es una directiva que usan mucho las agencias SEO.
Puede parecer incoherente que se le quiera dar al bot instrucciones de rechazar contenido de una web si más bien los bots son para indexarla para que aparezca entre los buscadores. Lo que ocurre es que habrá situaciones en las que convendrá que los bots no indexen para que así nadie pueda visitar tu web. Por ejemplo, en el caso de que estés iniciando un proyecto web, no querrás que por el momento sea indexado.
Para qué sirve un Disallow
Sirve para dar a los robots instrucciones sobre qué contenido deben seguir y qué no, y cómo deben hacerlo.
Algunos administradores de sitios web utilizan el archivo robots.txt para hacer que algunas secciones privadas sean invisibles para el resto del mundo. Sin embargo, como estos archivos están disponibles públicamente, su contenido puede ser visto por cualquier persona con un navegador web y conocimientos avanzados.
La principal desventaja de usar esta declaración es que las reglas introducidas en el archivo robots.txt no son obligatorias. Es decir, en última instancia, es el robot el que «elige» si escucha o no. La mayoría de los motores de búsqueda, como Google o Bing siguen este protocolo, pero los robots maliciosos no pueden (después de todo, se les llama maliciosos). Sin embargo, incluso con una prohibición total, Google puede indexar ciertas páginas del sitio.
En términos generales, la creación de este tipo de archivo robots.txt es una buena manera de optimizar la indexación web, aunque no es obligatoria.
Ejemplos de Disallow
No podemos dar ejemplos, porque simplemente se trata de un tipo de instrucción, la cual hemos definido ampliamente en las líneas anteriores.
Tan solo podemos invitar a llevarlo a cabo dentro de tu propia web y comprobar así su funcionamiento.
Más información sobre Disallow
Si quieres más información sobre aquello que influye en la creación de una web, no te pierdas el siguiente artículo:
