Permitir descargas de archivos en el sitio web ayuda a seo
En muchas oc asiones, cuando navegamos por la Web, o cuando buscamos en Google, nos encontramos con el famoso Error 404: Url not found. Para el usuario de a pie, este tipo de mensajes no son más que un incordio. El archivo robots.txt no es obligatorio crearlo Sólo necesitas crearlo cuando quieres bloquear ciertas páginas o directorios de tu web para que no aparezcan en los resultados de búsqueda.