sin duda una de las mejores formar de protegerse del spam es generando un robots.txt , para lo que no conocen mucho este archivo les puedo mencionar que un archivo robots.txt es un archivo de texto corto que se encuentra en su directorio personal. Cuando los motores de búsqueda ven su sitio, ven en este archivo qué archivos o tipos de archivo y / o directorios no están autorizados a ver.
como muchos quizás les cueste entender les presento este generador el cual es online y totalmente gratuito , pero que hace ? Esta herramienta hará que su archivo robots.txt. Como un poco de «extra» que también incluye un bloque de muchas arañas no deseados que sólo rastrear su sitio con el fin de recoger las direcciones de correo electrónico almacenados en sus páginas. (SPAM robots) usted no tiene si no que colocar la lista de directorios que no desea que sean visto por los motores de búsquedas tales como los paneles de administración o directorio de archivos mp3 o vídeos de los usuarios en fin la herramienta es de libre uso y aunque la interfaz es simple es fácil de usar
