Robots.txt, archivo que le indica a los ‘bots’ cómo ver nuestro sitio

El Robot.txt es un archivo tipo texto (.TXT) en el cual escribimos algunas lineas con comandos para Bots o Robots.