El fichero robots.txt es un instrumento esencial para dirigir cómo los buscadores exploran tu sitio web . Ofrece a los arañas instrucciones sobre cuáles secciones de tu dominio pueden ser rastreadas Vi