El fichero robots.txt es el recurso fundamental para la sitio que pretende aparecer bien vista por los buscadores como Chrome . Opera como el mapa para los crawlers , indicándoles qué áreas de tu sitio pueden ser rastreadas y cuáles evitar. La adecuada configuración de este archivo ayuda a evitar problemas de posicionamiento, mejorar la veloci