El archivo robots.txt es un recurso fundamental para dirigir cómo los buscadores exploran tu página web . Facilita a los rastreadores indicaciones sobre qué páginas de tu sitio pueden indexadas y cuáles deben omitidas. Una configuración del robots.txt puede aumentar tu posicionamiento en los rank