Durante más de dos décadas, el archivo robots.txt ha sido uno de los pilares de la arquitectura SEO. Este pequeño archivo de texto, ubicado en la raíz de los sitios web, le dice a los motores de búsqueda tradicionales qué páginas deben o no deben rastrear. Fue, y sigue siendo, una herramienta crucial para guiar…