¿Qué es Robots.txt?

Definición de robots.txt: archivo que indica a rastreadores qué rutas pueden visitar; no sustituye una etiqueta noindex en una página.

Relacionado: Indexación