Orienta el rastreo
Le dice a los bots que rutas no necesitan visitar con frecuencia o que rutas no quieres que rastreen.
Guia SEO
Como hacer un robots.txt sin complicarlo de mas
Aprende como hacer un robots.txt basico, que partes incluir y que errores evitar antes de publicarlo en tu sitio.
No es lo mismo
Robots.txt, noindex y seguridad cumplen tareas distintas
Muchos errores pasan cuando se intenta usar un archivo para resolver problemas que corresponden a otra capa.
Afecta la indexacion
Sirve para indicar que una pagina no deberia mostrarse en resultados de busqueda.
No depende del robots.txt
Una ruta sensible debe estar protegida por autenticacion o permisos, no por confiar en que un bot no entre.
Antes de publicarlo
Checklist para revisar tu robots.txt
Evita bloquear assets necesarios
Si bloqueas recursos clave, Google podria renderizar peor tus paginas.
No uses rutas demasiado amplias
Bloquear una carpeta completa puede llevarse paginas utiles por delante.
Confirma la URL del sitemap
Si la anades, revisa que realmente responda con la ubicacion correcta.
Comprueba el archivo final en produccion
Lo importante no es el borrador local sino el texto exacto que se sirve en el dominio publico.
Idea central
Que debe resolver un robots.txt bien hecho
Guiar a los bots sin bloquear de mas
El archivo debe ayudar a los buscadores a entender que rutas conviene rastrear y cuales no necesitan visitas frecuentes.
Mantener una sintaxis simple
Mientras mas reglas especiales metas sin necesidad, mas facil es que termines bloqueando secciones que si querias indexar.
Separar rastreo de indexacion
Robots.txt no reemplaza noindex. Una cosa es orientar el rastreo y otra decidir si una pagina debe aparecer en resultados.
Como armarlo
Pasos para crear un robots.txt basico
Define el user-agent
En la mayoria de sitios simples, usar User-agent: * es suficiente para un archivo inicial.
Lista solo las rutas que realmente quieres bloquear
No metas reglas por reflejo; primero revisa si esas carpetas o rutas de verdad no aportan nada al rastreo.
Agrega tu sitemap si lo tienes
Incluir la URL del sitemap al final ayuda a dejar claro donde esta el indice principal del sitio.
Revisa la salida antes de subirla
Un slash mal puesto o una ruta demasiado amplia puede generar bloqueos accidentales.
Ejemplos de uso
Escenarios donde un robots.txt ayuda
Areas privadas
Puede orientar a los bots para que no gasten rastreo en paneles, previews o flujos internos sin valor publico.
Micrositios o landings
Sirve para dejar claro que paginas son publicas y donde esta el sitemap desde el inicio.
Proyectos en crecimiento
Ayuda a mantener control sobre secciones nuevas mientras el sitio se vuelve mas grande.
Preguntas frecuentes
Dudas comunes sobre robots.txt
Robots.txt evita que una pagina se indexe?
No siempre. Puede bloquear rastreo, pero no sustituye una estrategia de noindex o control de indexacion.
Conviene bloquear /admin?
En muchos casos si, pero depende de como este construido tu sitio y de si esa ruta ya esta protegida por otros medios.
Puedo poner varias reglas Disallow?
Si. Lo normal es anadir una directiva por cada ruta relevante.
Tengo que anadir el sitemap?
No es obligatorio, pero suele ser una buena practica.
Sigue explorando
Paginas relacionadas con rastreo y archivos tecnicos
Pruebalo ya
Genera un robots.txt basico en segundos
Usa la herramienta para armar un borrador limpio con user-agent, reglas y sitemap antes de publicarlo.