Micro-Soluciones Tecnológicas
Generador y Validador de directivas Robots.txt y Sitemaps XML con motor de simulación de rastreo de bots en tiempo real.
Pega cualquier ruta interna y comprueba al instante si Googlebot, Bingbot u otros agentes tienen permitido o denegado el rastreo.
Especificaciones estándar del IETF RFC 9309 y el protocolo unificado sitemaps.org.
De acuerdo a la especificación oficial RFC 9309 de la IETF, las directivas no se evalúan en orden secuencial: la coincidencia con el patrón más específico (mayor número de caracteres) tiene prioridad absoluta. Si un Allow y un Disallow tienen idéntica longitud, la regla Allow prevalece.
Los motores de búsqueda buscan primero un bloque dedicado para su propio User-agent (ej. Googlebot, Bingbot, GPTBot). Si no existe un bloque específico, caen en el bloque genérico `User-agent: *`. Nuestro simulador reproduce este algoritmo exacto de resolución.
El protocolo sitemaps.org exige el espacio de nombres `xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"`. La etiqueta `<lastmod>` con formato ISO 8601 (YYYY-MM-DD) es el factor más crítico para indicar a los bots qué páginas requieren reindexación prioritaria.
Vincular la directiva `Sitemap: https://ejemplo.com/sitemap.xml` al final de robots.txt permite a buscadores como Bing, DuckDuckGo y Yandex descubrir automáticamente el índice de páginas sin necesidad de alta manual en consolas webmasters.
Diagnóstico y soluciones técnicas para indexación no deseada, bloqueo de recursos y errores de sintaxis.
Anécdotas técnicas sobre el nacimiento de robots.txt en 1994, la creación de sitemaps y límites de protocolo.
Martijn Koster propuso robots.txt en la lista de correo www-talk después de que un robot primitivo inundara su servidor en Nexor con miles de peticiones simultáneas, dejándolo fuera de servicio.
En 1994 solo existía `Disallow:`. La directiva `Allow:` fue introducida unilateralmente por Google y otros buscadores a finales de los 90 para permitir subrutas dentro de directorios bloqueados.
A pesar de ser el pilar de la web durante casi 3 décadas como 'acuerdo de caballeros', el IETF no lo ratificó como estándar formal de Internet hasta septiembre de 2022 bajo el RFC 9309.
El protocolo unificado sitemaps.org (respaldado por Google, Microsoft y Yahoo desde 2006) impone un límite de 50.000 URLs o 50 MB sin comprimir. Sitios mayores deben usar índices `<sitemapindex>`.
Aprende los conceptos fundamentales, protocolos y términos técnicos de esta herramienta.
Especificación formal de IETF adoptada por Google y Bing que estandariza la sintaxis de directivas `Allow`, `Disallow` y wildcards (`*`, `$`) para controlar a los rastreadores web.
Identificador del bot al que se aplican las reglas (ej. `Googlebot` para el buscador general de Google o `*` como regla universal para todos los rastreadores).
Bajo RFC 9309, la directiva más larga y específica tiene prioridad. Si ambas tienen igual longitud, la directiva `Allow` prevalece sobre `Disallow`.
Mapa estructurado en formato XML que lista todas las URLs canónicas y fechas de actualización de un sitio para garantizar que los motores las descubran eficientemente.