¿Por qué es importante actualizar tu robots.txt si usas Cloudflare?

Si tu sitio web utiliza Cloudflare como CDN o como parte de tu infraestructura de seguridad, es probable que hayas notado algunos «errores» en tus informes de rastreo o análisis SEO. Estos errores suelen estar relacionados con el endpoint /cdn-cgi/, que es utilizado por Cloudflare para sus servicios internos.

Importante: Aunque estos errores no afectan al posicionamiento SEO ni al rendimiento de tu sitio, pueden generar «ruido» en tus informes y dificultar el análisis real de tu sitio web.

La solución recomendada por Cloudflare

Según la documentación oficial de Cloudflare, la mejor práctica es actualizar tu archivo robots.txt para incluir la siguiente directiva:

Disallow: /cdn-cgi/

Esto impide que los rastreadores de motores de búsqueda y otras herramientas de análisis accedan a este directorio, eliminando así los falsos errores en tus informes y permitiendo que los rastreadores se enfoquen en el contenido real de tu sitio.

Script automatizado para sitios WordPress

Para facilitar esta tarea, especialmente si administras múltiples sitios WordPress, hemos desarrollado un script en bash que:

1. Busca recursivamente todas las instalaciones de WordPress en un directorio
2. Verifica si existe el archivo robots.txt en cada instalación
3. Si existe, añade la directiva Disallow: /cdn-cgi/ (si no existe ya)
4. Si no existe, crea un nuevo archivo robots.txt con las configuraciones recomendadas

El script está disponible en GitHub: WordPress-Cloudflare-robots.txt-Updater

Cómo usar el script

Instalación desde GitHub

La forma más sencilla de obtener el script es descargándolo directamente del repositorio oficial:

curl -O https://raw.githubusercontent.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater/refs/heads/main/update_robots_cloudflare.sh
chmod +x update_robots_cloudflare.sh

También puedes clonar el repositorio completo si prefieres:

git clone https://github.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater.git
cd WordPress-Cloudflare-robots.txt-Updater
chmod +x update_robots_cloudflare.sh

Instalación manual

Alternativamente, puedes crear el script manualmente:

1. Guardar el script:
   • Crea un archivo llamado update_robots_cloudflare.sh
   • Copia y pega el código anterior
   • Guarda el archivo
2. Dar permisos de ejecución: chmod +x update_robots_cloudflare.sh

Ejecución del script

• Para ejecutar en el directorio actual: ./update_robots_cloudflare.sh
• Para ejecutar en un directorio específico: ./update_robots_cloudflare.sh /path/to/your/sites

4. Revisar los cambios:
   • El script mostrará detalladamente cada acción realizada
   • Puedes verificar los archivos robots.txt creados o modificados

Ventajas de usar este script

• Ahorro de tiempo: Actualiza automáticamente múltiples sitios WordPress
• Seguridad: Solo modifica archivos en directorios con instalaciones de WordPress
• Inteligencia: Evita duplicar la directiva si ya existe
• Formato correcto: Asegura que se añadan los retornos de carro necesarios
• Transparencia: Informa detalladamente sobre cada acción realizada
• Eficiencia: Excluye directorios como wp-includes, wp-admin y wp-content para un escaneo más rápido

Conclusión

Si utilizas Cloudflare en tus sitios WordPress, este script te ayudará a implementar fácilmente la recomendación oficial de Cloudflare para excluir el endpoint /cdn-cgi/ de los rastreadores web. Esto permitirá que tus informes SEO sean más limpios y precisos, sin el ruido generado por los falsos errores relacionados con este directorio técnico.

¡Optimiza tus sitios WordPress con Cloudflare de manera eficiente y profesional!