Lanzas una nueva URL, pasan días, a veces semanas, y Google ni se inmuta. Entras a Search Console y ves el temido “Descubierta: actualmente sin indexar”. ¿Te suena?
Muchos clientes llegan a mí pensando que tienen mala suerte o que Google los ha penalizado. Pero en el 90% de los casos, si tienes un sitio mediano o grande (como un E-commerce o un medio de noticias), el problema es de matemáticas, no de suerte.
El problema es que se te acabó el “dinero”.
Hoy vamos a hablar del Crawl Budget (Presupuesto de Rastreo), el concepto técnico que separa a los sitios profesionales de los amateurs, y te voy a enseñar cómo dejar de desperdiciarlo.
¿Qué es exactamente el Crawl Budget?
Imagina que Googlebot (la araña de Google) es un cliente que entra a tu tienda con una cantidad limitada de tiempo y energía. No va a recorrer cada pasillo si tu tienda es un laberinto, está desordenada o las luces están apagadas.
Técnicamente, el Crawl Budget es la cantidad de tiempo y recursos que Google decide invertir en rastrear tu sitio web. Google asigna este presupuesto basándose en dos factores:
- La popularidad de tu sitio (Autoridad): Cuanto más importante eres, más te visita.
- La salud técnica (Eficiencia): Si tu servidor responde rápido, Google puede ver más páginas en menos tiempo.
¿Realmente necesitas preocuparte por esto?
Aquí es donde, como consultor, debo ser honesto contigo para que no pierdas tiempo. No todo el mundo tiene problemas de Crawl Budget.
Si tu web tiene menos de 1.000 URLs (una web corporativa estándar o un blog pequeño), Google probablemente rastreará todo sin problemas, a menos que tu servidor sea un desastre. En ese caso, tu problema es más básico y te recomiendo empezar por revisar cómo verificar si Google ha indexado tu página correctamente.
Pero, si gestionas un E-commerce con miles de productos, un marketplace o un portal de noticias que genera contenido diario, el Crawl Budget es vital. Si lo agotas, tus productos nuevos no aparecerán en Google y perderás ventas.
4 Señales de que estás desperdiciando tu presupuesto de rastreo
Como especialista en SEO técnico, cuando audito un sitio grande, busco fugas de presupuesto. Estas son las más comunes que veo a diario:
1. Tu servidor es lento o inestable
Esta es pura lógica de eficiencia. Si Googlebot tarda 2 segundos en descargar una página de tu sitio, y solo tiene asignados 10 segundos, solo verá 5 páginas. Si optimizas la velocidad de carga (WPO) para que tarden 0.2 segundos, verá 50 páginas en el mismo tiempo.
A menudo, el problema viene de una mala elección de plantilla o plugins innecesarios. Si sospechas que tu web “pesa” demasiado, revisa mi artículo sobre los 10 errores técnicos de diseño web que te hacen perder dinero.
2. Tienes demasiado “Thin Content” o contenido duplicado
¿Tienes 500 páginas de etiquetas (tags) que no aportan nada? ¿Fichas de producto vacías? Google odia perder el tiempo en contenido de baja calidad. Si detecta que gran parte de tu web es “basura” (thin content), asumirá que el resto también lo es y dejará de visitarte.
3. Trampas de araña: Filtros infinitos y parámetros de URL
Esto es clásico en tiendas online. Si tu web permite generar URLs infinitas al combinar filtros (ej: /camisetas?color=rojo&talla=L&precio=desc...), Googlebot puede quedarse atrapado rastreando miles de combinaciones que son, en esencia, la misma página. Es una forma segura de quemar tu presupuesto en minutos.
4. Cadenas de redirección y errores 404
Cada vez que Googlebot encuentra un error 404 o tiene que pasar por tres redirecciones (A -> B -> C -> D) para llegar al destino, está gastando recursos inútilmente. Es como invitar a alguien a tu casa y hacerle abrir cuatro puertas para entrar al salón.
Cómo optimizar el Crawl Budget paso a paso
Optimizar el rastreo no es magia, es orden y estrategia. Aquí tienes mi hoja de ruta:
Paso 1: Analiza tus Logs y las Estadísticas de Rastreo
No te quedes solo con Analytics. Como consultor con perfil analítico, siempre voy a los Logs del servidor para ver la verdad: ¿Qué páginas visita realmente el bot? ¿Cuáles ignora?
Si no tienes acceso a los logs, empieza por el informe de “Estadísticas de rastreo” en Search Console.
Paso 2: El poder del robots.txt: Dile a Google dónde NO entrar
El archivo robots.txt es tu portero. Úsalo para bloquear el acceso a zonas que no aportan valor SEO, como:
- Páginas de administración (/wp-admin, /admin).
- Carritos de compra y checkout.
- Resultados de búsqueda interna.
- Filtros de parámetros irrelevantes.
Paso 3: Arquitectura Web: Crea “Autopistas” hacia lo importante
La estructura de tu web debe facilitar el camino. Asegúrate de que tus páginas más importantes (tus productos estrella o categorías principales) estén a menos de 3 clics de la página de inicio. Usa el enlazado interno para decirle a Google: “Oye, esto es importante, ven a verlo”.
Paso 4: Limpieza de redirecciones (301) y enlaces rotos
Realiza una auditoría periódica (con herramientas como Screaming Frog) para detectar y corregir enlaces rotos y cadenas de redirección. Tu objetivo es que cada enlace interno lleve directamente a una página con código 200 (OK).
La indexación se gana, no se regala
Optimizar el Crawl Budget es, en última instancia, respetar el tiempo de Google. Si le pones las cosas fáciles, te recompensará indexando más contenido, más rápido y posicionándolo mejor.
Si gestionas un sitio web grande, un medio de comunicación o un E-commerce y sientes que Google está ignorando gran parte de tu catálogo, el problema suele estar en las “tripas” de tu web.
¿Necesitas una auditoría técnica profunda para destapar estos problemas? Como consultor SEO especializado en grandes arquitecturas web, puedo ayudarte a optimizar tu presupuesto de rastreo para que cada visita de Google cuente.
