Google SEO 101: Explicación del presupuesto de exploración del sitio web

Google profundiza en el presupuesto de exploración, respondiendo algunas de las preguntas más comunes relacionadas con SEO en el último episodio de SEO Mythbusting.

Junto con Alexis Sanders de Merkle, Martin Splitt de Google responde a más de una docena de preguntas que los SEO suelen hacer sobre el presupuesto de exploración.

Aquí hay un breve resumen de cada pregunta y respuesta, así como la marca de tiempo correspondiente en el video.

¿Cuál es el presupuesto de exploración? (1:15)
El presupuesto de rastreo es el equilibrio entre rastrear la mayor cantidad de contenido en un sitio lo más rápido posible sin abrumar a los servidores.

El presupuesto es la cantidad de solicitudes que Googlebot puede hacer al mismo tiempo sin sobrecargar el servidor.

¿Cuál es la demanda de exploración? (1:47)
Esto se refiere a la frecuencia con la que Google quiere para explorar un sitio de acuerdo con su objeto.

Por ejemplo, un sitio de noticias probablemente tendrá una mayor demanda de rastreo en comparación con un sitio de recetas.

¿Cómo toma Googlebot decisiones sobre la tasa y la demanda de rastreo? (2:44)
Google determina con qué frecuencia se rastrea una página en función de la frecuencia con que cambia el contenido. Si la frecuencia de los cambios es baja, el sitio no será explorado tan a menudo como los demás.

ETags, encabezados HTTP, fechas de última modificación y similares (3:43)
Google usa cosas como ETags, encabezados HTTP y fechas de última modificación para determinar con qué frecuencia se debe escanear el contenido.

Un ETag es un encabezado de almacenamiento en caché que contiene una huella digital del contenido para detectar cambios a lo largo del tiempo.

¿Qué tamaño de sitios debería preocuparse por el presupuesto de exploración? (4:35)
Esto es principalmente una preocupación para sitios grandes con millones de páginas. Si su sitio tiene menos de un millón de páginas, no tiene que preocuparse por el presupuesto de rastreo.

Configuración del servidor vs presupuesto de rastreo (5:00)
El presupuesto de exploración a menudo se cita como un problema para los propietarios de sitios cuando el problema subyacente suele ser la configuración del servidor o la calidad del contenido.

Frecuencia de rastreo versus calidad de contenido (6:18)
Esto no significa que el contenido sea de alta calidad cuando se rastrea con mayor frecuencia. Tampoco significa que el contenido sea de baja calidad cuando se rastree con menos frecuencia.

¿Qué esperar ver en sus archivos de registro si Google prueba su servidor? (7:45)
Podrían ver un aumento en la actividad de exploración, seguido de una disminución, seguido de otro aumento. Entonces, un patrón de onda, en otras palabras.

Consejos sobre cómo rastrear su sitio precisamente durante una migración del sitio (8:18)
Martin Splitt recomienda que actualice su mapa del sitio gradualmente, observando qué ha cambiado y cuándo. Más allá de eso, trate de asegurarse de que ambos servidores estén funcionando lo mejor posible.

Presupuesto de exploración y diferentes niveles de infraestructura del sitio (9:40)
La forma en que el presupuesto de exploración afecta los diferentes niveles de la infraestructura del sitio depende del sitio mismo.

Por lo general, esto no es algo de lo que los propietarios de sitios deberían preocuparse, dice Splitt.

¿El presupuesto de exploración también afecta el renderizado? (10:37)
Sí, el presupuesto de exploración afecta el renderizado. Cuando Googlebot procesa el contenido, recupera recursos adicionales, que provienen del presupuesto de exploración del sitio.

Almacenamiento en caché de recursos y presupuesto de exploración (11:46)
Google almacena en caché los recursos de la forma más agresiva posible para evitar tener que volver a explorarlos cada vez.

Presupuesto de exploración e industrias específicas como la publicación (13:34)
Los sitios de comercio electrónico y las grandes editoriales deberían ser los más preocupados por el presupuesto de exploración.

¿Qué podemos recomendar, en general, para ayudar a Googlebot a rastrear su sitio? (15:03)
Splitt recomienda evitar que se escaneen recursos que no es necesario escanear. Esto ayudará a Googlebot a explorar de manera más eficiente.

¿Cuáles son los escollos habituales que enfrentan las personas con el presupuesto de exploración? (16:52)
Un problema común que enfrentan los propietarios de sitios es el bloqueo de recursos en robots.txt que Googlebot realmente necesita.

Por ejemplo, algunos sitios bloquean el rastreo de su archivo CSS, que Googlebot necesita para mostrar el contenido a medida que los visitantes lo ven en un navegador web.

¿Podemos decirle a Googlebot que explore más su sitio? (5:40 p.m.)
No, no se puede hacer. Los propietarios del sitio pueden límite con qué frecuencia rastrea Googlebot, pero no hay forma de activar el rastreo más frecuente de Googlebot.

Vea el video completo a continuación: