Googlebot comienza a rastrear con el protocolo HTTP / 2

Google ha actualizado su página de asistencia para desarrolladores de Googlebot para indicar que ahora Google puede intentar descargar páginas a través del último protocolo HTTP / 2. Estará vigente en noviembre de 2020. La página de desarrolladores de Googlebot se ha actualizado fecha 12 de noviembre de 2020 para reflejar este cambio.

Este cambio ya se había anunciado en septiembre. El cambio ya está oficialmente en vigor.

Según Google:

Normalmente, el robot de Google rastrea a través de HTTP / 1.1. Sin embargo, a partir de noviembre de 2020, el robot de Google podrá rastrear sitios potencialmente beneficiosos a través de HTTP / 2 si el sitio lo admite ".

Por qué el protocolo de red HTTP / 2

HTTP / 2 es actualmente el último protocolo de red. Permite una transferencia de datos más rápida y eficiente entre un servidor y un navegador (o Googlebot).

Lo que hace HTTP / 2 es reducir el tiempo que tarda en enviarse una página web desde un navegador a un servidor. HTTP / 2 también reduce la sobrecarga al comprimir los campos de encabezado HTTP.

Bajo el antiguo protocolo de red (HTTP / 1), se tenían que descargar varias transmisiones en paralelo porque solo se habilitaba una solicitud a la vez en la versión anterior HTTP / 1.

Con HTTP / 2, el robot de Google y los navegadores pueden aprovechar las nuevas "multicine"Calidad. Esto significa que se pueden descargar varios recursos en una sola fuente desde una conexión en lugar de tener que solicitar múltiples fuentes de múltiples conexiones para descargar la misma página web.

Según una página oficial de preguntas frecuentes de IETF en Github:

“HTTP / 1.x tiene un problema llamado 'bloqueo del encabezado de línea', donde efectivamente solo una solicitud puede estar pendiente en una conexión a la vez.

… La multiplexación resuelve estos problemas al permitir que múltiples mensajes de solicitud y respuesta estén en vuelo al mismo tiempo; incluso es posible mezclar partes de un mensaje con otro en el hilo.

Esto, a su vez, permite que un cliente utilice solo un inicio de sesión por origen para cargar una página. "

Las capacidades de HTTP / 2 significan menos congestión del servidor y ahorran recursos del servidor.

Minimizar la presión sobre los recursos del servidor es bueno para los sitios web. A veces, no solo el robot de Google, sino muchos otros bots llegan a un sitio al mismo tiempo.

El resultado es que el sitio comienza a responder lentamente porque se consumen muchos recursos del servidor. Es malo para los usuarios que intentan ver páginas web y malo para el editor si el robot de Google no puede rastrear un sitio web porque el servidor está estirado al límite por bots maliciosos como como raspadores y piratas.

Según Google:

"… A partir de noviembre de 2020, Googlebot podrá rastrear sitios potencialmente beneficiosos a través de HTTP / 2 si el sitio lo admite.

Esto puede ahorrar recursos informáticos (por ejemplo, CPU, RAM) para el sitio y el robot de Google, pero de lo contrario no afecta la indexación o clasificación de su sitio. "

Los editores pueden inhabilitar el rastreo HTTP / 2

Es posible deshabilitar la navegación HTTP / 2. El servidor debe estar configurado para enviar un código de respuesta 421 al servidor.

El grupo de trabajo de ingeniería de Internet (IETF.org) describe el código de estado 421 como una solicitud mal dirigida. Esto significa que una solicitud HTTP / 2 se enruta incorrectamente si no está disponible.

Según el IETF:

"El código de estado 421 (solicitud mal dirigida) indica que la solicitud se dirigió a un servidor que no puede producir una respuesta".
Esto puede ser enviado por un servidor que no está configurado para producir respuestas para la combinación de esquema y autoridad que se incluyen en el URI de solicitud. "

La página de desarrollador de Google recomienda:

"Para desactivar el rastreo a través de HTTP / 2, solicite al servidor que aloja su sitio que responda con un código de estado HTTP 421 cuando Googlebot intente rastrear su sitio a través de HTTP / 2. Si no lo hace. No es posible, puede enviar un mensaje al equipo de Googlebot (esta solución es temporal, sin embargo) ".

¿Su sitio es apto para el rastreo HTTP / 2?

Hay muchos sitios que necesitan estar listos para el rastreo de HTTP / 2. Descubrirlo es simple, puede verificar si su servidor está calificado con una herramienta de verificación HTTP / 2.

El rastreo HTTP / 2 es un cambio bienvenido

La capacidad del robot de Google para rastrear mediante el protocolo HTTP / 2 es una gran noticia para los editores. Esto reducirá la carga del servidor y facilitará que el robot de Google rastree los sitios.

Citar

Página de desarrolladores de Googlebot
https://www.google.com/webmasters/tools/googlebot-report