¿Tenemos las matemáticas para decodificar realmente los algoritmos de Google?

En una reciente caminata por las ruinas del sitio del desastre de la presa de San Francisco, a unas 40 millas del centro de Los Ángeles, con mi amigo arqueólogo, John, hablamos sobre la vida manchada de su constructor y la edad del "Gentlemen Scientist".

La presa de San Francisco fue construida entre 1924 y 1926 para crear un gran tanque de almacenamiento para la ciudad de Los Ángeles, California, por la Oficina de Obras y Abastecimiento de Agua, ahora el Departamento de Agua y Energía. El departamento estaba encabezado por su director general e ingeniero jefe, William Mulholland. Si alguna vez has visto la película clásica, "Chinatown", William Mulholland fue una parte tan importante de la historia de Los Ángeles que tuvieron que dividirla en dos personajes.

Si bien era una leyenda en su época, Mulholland no era un ingeniero civil para los estándares de hoy. Fue autodidacta en sus primeros días como "zanja" para el departamento de agua. Después de un duro día de trabajo, Mulholland estudiaría libros de texto en matemáticas, ingeniería, hidráulica y geología. Esta historia de origen es la base del personaje del "Gentlemen Scientist", que devora todo el material disponible sobre un tema, luego reclama un entendimiento que le permitiría supervisar una empresa masiva, a pesar de cualquier forma de prueba o certificación.

Si me presentara en la NASA y dijera que estaba calificado para enviar humanos a Marte porque leí muchos libros sobre viajes espaciales y construí cohetes durante mi infancia, lo harían tiraría de la propiedad. En la época de Mulholland, esto significaba ascenso al puesto de jefe de departamento.

Mulholland es una parte integral de la historia de Los Ángeles. Si bien muchos de sus primeros esfuerzos literalmente cambiaron el paisaje de Los Ángeles (supervisó el diseño y la construcción del acueducto de Los Ángeles, que llevó agua a gran parte del condado) , su falta de ingeniería civil moderna causó "uno de los peores civiles estadounidenses en los desastres técnicos del siglo XX", según Catherine Mulholland, en su biografía de William Mulholland, su abuelo.

Unos minutos antes de la medianoche del 12 de marzo de 1928, la presa falló catastróficamente y la inundación resultante mató al menos a 431 personas, pero hay informes de mil muertos. Incluso con el número más pequeño, el colapso de la presa de San Francisco sigue siendo la segunda mayor pérdida de vidas en la historia de California. Solo el terremoto y el incendio de San Francisco en 1906 mataron a más personas.

Hablar con mi amigo ese día me hizo pensar en la compañía de optimización de motores de búsqueda y su colección de "Gentleman Scientists".

En lugar de construir represas, nuestros colegas están tratando de aplicar ingeniería inversa a los complejos algoritmos de los motores de búsqueda como Google mediante el uso de prácticas estadísticas defectuosas para diseñar estrategias de SEO respaldadas por ciencia de mala calidad.

Una larga historia de malas ciencias.

Durante décadas, legiones de profesionales de SEO afirman haber "probado" diferentes teorías sobre los algoritmos de Google a través de prácticas altamente cuestionables. Al principio, estas pruebas generalmente involucraban a un llamado "científico loco" que cambiaba un aspecto de una sola página web y luego esperaba que el próximo Google Dance para ver si su sitio web progresaba en el índice de índice. buscador. Si funcionó, publicaron un artículo sobre los resultados en un foro o en sus sitios web. Si el póster fuera lo suficientemente popular, la comunidad de SEO replicaría su nuevo "hack" hasta que Yahoo, Google o uno de los otros primeros motores de búsqueda les dijera que se detuvieran o dejaran de hacerlo. descubra cómo evitar que suceda en sus algoritmos.

Las primeras leyendas del SEO nacieron de este tipo de actividad.

Eventualmente, compañías como Moz, Ahrefs y SEMrush han encontrado formas de replicar el índice de Google, "pruebas" o "estudios" que han tenido mucha más legitimidad debido a la acceso a conjuntos de datos mucho más grandes. Google ocasionalmente cerró estas teorías con la respuesta clásica y apropiada "La correlación no es igual a la causalidad"; sin embargo, la mayoría de estos reclamos falsos continuaron bajo la bandera "Confiar pero verificar".

Mi posición de larga data sobre esto es que los múltiples algoritmos de Google tienen en cuenta cientos de puntos de datos para crear un índice de la World Wide Web de miles de millones de páginas web. Con algo tan sofisticado, ¿la mayoría de los profesionales de SEO están calificados para "probar" Google utilizando nuestra comprensión limitada de las estadísticas?

Con raras excepciones, estoy seguro de que se destacará una vez que se publique este artículo, la mayoría de las personas que trabajan en SEO son estadísticos novatos que, en el mejor de los casos, han tomado cursos típicos y han aprendido más que la mayoría . Algunos colegas tienen una comprensión ligeramente más profunda de las estadísticas, pero aún no son estadísticos o matemáticos, pero han adquirido sus habilidades matemáticas en el estudio de otras ciencias acostumbradas a datos menos complejos. En la mayoría de los casos, los sistemas estadísticos que utilizan se utilizan para analizar encuestas o pronósticos de compras de medios. No son para los grandes sistemas complejos que se encuentran en los algoritmos de los motores de búsqueda y la información que organizan.

Nuestra comprensión básica de las estadísticas puede no ser suficiente.

Seré el primero en admitir que no soy matemático ni estadístico. Luché con las matemáticas en la escuela lo suficiente como para terminar mis estudios universitarios y no me sentí cómodo con todo hasta el final de los estudios. Incluso entonces, estaba en la clase estándar de estadísticas comerciales, la mayoría de las personas sufrían mientras buscaban su MBA.

Al igual que cuando trabajé con abogados de propiedad intelectual reales para mi artículo sobre la legalidad de los extractos de Google, busqué un estadístico real. Lo más importante, necesitaba a alguien que no trabajara en el espacio de SEO para evitar cualquier sesgo de observación, es decir, alguien alguien que inconscientemente proyectaría sus expectativas en investigación.

Mi investigación me llevó a la estadística Jen Hood. Jen estudió matemáticas y economía en Virginia Bridgewater College, y durante la mayor parte de los 15 años trabajó como estadística. Ella era analista de datos para Volvo. Desde 2019, ha trabajado como consultora de análisis en su empresa, Avant Analytics, principalmente ayudando a pequeñas empresas que generalmente no tendrían un analista interno.

Hablamos sobre cómo la mayoría de los estudios sobre SEO se basan en el concepto de correlación estadística en nuestras primeras discusiones. La correlación estadística muestra si, y en qué medida, los pares de variables, como ciertos aspectos de una página web y la posición de esa página en las páginas de búsqueda del motor de búsqueda de Google, están vinculados.

"La gran mayoría del trabajo estadístico, incluso pronosticando el futuro, gira en torno a medir la correlación", dice Jen con cautela. "Sin embargo, la causalidad es increíblemente difícil de probar". La causalidad es la acción de causar algo; esa es la verdadera razón por la cual las cosas funcionan como lo hacen.

"Sin conocer los detalles de cómo una de estas compañías crea sus estadísticas, sospecho que hay un número significativo de sesgos de confirmación", continuó Jen. El sesgo de confirmación ocurre cuando la persona que realiza un análisis quiere probar una hipótesis predeterminada. En lugar de hacer el trabajo real necesario para confirmar la hipótesis, ajustan los datos hasta que se pruebe esta hipótesis.

Para darle a Jen una mejor idea de cómo estas compañías estaban produciendo sus datos, he compartido algunos de los estudios de SEO más populares en los últimos años. Algunas de las afirmaciones hechas en estos estudios han sido refutadas por Google repetidamente a lo largo de los años, otras aún permanecen en Twitter, Reddit y Quora y se discuten sobre lo que parece ser a diario.

"Aparece un error de sesgo de confirmación mucho en estos artículos de SEO ", dice Jen inmediatamente. "Esto es común con cualquier tema en el que alguien te dice cómo obtener una ventaja".

En primer lugar, Jen revisó un estudio presentado por Rob Ousbey en Mozcon 2019, cuando trabajaba para Distilled (actualmente trabaja para Moz) en la plataforma de prueba SEO, luego llamado ODN destilado, ahora el spin-off de SearchPilot. Entre las diversas teorías presentadas ese día, una afirmó que los resultados en la página 1 de las páginas de resultados del motor de búsqueda estaban motivados más por la interacción con esas páginas que por los enlaces. Jen comienza a sospechar de inmediato.

"Con la información disponible, es difícil decir si la teoría de Rob en la primera página de resultados está motivada por el compromiso y si los resultados posteriores están motivados por enlaces", escribió Jen después de revisar la presentación. . "La idea de que estos son en su mayoría enlaces (que conducen los resultados de búsqueda para la página 2) parece un poco extraña dado que hay muchos factores que entran en el ranking".

"La prueba más simple sería: si puede clasificar en la página 1, especialmente en la parte superior de la página, sin ningún compromiso previo, el compromiso probablemente esté motivado por la ubicación, no por el compromiso. contrarrestar. "

Me puse en contacto con Will Critchlow, fundador y CEO de Distilled. Ofreció otro estudio realizado por un ex colega de Rob Ousbey, Tom Capper, quien proporcionó una inmersión más profunda en el material que Rob presentó en 2019. "Tom ha abordado esto desde varios ángulos diferentes, pero la respuesta corta es no – No es justo porque los mejores resultados obtienen más interacción porque son los mejores resultados. "

"(El estudio de Tom proporcionó) diferentes tipos de evidencia", continuó Will, "Uno es que los enlaces tienen más alto correlación con clasificaciones relativas más bajas en SERPs que en la primera página (y especialmente para palabras clave de alto volumen). "

"Otra evidencia incluye cómo cambian las clasificaciones cuando una consulta cambia de una frase de búsqueda de volumen relativamente bajo a un término principal (por ejemplo, un volumen muy espinoso)", dice Will. , en referencia a un análisis del término de búsqueda, "Flores del Día de la Madre". "

"Continúa poniéndose más interesante", escribe Jen después de examinar la nueva información. "Esta noticia (datos) cae dentro de los valores de correlación reales aunque en uno completamente diferente y mucho una muestra más pequeña se centró en datos del Reino Unido: solo 4,900 consultas en dos meses. "

Antes de continuar, es esencial comprender cómo se supone que funcionan los estudios de correlación.

Hay varias formas de medir la relación o correlación entre dos factores. Independientemente del método, los números devueltos por estos cálculos miden entre -1 y 1. Una correlación de -1 significa que un factor aumenta, el otro disminuye cada vez. Una correlación de 1 significa que un factor aumenta, el otro factor aumenta cada vez. Una correlación de cero significa que no hay relación, no hay un patrón lineal predecible, arriba / abajo, arriba / arriba, abajo / arriba o lo que sea.

"La mayoría de los coeficientes de correlación (resultados) no están cerca de 1 o -1", dice Jen. "Cualquier cosa que sea +/- 1 significa que el factor que estás comparando explica el 100% de la variación. En otras palabras, siempre puedes usar el primer factor para predecir qué hará el segundo factor".

Aunque no hay una regla para decir que una correlación es fuerte, bajo, o en algún punto intermedio, hay umbrales generalmente aceptados, que Jen describe. "Teniendo en cuenta que podemos tener valores que son +/-, para factores que son fácilmente contables, como el número de enlaces en una página web y la clasificación de esa página web en Google , la correlación alta sería 0.7 a 1.0, moderada sería 0.3-0.7 y baja sería 0-0.3 ".

"Alguien podría desafiar estos grupos exactos", reconoce Jen, "aunque me equivoqué en el lado de la generosidad para la fuerza de correlación".

Regresamos al estudio. "Las diapositivas de Tom se refieren principalmente a una presentación de febrero de 2017 que hizo sobre si Google todavía necesita enlaces. También hay un estudio de Moz referenciado que, en este momento, tiene cinco años "(Jen hace una pausa aquí para decir:" Por cierto, me parece interesante que todo el mundo parezca reconocer que los algoritmos han sufrido cambios significativos y, sin embargo, se refieren a estudios que datan de hace dos, tres o más años. ")

"En esto, (Tom) examina la relación entre la autoridad de dominio y las clasificaciones", refiriéndose a la métrica de Moz, que es la piedra angular de las herramientas de informes de enlaces entrantes. "Da la correlación de la autoridad del dominio con la clasificación de Google de una página web de 0.001 para las posiciones 1 a 5 y 0.011 para las posiciones 6 a 10."

"Esto significa que la autoridad del dominio está más fuertemente correlacionada con la clasificación del motor de búsqueda para las posiciones 6 a 10, pero los dos resultados son correlaciones muy débiles", se detuvo para asegurarse que entendí

"Para decirlo más claramente, para las posiciones 1 a 5 en los resultados de Google, la autoridad de dominio se puede utilizar para explicar el 0.1% de la variación de la clasificación SERP. Para las posiciones 6 a 10, esto explica el 1.1% de la varianza en la clasificación SERP ”, aclarando su punto.

"Esto se presenta como prueba de que la autoridad de dominio no es tan importante para los puestos de alto nivel. Sin embargo, las correlaciones para los dos son tan extremadamente débiles que son casi sin sentido ", explica Jen con entusiasmo por el descubrimiento. Al mismo tiempo, considero la cantidad de dominios y enlaces comprados y vendidos con esta métrica". En otro lugar, menciona 0.023 y 0, 07 como coeficientes de correlación para la autoridad de dominio y clasificación en las 10 primeras posiciones, lo que no tiene sentido ya que sus valores anteriores son más bajos ".

Jen trae la explicación del bucle: "Como es el detalle de respaldo, más centrado técnicamente, proporcionado por la compañía, parece razonable pensar que las correlaciones en el estudio los originales que me enviaste son de un nivel similar ". Es decir, aunque no tenemos las cifras para la presentación original de Rob Ousbey, es muy probable que tengan una correlación tan débil.

"El estudio del Día de la Madre es muy anecdótico", continúa Jen, "Los resultados son interesantes y plantean preguntas sobre las implicaciones que esto podría tener para otros términos de búsqueda. Sin embargo, es "Este es un término de búsqueda estudiado durante un mes. El contenido de este estudio está lejos de ser suficiente para extraer implicaciones universales".

“Bueno para un argumento de venta; malo para un estudio estadístico ", proclama Jen. "Mientras tanto, aún no he visto nada que muestre cómo han demostrado que los mejores resultados no obtienen más interacción porque son los mejores resultados".

"Hay muchos ejemplos presentados en otras diapositivas para respaldar las afirmaciones, pero no hay estudios generales". Jen se refiere a algunos de los otros estudios proporcionados en la presentación original de Rob por Larry Kim, Brian Dean y Searchmetrics.

"(El estudio de Larry Kim sobre la influencia de la tasa de clics en las clasificaciones) sugiere que una tasa de clics más baja da como resultado una clasificación más baja. Sin embargo, podría ser la causa de una clasificación más baja la tasa de clics más baja ", dice Jen, ilustrando una paradoja común con este tipo de datos." Esperaría una correlación fuerte entre el rango de páginas y la tasa de clics simplemente porque más personas tienen oportunidad de involucrarse ".

"¿La tasa de rebote afecta la posición de búsqueda o viceversa?" Jen pregunta, yendo a otra diapositiva que se refiere a un estudio realizado por Brian Dean de Backlinko, quien argumentó que la métrica de la tasa de rebote influye en la posición del resultado de la búsqueda. "Me parece interesante que la historia se vea diferente si realmente vas a los datos de origen".

Jen se refiere al estudio original de Backlinko donde se obtuvo el gráfico utilizado en la presentación de Rob, que decía: "Tenga en cuenta que no estamos sugiriendo que las bajas tasas de rebote causen clasificaciones más altas. Google puede usar la tasa de rebote como una señal de clasificación (aunque anteriormente lo negó). O quizás el hecho de que el contenido de alta calidad mantiene a las personas más por lo tanto, una tasa de rebote más baja es un subproducto del contenido de alta calidad, que Google mide ".

La declaración concluye: "Como este es un estudio de correlación, es imposible determinarlo solo con nuestros datos", lo que demuestra el punto de Jen de que es inapropiado para publicar estos estudios.

Jen concluye firmemente: "El uso de este gráfico es intencionalmente engañoso".

“(Estos estudios) solo se centran en un factor. Con múltiples algoritmos en su lugar, debe haber mucho carteros todos trabajando juntos. Cada uno debe tener puntajes individuales que se ponderen en un total para el algoritmo específico y probablemente se vuelvan a ponderar en el algoritmo de agregación que están utilizando. Jen dice, reflejando algo que Gary Illyes y John Mueller de Google han dicho más de una vez en varias conferencias y en Twitter y algo que Dave Davies de esta publicación discutió recientemente.

Debido a esta reconocida complejidad, algunos estudios de SEO han abandonado por completo los métodos de correlación a favor de algoritmos basados ​​en el aprendizaje automático, como Random Forest. Una técnica utilizada por una encuesta de SEMrush en 2017 para sugerir factores principales en Google, como el tráfico de la página y la longitud del contenido. "Este es un buen enfoque para predecir lo que es probable que suceda", escribe Jen después de revisar el estudio SEMrush y su explicación de su metodología, "pero aún no muestra ninguna enlace de causalidad. Simplemente indica qué factores son mejores predictores de clasificación. "

La investigación presentada es limitada y no verificada

La mayor parte de la investigación de motores de búsqueda que se publica no proviene de fuentes independientes o instituciones educativas, sino de compañías que venden herramientas para ayudarlo con el SEO.

Este tipo de actividad comercial es el equivalente ético de Gatorade que demuestra sus afirmaciones de ser una forma superior de hidratación para los atletas al referirse a un estudio realizado por Gatorade Sports Science Institute, un laboratorio de investigación propiedad de Gatorade.

Cuando le mencioné a Jen Hood cuántos de los estudios que ha revisado han dado lugar a nuevas pautas o productos completamente nuevos, se sorprendió de que alguien tomara estas medidas o productos en serio.

"Cualquiera que afirme tener una métrica que imite a Google afirma que ha establecido muchas relaciones de causa y efecto que conducen a una clasificación específica en Google", escribió Jen, refiriéndose a la autoridad del dominio Moz. . "Lo que debería significar es que sus métricas coinciden consistentemente con los resultados reales. Si comencé un sitio nuevo o una página nueva hoy y hago lo que dicen es un factor importante, debería obtener una clasificación más alta. No es probable una clasificación alta. Si hay una coincidencia real con los algoritmos, los resultados siempre deben seguir. "

Jen proporciona un ejemplo hipotético:

"Suponga que ofrezco un servicio en el que le diré exactamente dónde se ubicará su página web para un término de búsqueda determinado en función de una estadística que incluya en ese servicio. tengo una fórmula para calcular esta métrica para que pueda hacerlo en muchos sitios diferentes. Si pudiera decirle con precisión dónde se ubicaría de acuerdo con mi fórmula el 0.1% del tiempo, parece que mi fórmula ¿entendió los algoritmos de Google? Si subiera ese 1.1% del tiempo, ¿se sentiría seguro ahora? "

"Son todos estos estudios (y productos) los que parecen estar funcionando", dice Jen. "Esconderse en términos estadísticos y detallados suficientes para que parezca mucho más significativo".

* * *

Como mencionó Jen anteriormente, la mayoría de los estudios de los resultados de Google utilizan una cantidad limitada de datos, pero afirman tener una importancia estadística; sin embargo, su comprensión de este concepto es imperfecta dada la naturaleza misma de lo que están estudiando.

"Rand dice que estima que los datos de Jumpshot contienen" entre el 2 y el 6% del número total de navegadores de Internet móviles y de escritorio en los Estados Unidos, es decir, un tamaño de ; muestra estadísticamente significativa "," Jen se refiere a un estudio realizado en 2019 por Rand Fishkin de SparkToro, quien afirma que menos de la mitad de todas las búsquedas de Google resultan en un clic. "Rand estaría en lo cierto en cuanto a significación estadística Si Los datos de salto fueron una muestra verdaderamente aleatoria y representativa de todas las búsquedas de Google. "

"Por lo que pude encontrar, (Jumpshot) recopiló todos sus datos de los usuarios que usaron el antivirus Avast", refiriéndose a la compañía matriz del servicio ahora cerrado. "Este conjunto de usuarios y sus datos probablemente difieran de todos los usuarios de Google. Esto significa que el ejemplo proporcionado por Jumpshot no es aleatorio y probablemente no sea lo suficientemente representativo: un error del usuario". el muestreo clásico generalmente se llama sesgo de disponibilidad ".

“Las estadísticas sin contexto siempre deben tomarse con un grano de sal. Es por eso que hay expertos analíticos para hacer preguntas y proporcionar contexto. ¿Qué tipo de preguntas hacen las personas y cómo han podido cambiar? Jen dijo, cavando en los lugares de estudio.

"Por ejemplo, las personas que buscan temas para los cuales no hay valor agregado para ir a otro sitio web probablemente no serán vistas como oportunidades perdidas para aquellos que pierden clics. ¿Las personas refinan inmediatamente su término de búsqueda porque el algoritmo no capturó el contexto de lo que estaban pidiendo? ", Sugirió Jen, algo que Rand aclaró más tarde como parte de su afirmación de por qué los clics en los resultados no ocurren en más de la mitad de los resultados. "Ahora estamos entrando más y más en el matiz, pero si Rand afirma que las búsquedas sin clic son malas, debe haber un contexto de por qué esto podría suceder incluso en ausencia de un (extracto destacado) ".

* * *

Si el concepto de utilizar datos que son demasiado finos para ser precisos no es lo suficientemente abrumador, existe el problema de que no existe un concepto de escrutinio por parte de pares en la industria de SEO. La mayoría de estos estudios se realizan una vez y luego se publican sin ser reproducidos y verificados por fuentes externas. Incluso si los estudios se replican, los llevan a cabo las mismas personas o empresas como una tradición anual celebrada.

De todos los estudios históricos sobre el desastre de la presa de Saint-François, uno de J. David Rogers, Ph.D., Presidente de Ingeniería Geológica, Departamento de Ciencias e Ingeniería Geológicas y Profesor de la Universidad. Missouri Science and Technology se destaca para mí. . Dijo que una de las principales razones del fracaso: "El diseño y la construcción están supervisados ​​por una persona".

"A menos que los resultados sean de vida o muerte o estén altamente regulados, normalmente no vemos personas haciendo el trabajo real requerido para mostrar la causalidad", agrega Jen Hood. "La única forma de mostrar realmente la causalidad es tener un estudio sólido que aleatorice y controle otros factores en la escala correcta". Además del examen clínico de drogas, que normalmente lleva años, es muy raro ver que esto suceda. "

La forma en que la industria SEO realiza y presenta su investigación no es la forma en que se han administrado los estudios científicos desde el siglo XVII. No tiene que creerme. No soy un científico, pero Neil deGrasse Tyson sí.

"No existe una verdad que no exista sin la verificación experimental de esta verdad", dijo Tyson en una entrevista con Chuck Klosterman para su libro, "Pero si nos equivocamos". "Y no solo la experiencia de una persona, sino un conjunto de experiencias que prueban la misma idea. Y solo cuando un conjunto de experiencias está estadísticamente de acuerdo, estamos hablando de entonces de una verdad emergente en la ciencia ".

El argumento contrario a este argumento es simplemente decir: "Nunca dije que este estudio fuera científico". Si es así, ¿por qué esta información se comparte y se cree con tanta convicción? Esto está en el corazón del problema del sesgo de confirmación, no solo con los investigadores sino también con los usuarios de esta investigación.

"(I) si realmente piensas en lo que realmente sabes, estas son solo algunas cosas, como siete cosas, tal vez todos lo saben", el actor, Marc Maron, habla sobre el concepto de conocimiento en su stand-up especial, "End Times Fun". La mayor parte de esta columna es como, "Un chico me lo dijo".

"Sabes, no es material original, es justo, es clickbait y rumores, eso es todo", dice Maron. "Entra en tu cabeza, encierra un sentimiento, te dices a ti mismo:" Suena bien. Le diré esto a otras personas. "Y así es como funciona el marketing de marca, y también el fascismo".

La mayoría de las veces, estamos equivocados

La ciencia de entender cómo ha funcionado el mundo físico desde la época de Aristóteles, con lo que la mayoría de la gente ahora está de acuerdo, estaba equivocada en muchos aspectos. Los científicos tienen que hacer estos esfuerzos porque no hay un manual de usuario para nuestro planeta o cualquier otra cosa en el universo. No podemos visitar una deidad aleatoria durante el horario de oficina y preguntar por qué hicieron que la gravedad funcionara como lo hace.

Pero con Google y los otros motores de búsqueda, tenemos ese acceso.

Odio recurrir a "¡Porque Google lo dijo!" escriba un argumento para estas cosas, pero a diferencia de la mayoría de la ciencia, podemos obtener notas de The Creator durante el horario de oficina anunciado y, a veces, en Twitter.

El siguiente tweet de John Muller a principios de este año fue en respuesta a otro estudio correlativo publicado por otra compañía de herramientas de SEO sin ninguna corroboración externa, alegando haber expuesto los secretos de Google con una cantidad limitada de datos.

También ha creado algoritmos complejos a escala: sabe que nunca es un cálculo único con multiplicadores estáticos. Estas cosas son complejas y cambian con el tiempo. Encuentro fascinantes estos informes: ¿quién habría pensado que X? – Pero me temo que la gente asume que son útiles.

– 🍌 John 🍌 (@JohnMu) 28 de abril de 2020

John Muller et moi partageons une vision très similaire de la présentation de ce type de données: «Je crains que les gens supposent qu’elles sont utiles», c’est-à-dire que ces données ne sont pas du tout utiles et même potentiellement trompeuses.

La déclaration ci-dessus est intervenue après que l'auteur de l'étude, Brian Dean a déclaré que ce rapport était "davantage destiné à faire la lumière sur la façon dont certains des facteurs de classement de Google * pourraient * fonctionner".

Des déclarations comme celle-ci sont une variante populaire d'un mea culpa typique lorsqu'une étude de recherche SEO est qualifiée de incorrecte. "Je n'ai jamais dit qu'il s'agissait d'un facteur de classement Google, mais qu'il existe une forte corrélation", ce qui implique que même si Google dit qu'il n'est pas valide, il pourrait tout de même être un bon proxy pour l'algorithme de Google. Après cela, la conversation s'interrompt, les professionnels du référencement affirmant avoir pris Google dans une sorte de campagne de désinformation pour protéger leur propriété intellectuelle. Même la moindre fissure dans leur réponse est traitée comme si quelqu'un découvrait qu'ils utilisaient l'âme de pros du SEO conquis pour alimenter leurs serveurs.

"Je suis perplexe de voir que cela n'est pas devenu un problème auparavant", a déclaré Jen lors de notre dernière conversation. Je lui dis que ça a toujours été un problème et qu'il y a toujours eu des gens comme moi qui essaient de souligner le problème.

"Il n'y a pas de science solide derrière cela, les gens en sachant juste assez pour être dangereux au mieux ou carrément trompeurs", dit-elle, stupéfaite par le concept. "Un tirage au sort peut faire un meilleur travail que n'importe quelle étude que j'ai vue jusqu'à présent lorsqu'il s'agit de prédire si un site va se classer plus haut qu'un autre site Web."

"La seule façon de prouver statistiquement que toute mesure individuelle prétendant recréer les algorithmes de recherche de Google est exacte consiste à effectuer des tests aléatoires massifs au fil du temps, en contrôlant les variations et en attribuant au hasard des modifications à apporter pour améliorer ou diminuer le classement", explique Jen, fournir une solution qui semble incroyablement éloignée pour notre industrie. "Cela doit être à grande échelle sur de nombreux sujets, styles de recherche, etc."

"Même alors, je soupçonne que Google a des mises à jour fréquentes d'algorithmes de différentes ampleurs", suppose Jen, ce que je confirme. "Sans aucun doute, ils ont des dizaines ou des centaines d'ingénieurs, de programmeurs, d'analystes, etc. qui travaillent quotidiennement sur ces algorithmes, ce qui signifie que si nous prenons un instantané dans le temps de ce que nous soupçonnons être l'algorithme, au moment où nous avons entièrement testé ça, ça a changé.

En fin de compte, Jen convient qu'il semble que notre industrie ne dispose pas des outils dont nous avons besoin pour rendre ces études utiles. "Les mathématiques de l'analyse de la façon dont les fonctions d'index de Google sont plus proches de l'astrophysique que de la prévision des résultats des élections, mais ce sont les méthodes utilisées aujourd'hui qui sont plus proches de ces dernières."

* * *

Je ne veux pas faire des personnes qui publient ces études des charlatans. Leurs efforts proviennent clairement d'une quête honnête de découverte.

J'ai compris. C'est amusant de jouer avec toutes les données dont ils disposent et d'essayer de comprendre comment quelque chose de si compliqué fonctionne.

Cependant, il existe des méthodologies connues qui révèlent ce qui est présenté comme des théories avec ces études, mais elles ne sont tout simplement pas appliquées… du tout.

En fin de compte, ces «Gentlemen Scientists» du SEO essaient de construire un barrage sans une parfaite compréhension de l'ingénierie, et c'est juste dangereux.

Bien sûr, la publication d'un autre rapport affirmant que quelque chose est un facteur de classement en raison d'une forte corrélation ne tuera pas accidentellement 400 personnes. Cela gaspille sans aucun doute une multitude de temps et d’argent de leurs clients en les envoyant en chasse aux oies sauvages.

Más recursos: