I, Robot: Cómo leer el periódico online sin tanto anuncio

Supongo que como muchos, la publicidad exagerada en los portales de noticias no os gustan demasiado. Parece que la web ha vuelto a los años 80 o 90 con tanto banner y tanto anuncio de políticas de cookies - que no tienen mucho sentido cuando es evidente -, pero hay que entender que ése el modelo de negocio para muchos sitios. Viendo todo esto, me pregunté si le estarían entregando toda esa publicidad también a los bots de los buscadores cuando les indexan, ya que el entregar una web tan pesada y con recargas después de la publicidad, suele ser malo par el SEO, así que decidí echarle un ojo a los principales periódicos y resulta... que Google no ve tanta publicidad.

Figura 1: I, Robot o "cómo leer el periódico online sin tanto anuncio"

Para entender lo que sucede, hay que hablar de las técnicas de cloaking, que se utilizan para mostrar distinta información a los bots que utiliza Google para indexar que al usuario final que se conecta.

Navegando con el User-Agent de GoogleBot

Esto, como ya he dicho, se suele utilizar como forma de dirigir mejor el SEO de una web, y algunas veces Google ha penalizado cuando se hace intentando manipular la indexación de resultados de manera descarada cambiando radicalmente el contenido que se muestra al usuario con el que se muestra al bot.

Figura 2: User-Agents utilizados por los bots de Google

Este filtrado de contenido en función del cliente no siempre se hace para engañar a Google en campañas de BlackSEO sino que a veces se hace por otros motivos que tienen que ver con la eficiencia, el mejor ajuste de contenido o directamente porque hay impacto en el negocio del sitio. En cualquier caso, sea el motivo que sea, una web puede hacer un filtrado por dirección IP de origen, por el valor de HTTP Referer del que venga o por el campo User-Agent que muestre el navegador, y mostrar una página web diferente en cada caso.

Figura 3: Cambiar el User-Agent en Mozilla Firefox para simular ser GoogleBot

Yo quería ver si al GoogleBot le estaban mostrando tanta publicidad, así que me fui a la página de Google a buscar cuáles era los últimos valores de User-Agent que estaba utilizando, y me configuré varios utilizando las herramientas de Mozilla Firefox para configuración del campo User-Agent que permiten hacer un spoofing del auténtico navegador.

Figura 4: Página de El Pais mostrada si se navega con el User-Agent por defecto de Mozilla Firefox

Una vez hecho esto, fui a navegar a la misma página del periódico, y me sorprendió - en positivo - que no me aparecía tanta publicidad en la web, solo porque estaba navegando con el User-Agent de GoogleBot.

Figura 5: Página de El País si se navega con el User-Agent de GoogleBot

Esta misma prueba la realicé en varios periódicos, y el resultado fue más o menos similar. Como se puede ver en esta primera captura, aparece un banner superior en la portada y otro banner en la misma página.

Figura 6: Página de El Mundo si se navega con el User-Agent por defecto de Mozilla Firefox

Mientras que navegando con el User-Agent de GoogleBot ya no hay tanta publicidad en la página, y la navegación es mucho más cómoda. Todo, sin hacer uso de ningún adblock o similares.

Figura 7: Página de El Mundo si se navega con el User-Agent de Google Bot

Cambiar el USER-Agent en los dispositivos móviles

Este truco de cambiar el User-Agent se puede utilizar también en los dispositivos móviles. En el caso de iPhone o iPad, es necesario hacerse con un navegador que permita utilizar otro valor de User-Agent, como por ejemplo Sleipnir, que tiene una opción de personalización. Yo he configurado el valor del User-Agent de GoogleBot, tal y como se ve en estas imágenes.

Figura 8: Configuración de un User-Agent de GoogleBot en Sleipnir para iPhone

Después, se puede comparar la misma web de el periódico El Mundo vista con el User-Agent normal de Safari Mobile en iOS y vista con el User-Agent de GoogleBot en el navegador Sleipnir.

Figura 9: A la izquierda navegación con User-Agent GoogleBot en Sleipnir.
A la derecha navegación con el User-Agent normal de Safari Mobile en iOS.

La misma prueba, pero con el periódico de El País, donde también desaparecen algunos anunciones con solo simular ser un GoogleBot.

Figura 10: A la izquierda navegación con User-Agent GoogleBot en Sleipnir.
A la derecha navegación con el User-Agent normal de Safari Mobile en iOS

En Android esto se puede hacer de igual forma con cualquier web browser que permita editar el valor de User-Agent, pero ten cuidado a la hora de elegir el navegador, ya que en Android hay muchos navegadores que son inseguros a ataques de man in the middle.

Aligerando tráfico para ganar velocidad con GoogleBot SmartPhone

Puede que los anuncios no se muestren porque las casas de publicidad no quieren contabilizar y pagar las impresiones automatizadas, así que los Ad Servers pueden filtrar estos User-Agent y no enviarlos. Pero lo cierto es que es una ayuda y puede ahorrar tráfico tanto en conexiones de pago como hacer que vaya más ligero el contenido en conexiones de poca velocidad.

Figura 11: Valor de User-Agent usado por Bot de Google Smartphone

Recordad que el truco de cambiar el User-Agent por el de Google, se puede hacer también por el User-Agent de la versión móvil, es decir, del smartphone, para lograr que ahorra tráfico en conexiones muy lentas.

Figura 12: Pagína de El País en versión móvil vista con el User-Agent de GoogleBot SmartPhone

Por ejemplo, la versión móvil de El País con el User-Agent de GoogleBot Smartphone va superligera y con muy poca publicidad. Así que puede ser una muy buen alternativa para utilizar tanto en el dispositivo móvil como en el equipo de escritorio. Esto, por supuesto funcionará mientras no apliquen técnicas avanzadas de Web Browsing Fingerprinting.

Saludos Malignos!