Versión en portugués

Crítica metodológica a:
Just How Blind Are We to Adverstising Banners on the Web?

Resumen: Esta crítica metodológica trata de mostrar la facilidad con la que se cometen errores en la investigación experimental en usabilidad y de prevenir contra ellos. El estudio criticado concluye que no somos tan ciegos al banner y que muchos usuarios los recuerdan. Sin embargo el estudio tiene tantas deficiencias metodológicas que sus conclusiones quedan totalmente invalidadas.

Este estudio puede confundir gravemente a la gente que se interesa por la usabilidad y por eso he creído necesario realizar esta crítica en 9 puntos:

1- No se reprodujeron las condiciones reales. En condiciones reales los banners normalmente están en la parte superior o inferior de la pagina. Sin embargo en este estudio los banners fueron puestos "in approximately the middel of a web page", lo que no es habitual y aumenta mucho la visibilidad del banner. Si se cambia de sitio el banner es situado el valor de este experimento queda anulado. Es una situación que nada tiene que ver con la realidad.

2- Se utilizaron marcas conocidas en los banners. Usar marcas tan conocidas como Amazon y Ebay para los banners experimentales no permite tener una medida valida del recuerdo o del reconocimiento de los sujetos sobre ellos. Al ser marcas conocidas, la información sobre ellas esta almacenada previamente en la memoria de los sujetos experimentales y por tanto las condiciones experimentales no son neutras, están alteradas. No es posible saber que efecto tuvo el que los sujetos conociesen las marcas a priori (quizás eso facilito el reconocimiento). Se debían haber utilizado marcas inventadas, para ver la efectividad real del banner como tal para recordar su contenido sin influencias.

3- No se presentaron webs idénticas. Cada participante vió dos páginas web diferentes de la Biblioteca del Congreso con un banner en cada una. Es una regla básica que en una comparación se varía solo una variable independiente, en este caso el banner, no la página por completo (con el gran número de posibles variables influyentes que pueden cambiar). Si una de las dos páginas está más cargada de información que la otra, o tiene colores más apagados o la información esta dispuesta de otro modo, todo ello afectaría al recuerdo de los banners.

4- No había tiempo límite. Se debía haber cronometrado el tiempo que necesitaba cada sujeto en completar la tarea porque los que hayan necesitado más tiempo es probable que tengan un recuerdo y un reconocimiento mayor. Sin embargo lo más adecuado hubiera sido dar un tiempo fijo para cada tarea, para que el recuerdo no se viese afectado por el factor tiempo.

5- Inadecuada medida de memoria. Es inadecuado que se presenten al mismo tiempo en una única página 12 banners para evaluar el recuerdo lo que conlleva muchos efectos cruzados (confusiones, sobrecarga de información, poca similitud con una situación de reconocimiento real, etc.). Lo correcto hubiese sido presentar los banners uno a uno. En la tarea de reconocimiento es posible que los usuarios recordasen la estética del banner, colores, tipos de letra, pero no el contenido. Ello hubiera podido ser controlado presentando banners idénticos en estética pero con un diferente anunciante. Sin embargo en este artículo no se controla ese efecto y no sabemos si lo que recordaron los sujetos fue el anunciante o la estética del banner.

7- Inadecuada recogida de respuestas. En la recogida de respuesta los sujetos debían dibujar en dos hojas de papel la información de la pagina. Aunque en los test de usuarios se suele pedir dibujar la estructura organizacional del sitio, nunca se pide dibujar el aspecto del sitio. Cuando se realiza una tarea de búsqueda se navega varias paginas diferentes y con muchísimo información ¿qué sería lo importante a la hora de dibujar un sitio web, los gráfico, los textos, la estructura? el sujeto no lo tendrá claro.

8- No se comprueba la significación estadística de los resultados.

9- El único punto aceptable de la conclusiones es que puesto que las condiciones experimentales eran iguales (de malas) tanto para el banner de Amazon como para el de Ebay, se pueden hacer comparaciones entre ellos. El de Ebay parece ganar porque es menos recargado y con más contraste, fondo blanco y con texto. No se puede decir algo más que "parece ganar" porque hubiera sido necesario comprobar la significación estadística para saberlo con relativa certeza.

Conclusión

Después de tantos errores es inútil empezar a discutir si alguna de las conclusiones del estudio es cercana a la realidad. Desde hace tiempo he seguido los estudios de este departamento de Psicología de la Universidad de Wichita, al principio los tomaba por interesantes, pero después de leerlos detalladamente me he dado cuenta que todos son de la misma pésima calidad metodológica.

Articulos relacionados

- Manchon, E. Consejos para etectar la calidad de las evaluaciones de usabilidad. Ainda.info

- Manchon, E. Usability Chapuzas S.A.. Ainda.info