Posted in henrymatias.com
Cada vez se desconfía más de las encuestas como método de recogida de información. Lo peor es que los datos, una vez obtenidos, irradian un halo de rigor objetivo que a menudo no tienen. Después vemos, que se toman decisiones importantes basadas en estadísticas obtenidas no se sabe cómo.
Cada vez se desconfía más de las encuestas como método de recogida de información. Lo peor es que los datos, una vez obtenidos, irradian un halo de rigor objetivo que a menudo no tienen. Después vemos, que se toman decisiones importantes basadas en estadísticas obtenidas no se sabe cómo.
Para esto es recomendable tomar las encuestas con tanta
prudencia, preguntándonos siempre cómo
han sido diseñadas antes de concederle crédito, e intentar complementarlas con
otras fuentes de análisis que nos ayuden a corregir sesgos:
Cuestionarios mal diseñados:
Los errores en el diseño de los cuestionarios son pan de
cada día. No se hacen bien las preguntas, así que no sirven para demostrar
estadísticamente lo que prometen. Seguro que has tenido que rellenar encuestas
en las que las preguntas condicionan, las opciones para marcar se solapan entre
sí y dan ganas de marcar varias a la vez, se usan términos ambiguos sin estar
bien definidos, o faltan opciones que se ajusten a tu situación así que
terminas eligiendo “otros”. En fin, ya tenemos el primer sesgo, el del
diseñador del cuestionario, que delimita el espacio de posibles respuestas al
modelo que él o ella se ha imaginado. Recordemos que saber diseñar cuestionarios fiables es una
habilidad escasa. No abundan profesionales que sepan hacerlo bien, y los que
hay, suelen ser bastante caros.
Muestra sesgada:
Si el QUÉ preguntas ya es tendencioso, aun es mas tedioso
los QUIENES son los sujetos de la consulta. Como no es viable preguntar a toda
la población bajo estudio, hay que diseñar muestras que sean estadísticamente
representativas, y eso (francamente) pocas veces se da con el rigor que nos
hacen creer los que presentan los resultados. A más prisa por publicar
titulares y menos dinero para financiar la investigación, más atajos que añaden
dudas al diseño del experimento. Por ir al grano, la pregunta clave seria:
¿Tiene cada elemento de la población bajo estudio la misma posibilidad de
formar parte de la muestra? Es decir, cuánto de realmente aleatoria es la
selección, o si lo prefieres: ¿en qué medida los investigadores han sido
capaces de eliminar o minimizar los llamados “factores de influencia” que
(siempre) inducen sesgos en la muestra? Esos factores de distorsión pueden ser
de muchos tipos. A veces el tamaño de la muestra es ridículamente pequeño para
la población de la que se pretende extraer conclusiones. En otras se incurre en
un “sesgo de selección” al adoptarse un método de recogida de datos que ya
filtra la muestra a favor de un tipo de resultados (p.ej. si pretendes hacer un
estudio de opinión a partir de lo que responden tus seguidores de Twitter, ya
sabes que partes de una muestra sesgada tanto porque la limitas a twitteros,
con lo que ello significa, como porque la tamizas bajo un segundo filtro que es
el de “tus” seguidores). Por eso, siempre es recomendable preguntar cómo ha sido el
procedimiento de recogida de datos antes de conceder validez a un resultado,
porque sabemos que los errores de autoselección son muy frecuentes.
La gente no dice (siempre) la verdad:
Hay muchos motivos para mentir en una encuesta, o sea, para
no decir deliberadamente la verdad. Uno de ellos es cuando la pregunta aborda
un tema delicado, que genera suspicacias o vergüenza, por reflejar aspectos
íntimos o entrañar datos que podrían ser utilizados para otros fines. Un factor
de distorsión muy usual, que subestiman los investigadores, es el deseo de
“quedar bien” que hace al encuestado dar respuestas más optimistas de lo que
realmente piensa. En resumen, la gente que miente, o no dice la verdad de forma
consciente, lo hace habitualmente por prudencia, desconfianza o pena.
Fallos de memoria:
A menudo la respuesta es falsa no porque se mienta
deliberadamente, sino por otras distorsiones. Eso se agrava porque es bastante
común que la gente conteste a las encuestas con cierta prisa. No recuerdo haber
respondido un cuestionario de ese tipo en un contexto que invite a la
reflexión, la serenidad y el análisis pausado. Un problema clásico es que nos
falle la memoria a la hora de elegir opciones, sobre todo cuando hacen
preguntas sobre cantidades, frecuencia o temporalidad. Tampoco es fácil
acordarse en ese preciso momento en que te preguntan, por ejemplo, del café que
más te gusta, del tipo de experiencias turísticas que más te emocionan o del
rango de precios que has pagado por determinado servicio (incluso cuando hablen
de rangos, y no de promedios, que ya es rizar el rizo).
La gente se auto-engaña:
Seguimos con respuestas que no implican una mentira
deliberada pero que también conducen a datos adulterados. Hay preguntas que las
personas tienden a responder según lo que les gustaría que fuera, y no lo que
es en realidad. A la hora de contestar, cuentan la película del “debe” y no del
que “es”, y además, se lo creen. Es natural porque resulta complicado ser objetivos,
así de golpe, ante un cuestionario que te ponen sin una preparación previa que
te ayude a hacer una introversión razonada. Al final, la gente responde lo más
fácil, en piloto automático, incluso con estereotipos, inducida por prejuicios,
fobias o filias; pero esa respuesta puede que sea disonante con lo que
realmente haría si se viera en la situación expuesta.
Estas desviaciones son bastante más comunes de lo que se
cree. Algunas se producen con mala intención, por una manipulación estadística
deliberada, pero muchas por simple ignorancia estadística, así que aquí caben
motivaciones que van desde lo absurdo hasta lo fraudulento.
Sabemos que necesitamos métodos cuantitativos para aportar
valor estadístico al análisis. Además se pretende enfocarnos mucho más de un
valor estadístico:
1. No dar validez a
la primera a los resultados de una encuesta sin preguntar cómo ha sido diseñada
y el método seguido para la recogida de los datos,
2. Usar otras herramientas para complementar y contrastar
el análisis.
Además de los cinco factores de prudencia que se citó, son
mucho más eficientes los métodos cualitativos, sobre todo para estudios cuyo
fin es detectar oportunidades de innovación. Y ahí entra el Design Thinking (www.henrymatias.com) y su énfasis en “capturar historias”, un
asunto que se explica ampliamente en: www.henrymatias.com
.
A través del tiempo se ha visto que la observación, o la simple conversación,
pueden funcionar mejor que hacer preguntas directas vía cuestionarios. Pedir a
los sujetos bajo estudio que dibujen, fotografíen, graben vídeos o cuenten su
experiencia y su contexto, puede abrir al investigador un amplio espectro de
oportunidades.
La posibilidad de hacer “tracking”, etnografía digital,
muestreos de comportamiento en tiempo real y otras técnicas que documentan
hechos (lo que hacen, y no lo que dicen que hacen) suponen un avance notable en
estudios de este tipo. La construcción de relatos sobre personas y
comportamientos humanos (no datos) es un instrumento también muy válido para
identificar oportunidades, y descubrir ideas y soluciones.
Publication in www.henrymatias.com
Publication in www.henrymatias.com
No hay comentarios:
Publicar un comentario