Al leer entrevistas con personas que han tenido éxito, es frecuente encontrarse con historias como «dejé la universidad y fundé una empresa» o «me lo jugué todo para intentarlo». Entonces, ¿dónde están quienes tomaron las mismas decisiones y desaparecieron sin hacer ruido? La ilusión que surge al sacar conclusiones solo de los resultados que tenemos a la vista es una trampa de la que la estadística advierte desde hace mucho tiempo. Es el llamado «sesgo de supervivencia» (Survivorship Bias).
En términos sencillos, el sesgo de supervivencia es el error de juzgar al conjunto observando solo a quienes han superado un proceso de selección y dejando fuera de la observación a quienes quedaron descartados. Como la muestra está sesgada desde el principio, por muy precisos que sean los cálculos, es fácil llegar a conclusiones más optimistas de lo que justifica la realidad o que apuntan en una dirección equivocada.
Este material explica de forma accesible qué es el sesgo de supervivencia y cómo se produce. Abarca desde el caso de los bombarderos de la 2.ª Guerra Mundial hasta ejemplos de la vida cotidiana y de la inversión, así como hábitos para encontrar los datos que quedan fuera de la vista.
Estructura del sesgo de supervivencia y principios de interpretación
¿Qué es el sesgo de supervivencia?
El sesgo de supervivencia es un error que surge ya al seleccionar la muestra. Si el grupo que queremos observar ya ha pasado por un filtro, como un examen, la competencia o el paso del tiempo, los datos que tenemos solo representan la parte que superó ese filtro. Como quienes quedaron fuera pueden no haber dejado registros o pasar inadvertidos, caemos en la tentación de explicar el conjunto a partir de lo que queda.
- Filtro (Filter). Es el proceso que separa a quienes sobreviven de quienes quedan fuera.
- Muestra de supervivientes (Survivors). Son los elementos que superaron el filtro y se pueden observar.
- Muestra invisible (Silent Evidence). Son los elementos que quedaron fuera y desaparecieron de los registros.
En estadística se considera una forma de «sesgo de selección» (Selection Bias) en sentido amplio. El problema surge al calcular sin preguntarse qué quedó fuera de la muestra.
La impresión de que «las canciones de antes son mejores que las de ahora» se puede explicar del mismo modo. Las canciones que se siguen cantando décadas después son la parte de todas las que se publicaron en aquella época que conservó el favor del público durante mucho tiempo. Las que pronto cayeron en el olvido ni siquiera entran en la comparación, de modo que el pasado parece más brillante de lo que fue.
Las marcas de bala en los bombarderos que regresaron
La historia que más se cita para explicar el sesgo de supervivencia es la de los bombarderos de la 2.ª Guerra Mundial. Al matemático Abraham Wald, que trabajaba en el Grupo de Investigación Estadística (Statistical Research Group) de la Universidad de Columbia, en Estados Unidos, se le encargó un estudio para estimar hasta qué punto los aviones de combate podían resistir los ataques enemigos.
Según la versión más difundida, al examinar los aviones que regresaron se observó que las alas y el fuselaje tenían muchas marcas de bala, mientras que en la zona de los motores había relativamente pocas. Muchos propusieron reforzar las zonas con más agujeros, pero Wald razonó en sentido contrario. Se veían pocas marcas en los motores porque los aviones alcanzados en esa zona no habían logrado regresar.
(1) Agujeros visibles
Los agujeros de los aviones que regresaron indican qué zonas pueden recibir impactos sin que el avión deje de resistir.
(2) Agujeros invisibles
Las zonas donde recibieron impactos los aviones que no regresaron son precisamente las que tienen más probabilidades de ser puntos débiles críticos.
El informe original de Wald era mucho más matemático que esta sencilla anécdota. Partiendo de que faltaban los datos de los aviones que no regresaron, Wald expuso en varios memorandos un método para estimar la vulnerabilidad de cada zona del avión solo con los datos disponibles. Aunque la historia se simplificó, la idea central se transmitió intacta.
En pocas palabras, la lección es que lo que falta en los datos puede ser precisamente la información más importante.
El sesgo de supervivencia en la vida cotidiana y en la inversión
Esta trampa también aparece fuera del campo de batalla. En el ámbito de la inversión, las estadísticas de rentabilidad de los fondos son un ejemplo típico. Si los datos excluyen los fondos que, por su bajo rendimiento, cerraron o se fusionaron con otros, la rentabilidad media calculada solo con los fondos que siguen activos resulta más alta que la real.
Algo parecido ocurre cuando se dice que «los edificios de antes se construían para durar». Solo han llegado hasta hoy los edificios que resistieron con el paso del tiempo, y es posible que los mal construidos ya se hayan demolido y queden fuera de la comparación. También conviene leer con cautela los libros de gestión empresarial que recopilan lo que tienen en común las empresas exitosas si no examinan también las que fracasaron al aplicar las mismas estrategias.
En la investigación médica se presenta un problema parecido. Si se excluye a los pacientes que abandonaron el estudio durante el tratamiento por efectos secundarios o por falta de eficacia y se analiza solo a quienes permanecieron hasta el final, el tratamiento puede parecer más eficaz de lo que realmente es. Por eso, en los ensayos clínicos se considera importante incluir hasta el final del análisis a todos los pacientes asignados al comienzo.
[Puntos clave de los ejemplos]
- Pregúntate primero por qué filtro pasaron los elementos que quedan.
- Anota tanto el número como las características de los elementos que desaparecieron.
- Evalúa qué tienen en común los casos de éxito después de compararlos con los casos de fracaso.
4 hábitos para encontrar los datos que quedan fuera de la vista
Es difícil evitar por completo el sesgo de supervivencia, pero cambiar nuestros hábitos de interpretación puede reducir mucho su efecto. Lo primero es examinar cómo han llegado hasta nosotros los datos que tenemos delante. Si conocemos el proceso por el que se formó la muestra, también podemos hacernos una idea de qué piezas faltan.
(1) Cuenta todos los elementos del grupo inicial
Comprueba cuántos elementos había al principio y cuántos quedaron. Sin conocer el denominador, tampoco se puede saber la tasa de éxito.
(2) Busca registros de quienes quedaron fuera
Busca expresamente datos sobre los casos que han desaparecido, como los comercios que cerraron, los participantes que abandonaron a mitad del proceso o las empresas que dejaron de cotizar en bolsa.
(3) Incluye un grupo de comparación que haya tomado la misma decisión
Decir «tuve éxito con este método» cobra sentido cuando se sabe cuántas personas fracasaron con el mismo método.
(4) Indica el alcance de la conclusión
Especifica en la frase si la conclusión se basa en «las empresas que sobrevivieron» o en «todas las empresas que empezaron».
Cuanto más deslumbrantes son las historias de éxito, menor parece el número de fracasos que ocultan. Cuanto más convincentes parezcan los resultados a primera vista, más necesario es tomar distancia y volver a preguntarse cómo se formó la muestra.
Mirar más allá de los supervivientes que tenemos a la vista y preguntarnos «¿qué nos dicen quienes no lograron regresar?» es el primer paso para interpretar bien los datos.
