Entre 1984 y 2004, el científico político Philip Tetlock dirigió una investigación sobre la capacidad de los expertos para predecir hechos futuros. En ella participaron 284 expertos que habitualmente se dedicaban a hacer predicciones y asesorar sobre temas económicos y políticos. En total hicieron 28000 predicciones y los resultados fueron sorprendentes. Sus predicciones apenas eran ligeramente mejores que si las hubieran hecho al azar, y bastante peores si las comparabas con los pronósticos que ofrecían algoritmos sencillos. Pero lo que más sorprendió a Tetlock es que los pronosticadores que trabajaban en grandes medios eran especialmente malos. Esto le dio que pensar. ¿Y si los supuestos “expertos” que salían en TV todos los días hablando de lo que iba a ocurrir en la bolsa o en la guerra de Irak eran justo los menos indicados para hacer estos pronósticos?
Pero los resultados del estudio no se quedaron ahí. Observó un pequeño grupo de pronosticadores que lo hacían realmente bien; había esperanza. Así que decidió dedicar los siguientes años de su vida a comprender qué tenían en común estos super-pronosticadores (como él los llamó). Te invito a que recorras ese viaje con Tetlock y conmigo.
También puedes escucharlo en iVoox, Spotify, Apple y Google.
Erizos y zorros
Una vez tuvo los resultados del estudio, Tetlock tenía curiosidad por saber quiénes eran los peores pronosticadores y quiénes los mejores. Para diferenciarlos usó los arquetipos del zorro y el erizo. El filósofo Isaiah Berlín escribió a mediados del siglo XX un ensayo llamado El erizo y el zorro. En él, categorizaba a escritores y pensadores en dos categorías:
Los erizos son las personas que ven el mundo a través de una sola lente, una sola gran idea. Pone como ejemplo a Platón, Hegel, Nietzche, Dostoyevsky y otros.
En el otro extremo se encuentran los zorros, que piensan que el mundo no puede reducirse a una sola idea. Isaiah incluye en este grupo a mentes eclécticas como Aristóteles, Shakespeare, Montaigne o Balzac.
Simplificando, podríamos decir que los erizos tienen un martillo y miren donde miren solo ven clavos. Intentan adaptar la inmensa complejidad del mundo a su modelo de la realidad para poder explicarlo todo. Por ejemplo, un erizo marxista verá todo como una lucha de clases. Un erizo liberal verá la reducción del estado y el aumento de libertades como la solución a todos los problemas. En el mundo de la empresa, un erizo especializado en Big Data querrá solucionar todo con datos, y un experto en recursos humanos pensará que contratar a la gente adecuada es la clave del éxito.
Por contra, el zorro no apuesta todo a una sola carta. Es escéptico ante las soluciones llave en mano que todo lo resuelven. Acepta la complejidad del mundo y busca múltiples modelos para entenderla, sabiendo que ninguno de ellos es el definitivo.
¿Quién crees que eran mejores pronosticadores?
Los zorros. Sobre todo cuando se trataba de hacer predicciones a medio-largo plazo y la complejidad aumentaba notablemente. Tetlock observó horrorizado como los erizos copaban las tertulias de televisión sobre geopolítica, economía e inversión. Todos ellos muy seguros de sí mismos. Y por supuesto, ninguno tenía que rendir cuentas de sus predicciones. Nadie anotaba sus pronósticos para comprobarlos a posteriori. En realidad a nadie le importaba, porque todos sabemos que en la mayoría de tertulias lo importante no es el rigor ni la precisión sino el espectáculo. Un tipo dubitativo con el “pero” en la boca todo el rato no tendría mucho éxito en esos ambientes.
La paradoja es que los zorros, que son los que podrían acercarse más a la realidad, apenas tienen presencia en los medios y probablemente sean menos escuchados en los consejos de empresas y organizaciones. Al menos, eso es lo que me dice mi experiencia personal.
Un nuevo mega-torneo de predicciones
Afortunadamente, la investigación de Philip Tetlock armó bastante ruido. El científico político escribió un libro que gozó de muy acogida llamado El juicio político de los expertos. Pronto las noticias llegaron a oídos de la IARPA. La IARPA es una organización de inteligencia de los Estados Unidos que cuando supo de esta investigación, decidió invertir en un nuevo torneo de predicciones mucho más ambicioso que el anterior. Después del fracaso de la inteligencia estadounidense en Irak, estaban muy interesados en identificar a super-pronosticadores de verdad y comprender cómo podrían hacer mejores predicciones en el futuro.
Entre 2011 y 2015, Tetlock y sus colegas organizaron un mega-torneo en el que participaron 10000 personas de todo el mundo. Durante ese tiempo los voluntarios contestaron a unas 500 preguntas relacionadas con la geopolítica y la economía. Algunos ejemplos eran:
- ¿Cuál es la probabilidad de que un miembro se retire de la Unión Europea en una fecha determinada?
- ¿Cuál es la probabilidad de que los enfrentamientos navales se cobren más de 10 vidas en el Mar de China Oriental?
- ¿Qué posibilidades hay de que el jefe de Estado de Venezuela renuncie en una fecha determinada?
Los pronosticadores hacían sus predicciones entre un mes y un año antes de la fecha de corte y luego podían ir cambiándolas cuando aparecía nueva información. Todo era escrupulosamente anotado para comprobar el grado de fiabilidad de sus predicciones.
El torneo no solo sirvió para identificar a los mejores, también fue un gran campo de pruebas que proporcionó muchas pistas sobre cómo hacer mejores pronósticos.
¿Qué tenían en común los super-pronosticadores?
La gran cantidad de datos del torneo ayudó a crear un perfil todavía más preciso de los mejores pronosticadores.
Como era de esperar, la inteligencia es un factor importante. Ya que mide, entre otras cosas, la capacidad numérica que es fundamental para manejar estadísticas y probabilidades con soltura. Algo que es necesario para hacer buenas predicciones. Junto al CI, el otro gran factor de éxito fue la capacidad reflexiva. Dicho de otro modo, la capacidad para no precipitarse a la hora de sacar conclusiones de forma intuitiva y poner a trabajar nuestro lado más analítico y racional. Esta habilidad se mide con la prueba de reflexión cognitiva que consta solo de tres preguntas. Si te interesa el tema, Adam Grant lo trata en profundidad en su último libro Think again. Su tesis es que ser capaz de repensar las cosas y desaprender lo aprendido es clave para tomar buenas decisiones.
Justamente esto es lo que hacen los grandes pronosticadores: no se apresuran a la hora de sacar conclusiones. Revisan sus datos una y otra vez, son conscientes de sus sesgos y actualizan sus predicciones con nuevas evidencias. Como dice Tetlock en su último libro Super-pronosticadores. El arte y la ciencia de la predicción:
“Para los super-pronosticadores, las creencias son hipótesis que deben ser probadas, no tesoros que deben ser guardados”.
Como es obvio, el conocimiento sobre el tema es importante, aunque no tanto como podríamos pensar. El primer paso para responder a cualquier pregunta compleja es investigar el asunto en profundidad. Para hacerlo con eficacia, necesitas elegir las mejores fuentes y empaparte de distintos enfoques. El buen pronosticador es curioso y consciente de lo que no sabe, por lo que no se confía y estudia la cuestión con detenimiento.
Por último, la mentalidad de mejora continua es otro aspecto relevante. Normalmente las primeras predicciones no son demasiado buenas. Por eso incorporan a sus estimaciones toda nueva información relevante que va apareciendo. Como puedes imaginar, la constancia, la paciencia y la capacidad de trabajo son necesarias para no desistir antes de tener toda la información que hace falta para una buena predicción. Normalmente los buenos pronosticadores son como hormiguitas. Reúnen pistas y más pistas sin desfallecer hasta tener una visión más completa de la realidad.
¿Cómo pudieron mejorar?
Formación
Durante el torneo, los investigadores probaron algunas ideas para mejorar los resultados. Una de ellas fue dar una breve formación sobre razonamiento probabilístico y razonamiento político a algunos de los participantes. Las expectativas no eran muy altas y, quizás por eso, los resultados les dejaron bastante sorprendidos. Las personas que hicieron la formación de tan solo una hora mejoraron sus pronósticos entre un 6% y un 11%. Y lo más interesante es que estos resultados se mantuvieron a lo largo de los cuatro años que duró el torneo.
Detengámonos aquí un momento. Una formación de una hora mejoró hasta un 10% la precisión de los participantes. Esto es increíble y dice mucho de la rentabilidad de una formación bien planteada. Imagina poder mejorar un 10% en muchos ámbitos de tu vida con una sola hora de tiempo… Al fin y al cabo, todos hacemos predicciones constantemente aunque no nos demos cuenta. Lo hacemos en el trabajo, en nuestra vida personal o cuando invertimos para la jubilación.
Trabajo en equipo
Otra de las pruebas que llevaron a cabo fue hacer grupos para que algunos de los participantes trabajaran en equipo. ¿Funcionaría la sabiduría de los grupos o el pensamiento grupal daría lugar a pronósticos mediocres? Lo que observaron es que grupos bien adiestrados para trabajar en equipo lograban resultados un 23% superiores a los de los individuos.
El trabajo en grupo funcionó porque los miembros compartían información, así que la información con la que partían de inicio era más completa que la de cualquier individuo en solitario. Además, el debate sano ayudaba a mitigar los sesgos individuales y salir del pensamiento túnel que muchas veces nos ciega. Este es un principio que hay que grabarse a fuego cuando nos enfrentamos a problemas o sistemas complejos: necesitamos distintos puntos de vista y modelos diferentes. Debemos convertirnos en zorros y dejar a un lado al erizo que llevamos dentro.
Pero para que esto ocurra, los miembros del grupo deben mantener un pensamiento independiente y no dejarse llevar por el que más habla o el que está más seguro de sí mismo. También es positivo que se desafíen unos a otros planteando las preguntas precisas en cada momento y aceptando los cuestionamientos de los demás. Por eso son necesarias ciertas reglas y dinámicas para que los grupos den buenos resultados. Esto es justo lo que hicieron los investigadores, advirtieron a los grupos de los peligros del pensamiento grupal y les dieron indicaciones de cómo evitarlo. El resultado habla por sí solo.
¿Cómo trabaja un super-pronosticador?
Probablemente no vayas a participar en ningún torneo de pronósticos, pero dado que predecir el futuro es algo que todos intentamos hacer, te voy a resumir el método típico de trabajo que usan los super-pronosticadores.
1.Dividir la pregunta principal en preguntas más concretas y asequibles
Por ejemplo, para la pregunta ¿entrarán en guerra Palestina e Israel antes de finales de 2022?, podrías empezar por dos preguntas relacionadas pero más fáciles de abordar:
- ¿Se duplicarán los atentados terroristas en Israel durante los próximos 6 meses?
- ¿Se romperán las negociaciones diplomáticas entre Palestina e Israel durante los próximos 9 meses?
El análisis es una de las herramientas más importantes para cualquier trabajo intelectual. Esto así porque los humanos no somos buenos enfrentando problemas complejos directamente y una forma de abordarlos es partiéndolos en partes pequeñas que puedan ser analizadas por separado.
2.Utiliza clases de referencia
El pronóstico por clases de referencia consiste en coger ejemplos históricos, similares al que estás analizando, y usar esa información como punto de partida. Pongamos que quieres responder a la pregunta ¿se duplicarán los atentados terroristas en Israel durante los próximos 6 meses? La tentación que todos tenemos ante preguntas como esta, es consultar las noticias y sacar conclusiones. Pero eso es un error.
Lo correcto es tirar de datos históricos primero. Si durante los últimos 5 años los atentados terroristas han permanecido más o menos estables (clase de referencia), debo ser muy cauto para suponer que eso va a cambiar sustancialmente. Una vez tengo esos datos estadísticos, debo ajustarlos usando la nueva información de la que dispongo. Por ejemplo, si las noticias dicen que la inteligencia Israelí ha interceptado mensajes que prometen una oleada de atentados, puedo inferir que los atentados aumentarán durante los próximos meses. Aquí lo importante es dar más peso a la clase de referencia, ya que tendemos a dar demasiada importancia a los nuevos datos y eventos. Así, a pesar de las nuevas noticias, yo diría que es improbable que se doblen los atentados durante los próximos 6 meses.
Si estás familiarizado con el pensamiento bayesiano, este proceso te sonará mucho, porque básicamente lo que estamos haciendo al obtener datos de una clase de referencia es obtener la famosa tasa base. Y al actualizar esta tasa con nuevas evidencias, estamos aplicando el teorema de Bayes para calcular probabilidades. Si te suena a chino, no te preocupes, seguramente haré un artículo especial hablando del teorema de Bayes.
3.Utiliza nuevas perspectivas
Apóyate en otras personas para generar nuevas visiones del problema. Esto te llevará a plantear nuevas preguntas o usar métodos distintos para responderlas. Si no tienes un equipo o gente que te pueda ayudar en esta parte, haz un esfuerzo por hacerlo tú mismo. Este paso es clave para aumentar la precisión de los pronósticos porque se sabe que la suma de distintos modelos supera la precisión de usar uno solo.
Realiza estos tres pasos una y otra vez hasta que sientas que el coste de hacerlo de nuevo ya no merece la pena.
4.Haz una predicción
Usa toda la información previa para hacer una predicción y no olvides revisarla si surgen nuevos datos.
Resumen
Cuando terminó la primera investigación sobre el Juicio Político de los Expertos, Tetlock era bastante pesimista, los expertos que tenían mayor presencia mediática acertaban poco más que un mono lanzando dardos a una diana. Pero vio algo de luz entre los zorros, ese pequeño grupo de personas que sí que eran capaces de hacerlo bastante bien gracias, en parte, a una mentalidad abierta.
Su siguiente estudio con fondos de la inteligencia estadounidense fue mucho más ambicioso y los resultados no se hicieron esperar. Los mejores pronosticadores eran:
- Inteligentes, con facilidad para los números
- Mentalidad abierta. Predispuestos a cambiar sus creencias
- Curiosos y ávidos de conocimiento
- Pacientes y trabajadores. Dedicaban tiempo a revisar y revisar
También descubrió que con una breve formación la mejora de las predicciones era de hasta un 10%. Y que cuando creaba equipos bien adiestrados, estos batían sistemáticamente a los pronosticadores solitarios. La sabiduría de los grupos parecía funcionar.
Ponlo en práctica
Cada día de tu vida tienes una oportunidad para poner en práctica tus habilidades de pronosticador. Sin darte cuenta, en cada decisión que vas a tomar, intentas vislumbrar el futuro. De todo lo que descubrió Tetlock durante los torneos, para mí lo más fácil de poner en práctica es intentar tener una mirada de zorro siempre que te sea posible. Si tu naturaleza es de erizo te va a costar. Pero si eres consciente de ello, al menos cuando te enfrentes ante problemas complejos, podrás ponerte el disfraz de zorro por un tiempo. Eso significa buscar posturas que sean diferentes a las tuyas y escucharlas de verdad. Poner en cuestión tus creencias más profundas y actualizar tu visión del mundo con nuevos datos y teorías. Si recuerdas, estos son varios de los hábitos del pensador complejo de los que hablé hace tiempo. Y es que, en esencia, un pronosticador debe ser un pensador sistémico.
Durante la próxima semana, permanece atento a toda oportunidad que te surja para ponerte el disfraz de zorro. Me encantaría que luego me escribas y me cuentes tu experiencia 😉
Muy buen capítulo, Val.
Conocía algo del tema y del trabajo de Tetlock, pero ha despertado mi interés por su libro Superforecasting.
La mejora de los pronósticos al trabajar en equipo me ha recordado, aunque esté tangencialmente relacionado, al tema de los mercados predictivos, que podría ser muy interesante como capítulo de Polymatas.
El incremento de precisión en la predicción por una sola hora de formación probabilística y política es simplemente impresionante.
Un saludo.
Hola Iván!
Gracias por comentar. El libro de Tetlock merece la pena si el tema te interesa. Las ideas principales las he plasmado en el artículo, pero seguro que si lees el libro sacarás algo más.
En cuanto a la formación, no solo era sobre probabilidades. También trataba los sesgos, cómo elegir buenas fuentes y algunas cosas más.
Me apunto la idea de los mercados de predicciones, gracias!