Asesores financieros, gurús de televisión y una serie interminable de expertos y aficionados fácilmente ofrecen sus predicciones sobre el futuro, ya sea acerca del mercado de valores, las relaciones internacionales o la próxima elección presidencial. Sin embargo, ¿hasta qué punto se cumplen tales pronósticos? Como sabemos, la mayoría de las personas no son buenas a la hora de hacer predicciones, e incluso los expertos más conocidos no tienen una sólida trayectoria.
Por Knowledge@Wharton

 

 

¿Cómo se aprende a hacer buenas predicciones? En un nuevo libro , “Superpredicciones: el arte y la ciencia de la predicción” [Superforecasting: the art and science of prediction], Philip Tetlock, profesor de Gestión de Wharton, y Dan Garner, analizan qué se necesita para hacer predicciones exactas. Tetlock, quien también es profesor de psicología en la Facultad de Artes y Ciencias de la Universidad de Pennsylvania, recientemente habló con Knowledge@Wharton acerca de muchas décadas de investigación sobre el tema y cómo se pueden incorporar algunas de esas técnicas de predicción a la propia vida.

A continuación, la versión editada de la entrevista.

 

Knowledge@Wharton: Gracias a gente como Thomas Friedman, columnista del New York Times, y Nate Silver, editor en jefe del blog FiveThirtyEight, de ESPN, además del advenimiento del Big Data, parece que hay un gran interés por la predicción. Yo estaba muy sorprendido de leer en su libro que a pesar de todo este interés sobre el tema y por las personas que se presentan como pronosticadores, la propia predicción no ha sido muy bien estudiada o analizada.

 

Philip Tetlock: Así es. Da un cierto temor monitorear el grado de precisión de las predicciones que hacemos. Imagine que es un supergurú. ¿Qué incentivo tendría usted en participar en un concurso de predicciones en el que tenga que competir a la par con otros seres humanos? La respuesta es: no demasiado, el mejor resultado que podría conseguir sería un empate. Se espera que usted gane. Así que el mejor resultado sería un empate. Hay una buena posibilidad, según nuestra investigación, de que no gane.

 

Knowledge@Wharton: Necesitaron décadas para preparar el libro, y su investigación sobre el tema ha tomado muchos años. En cierto modo, todo comenzó con un chimpancé que lanza dardos. ¿Podría contarnos un poco acerca de esta historia? En el libro, dice que la gente no suele sacar las lecciones correctas de ese estudio, pero me pareció interesante mostrar qué sucede cuando tratamos de poner la predicción a prueba.

 

Tetlock: En nuestro trabajo anterior, que [ … ] se remonta a mediados de los años 80, utilizamos la metáfora del chimpancé que lanza dardos como un parámetro de rendimiento, es decir, ¿qué tan probable es que usted supere esa posibilidad? Si usted tuviera un sistema que genera predicciones al azar, ¿cuál es su grado de precisión respecto a ello?

 

De hecho, este es un parámetro que algunas personas no pueden superar. Hay muchas razones para esto. A veces, el entorno es simplemente demasiado complejo. Cuando usted apuesta a la ruleta en Las Vegas, sus posibilidades no son mejores que las del chimpancé que lanza dardos. Sin embargo, la gente a veces no logra derrotar al chimpancé incluso en entornos en los que hay regularidades predecibles que puedan ser de utilidad para usted si fuera lo suficientemente astuto como para saber usarlas.

 

Knowledge@Wharton: En “Superpredicciones”, dice que la mayoría de las personas llegaron a la conclusión, basada en el estudio de chimpancés, que todas las predicciones son malas, que hacer predicciones es malo. De hecho, sin embargo, lo que estaba diciendo es que efectivamente hay límites para hacer predicciones, y que esto de ninguna manera es algo negativo.

 

Tetlock: Correcto. No hay que ser demasiado estricto con la gente porque hay un volumen muy grande de incertidumbre irreducible en algunos entornos. Es muy difícil reducirla por debajo de un cierto nivel. No es justo decir que la gente es tonta, en cierto sentido, cuando no puede hacer algo que es imposible. Por supuesto que no sabemos lo que es imposible antes de intentarlo, intentándolo de verdad […] No se averigua hasta qué punto es posible ser bueno en un entorno de previsión específica hasta que se hacen algunas pruebas, torneos competitivos. Usted pone en marcha sus mejores técnicas para maximizar la precisión y luego ver hasta dónde puede llegar.

 

Eso es básicamente lo que hicimos en los torneos de predicción con el Gobierno de Estados Unidos, patrocinados por los servicios de inteligencia, la agencia de proyectos de investigación avanzados de inteligencia [IARPA, en sus siglas en inglés]. Los torneos de predicción se llevaron a cabo entre 2011 y 2015 y participaron miles de pronosticadores que trataron de predecir aproximadamente 500 preguntas formuladas por los servicios de inteligencia sobre esos años. Hemos encontrado que a algunas personas les fue mucho mejor que al chimpancé, así es cómo consiguieron batir algunos parámetros más exigentes.

 

Knowledge@Wharton: En el libro, habla un poco acerca de dónde encontró a estas personas que participaron en el estudio que recibió el nombre de proyecto de sentido común. ¿Puede comentar brevemente acerca de dónde reclutó a estas personas? ¿Y también sobre dónde se celebraron las competiciones, sobre lo que las personas tenían que hacer y cómo lo hicieron?

 

Tetlock: Fuimos muy oportunistas. Reclutamos pronosticadores a través de anuncios en las sociedades profesionales, blogs. Varios blogueros importantes ayudaron a reclutar a estas personas, gente como Tyler Cowen y Nate Silver. Varias personas nos ayudaron en esta tarea. Además, conocíamos mucha gente debido a los trabajos anteriores que habíamos hecho sobre opinión política especializada. Inicialmente se reunieron un grupo de miles de personas. Luego, durante los años siguientes, hemos afianzado esa relación.

 

Tengo que tener cuidado de no generalizar demasiado cuando hablo de la capacidad de éxito, o no, de los pronosticadores. Como he dicho antes, si quisiéramos, podríamos comunicar una mala imagen de las personas. Así, por ejemplo, podríamos hacer preguntas muy difíciles […] O podríamos hacer que las personas queden bien. Sólo haciendo preguntas muy fáciles. Así que es bueno estar atento a la investigación que trabaja con datos selectivos. Hay algunos aspectos de eso en la literatura especializada.

 

Estábamos buscando un proceso de generación de preguntas que no fuera manipulado de una manera u otra. El método que hemos desarrollado generaba preguntas en los servicios de inteligencia de Estados Unidos. Eran preguntas que pensaron que serían importantes y del interés de la seguridad nacional y que representaran de manera satisfactoria las tareas requeridas por los analistas de la industria de inteligencia. En términos generales, le preguntaron a la gente que hiciera un pronóstico de varios meses, a veces un poco más que eso, a veces menos. Nosotros mediamos la precisión de sus predicciones a lo largo del tiempo.

 

Le pedíamos a la gente que no emitiese cualquier tipo de juicio. No era sí o no. Las personas dieron su opinión sobre la base de lo que llamamos la escala de probabilidad de cero a uno. Calculábamos cuidadosamente la precisión de lo que dijeron a lo largo del tiempo. Hemos identificado algunas personas realmente buenas en eso, los llamados superpronosticadores. Más tarde, los reunimos en superequipos de superpronosticadores. En los cuatro años siguientes, básicamente dominaron el torneo. También hemos hecho otras experiencias además de buscar técnicas que pudiesen utilizarse para mejorar la precisión de las predicciones, y encontramos algunas.

 

Knowledge@Wharton: Estos superpronosticadores eran de diferentes clases sociales. Sin embargo, qué hace que el individuo sea un buen pronosticador, tal y cómo subraya en el libro, es el modo que tiene de razonar, entre otras cosas. ¿Podría hablar un poco sobre eso y cuáles son las características que comparten los superpronosticadores?

 

Tetlock: Cuando se pregunta a la gente en el mundo político “¿Quién tiene una opinión sensata?” La respuesta suele ser: “Cualquiera que piense como yo”. Los liberales tienden a pensar que tienen buen sentido común y que sus predicciones son mejores. Los conservadores tienden a pensar que son mejores en ello. Resulta que un buen pronóstico no está estrechamente relacionado con la ideología. Hay una ligera tendencia en los superpronosticadores a ser más moderados y menos ideológicos, pero hay numerosos superpronosticadores con opiniones fuertes. Lo que distingue a un superpronosticador es su capacidad para dejar a un lado sus opiniones, al menos temporalmente, y centrarse exclusivamente en la precisión. Este es un ejercicio muy exigente para una gran cantidad de personas.

 

Knowledge@Wharton: ¿Hay maneras de hacer que incluso los más agudos superpronosticadores sean mejores? ¿Hay condiciones o entornos que permiten convertirlos en superpronosticadores?

 

Tetlock: Al final, se llega a un punto en que no se mejora más, porque, como he dicho antes, el entorno en sí tiene un grado de incertidumbre irreducible. Así que no importa si usted es muy bueno, el caso es que probablemente no vaya a hacer una muy buena predicción sobre el valor de Google la próxima semana en la Bolsa de Valores de Nueva York. Hay cosas que son muy difíciles de hacer. Incluso si utiliza superpronosticadores, no se puede decir que vaya a lograr un progreso significativo en su pronóstico. Hay muchas cosas, sin embargo, que son bastante factibles, aunque no pensábamos que lo eran, y no hay mucho espacio para mejorar la precisión y los criterios de probabilidad de estas cosas.

 

Me refiero a cosas como predecir el crecimiento de las controversias internacionales, o su reducción, si ciertos tratados son firmados o aprobados por las legislaturas, o si Grecia saldrá de la zona euro. Así que hay muchas cuestiones que son importantes para los mercados financieros, que influyen en las decisiones de las empresas, donde hay posibilidad para mejorar el razonamiento de la probabilidad, donde hemos demostrado eso de forma experimental ahora es en el torneo de IARPA donde la gente por lo general no hace eso. La gente en general se basa en vagas verborreas. Hemos escuchado a la gente decir: “Bueno, supongo que esto es posible. Esto puede suceder. No es imposible, es probable ….” Son expresiones que no nos aportan una gran cantidad de información.

 

Si yo digo que algo puede suceder -por ejemplo, que Grecia puede salir de la zona euro a finales de 2017- ¿qué significa eso? Puede significar que yo creo que hay una probabilidad del 1% o del 99% de que ocurra. O que podemos ser golpeados por un asteroide mañana. Pedir a las personas que hagan juicios crudos y cuantitativos, que se vuelven más refinados con el tiempo, es una muy buena manera de llevar la cuenta y mejorarlo.

 

Knowledge@Wharton: Hay muchas personas alrededor del mundo que adquirieron fama de pronosticadores profesionales o que aparecen en la televisión como si fueran una especie de gurús. En realidad se trata de personalidades de la televisión, los medios de comunicación, y parece que este papel es casi como un culto a la personalidad. Nadie quiere ser desmentido. Estas personas nunca admiten que se equivocaron. Así que siguen adelante diciendo. “No, eso va a pasar”. Sin embargo, descubres que una de las cosas que comparten los superpronosticadores es que están dispuestos a dejar que otros prueben que erraron y están dispuestos a examinar la evidencia, dar la vuelta y volver a intentarlo. Esto me parece un poco irónico. En el libro, usted cuenta una historia muy interesante sobre los zorros frente a los erizos.

 

Tetlock: La metáfora del erizo se toma de un fragmento de un poema de hace 2.500 años del poeta y guerrero griego Arquíloco que ha llegado hasta nuestros días. Los eruditos han especulado durante siglos sobre su significado. Él dice más o menos lo siguiente, por supuesto que desconozco el griego antiguo, así que confío en que la traducción sea correcta: “El zorro sabe muchas cosas, pero el erizo sabe una gran cosa”.

 

Podemos imaginar a los erizos en las discusiones sobre temas políticos y económicos como personas de gran visión ideológica. Thomas Friedman podría sentirse emocionado al ver, por ejemplo, la globalización: el mundo es plano. Los liberales están entusiasmados con la idea de que existen soluciones en el mercado libre para la gran mayoría de los problemas que nos afectan. Hay gente de izquierdas que cree necesaria la intervención estatal masiva para hacer frente a diversas desigualdades. Hay medioambientalistas para los que estamos en la cúspide de una especie de apocalipsis. Así que hay gente muy animada por una visión, y sus predicciones se deben en gran parte a este punto de vista.

 

En cambio, los zorros tienden a ser más eclécticos. Ellos toman ideas de diferentes escuelas de pensamiento. Tal vez son medioambientalistas a medias y un poco liberales; quizás un poco socialistas y muy belicosos para ciertos problemas de seguridad nacional. Se mezclan las cosas de manera inusual y son más difíciles de clasificar políticamente. En nuestra investigación anterior, se encontró que los zorros que eran simplemente más eclécticos en su estilo de pensamiento, hacían mejores pronóstico que los erizos. En el estudio actual, encontramos algo similar. Hemos visto que las personas que tenían mayores puntuaciones en parámetros psicológicos de apertura activa mental y con necesidades cognitivas eran personas que puntúan alto en estas variables de personalidad y tendían a ser ligeramente mejores pronosticadores.

 

 

Knowledge@Wharton: ¿Qué significa esto para el intento de lograr predicciones más precisas? ¿Qué hay que hacer para que la gente escuche a los zorros cuando puede que no sean las personas con mayor atractivo o prominentes o a los que queremos prestar atención o escuchar todo el tiempo?

Tetlock: No es un dilema fácil de resolver. Imagine que usted es el productor de un importante programa de televisión. Usted puede elegir a alguien que saldrá al aire y dirá […] algo decisivo, atrevido e interesante, por ejemplo, la zona euro se disolverá en los próximos dos años o la economía china se hundirá o habrá un golpe de estado yihadista en Arabia Arabia. Esa persona tiene una historia fantástica y muy interesante que contar. Es el tipo de persona que puede poner sobre la mesa una serie de razones para apoyar su pronóstico sombrío sobre la zona euro, China y Arabia Saudita […] Esa persona es carismática y convincente y puede presentar una gran cantidad de razones que demuestran que tiene razón.

 

O puede poner a alguien que llegue y diga: “Bueno, por un lado, hay un cierto peligro de que la zona euro desaparezca. Sin embargo, hay fuerzas compensatorias. Como resultado de ello, es probable que no pase nada drástico durante el próximo año, pero podría suceder”. ¿Quién hará un programa de televisión mejor? Hacerse esta pregunta es responderla.

 

La preferencia por los erizos se debe en parte al hecho de que producen un discurso mejor. Las personas que producen mejores discursos generan mejores ratings en los medios, y eso es lo que la gente valora en las empresas de medios de comunicación. Así que hay una cierta relación perversa e inversa entre tener las habilidades de ser un buen pronosticador y tener las habilidades necesarias para ser una figura efectiva en los medios.

 

Knowledge@Wharton: Gran parte del libro se ocupa de cuestiones de estructuración, es decir, no sólo para encontrar personas que hacen buenas previsiones, sino también para descubrir las preguntas correctas, la forma correcta de estructurar el problema y para dividir un gran problema en conjuntos más pequeños. Numerosos componentes forman parte de la preparación de un pronóstico de manera que produzca, después de todo, la predicción deseada. ¿Hay gente que piensa en ello también, además de encontrar personas capaces de producir buenas predicciones?

Tetlock: Esto es para mí uno de los principales objetivos de la próxima generación de torneos de predicciones: la preocupación por la generación no sólo de buenas respuestas, sino de buenas preguntas. En el libro, se habla de la parábola de Thomas Friedman y Bill Flack. Thomas Friedman es, por supuesto, un famoso columnista del New York Times, ganador del Premio Pulitzer y cuya presencia es constante en Davos y la Casa Blanca. Se mueve en las esferas de poder. Bill Flack es un hidrólogo anónimo retirado de Nebraska que es también un superpronosticador. Sabemos mucho de la historia de los pronósticos de Bill Flack, ya que respondió a numerosas preguntas durante el torneo y demostró que era capaz de hacerlo con eficacia. Sin embargo, no sabemos casi nada del historial de predicciones de Thomas Friedman, a pesar de que ha escrito mucho en los últimos 35 años. Él es un analista y un autor de peso y hace muchas cosas muy bien. Sin embargo, no se puede reconstruir con algún grado de certeza su capacidad como pronosticador. Thomas Friedman tiene detractores, tiene admiradores. Sus admiradores pueden decir: “Bueno, él tenía razón cuando dijo que era una mala idea ampliar la OTAN hacia el este, ya que provocaría una reacción nacionalista por parte de Rusia”; o “se equivocó en Irak, ya que estaba a favor de la invasión de 2003″. La gente tiene muchas opiniones sobre muchas cosas.

 

Hicimos un análisis cuidadoso de las columnas de Friedman y una cosa que notamos fue que si bien es muy difícil saber si es o no es un buen pronosticador, una buena retrospectiva nos permite identificar algunas cuestiones realmente importantes. Es bueno hacer preguntas. Entonces empezamos a introducir algunas de sus ideas en las preguntas. Son preguntas, en general, abiertas. Podemos introducir algunas de ellas en futuros torneos de predicciones.

 

Le voy a dar un ejemplo del pasado que muestra la tensión entre ser un super generador de preguntas y un superpronosticador. A finales de 2002 y principios de 2003, antes de la invasión de Irak, Thomas Friedman escribió una columna sobre Irak que me parece brillante. Él hizo la siguiente pregunta, que era, en realidad, la pieza central de una pregunta clave sobre la invasión o no de Irak: ¿Irak es hoy tal y como es porque Saddam Hussein es lo que es, o Saddam Hussein es así porque Irak es lo que es?

 

Knowledge@Wharton: Es la historia del huevo y la gallina.

Tetlock: Correcto. ¿Y qué pasaría si Saddam fuese derrocado? ¿El país se desintegraría en una guerra de todos contra todos? ¿O caminaría hacia una democracia liberal de estilo Jeffersoniano en los próximos 15 o 20 años? Bueno, tal vez no tan rápido, pero las cosas irían en esa dirección.

 

Thomas Friedman no contestó la pregunta. Mucha gente cree que cometió un gran error al apoyar la invasión de Irak en 2003. Pero fue lo suficientemente inteligente como para hacer la pregunta correcta. Si hubiésemos estado haciendo torneos de predicciones a finales de 2002 y principios de 2003, habría sido algo que hubiéramos incluido en los ejercicios. La forma correcta de pensar acerca de Thomas Friedman y Bill Flack es que ambos son complementarios. La mayor contribución de Thomas Friedman a las predicciones del torneo puede ser exactamente su visión, que le permite hacer preguntas incisivas. Tal vez es también un buen pronosticador, pero esto todavía no lo sabemos.

 

Knowledge@Wharton: Sin embargo, para un buen pronosticador, necesitamos a los Thomas Friedman y los Bill Flacks del mundo. Para mí, sería sólo una cuestión de tratar de unirlos de la manera correcta, haciendo los cambios adecuados para obtener los mejores pronósticos.

Tetlock: Aquí es donde el libro da un giro. No se trata, de hecho, de Tom versus Bill; Es Tom y Bill. Tiene que haber una simbiosis.

 

Knowledge@Wharton: En la era de las supercomputadoras y del aprendizaje de máquinas, ¿cómo cree que va a cambiar el papel de la predicción humana? ¿Cómo el uso de las computadoras y de datos complementan el pronóstico humano?

 

Tetlock: En el libro, entrevistamos a David Ferrucci. Cuando él era un científico de IBM fue responsable de la elaboración de un programa de computador muy famoso conocido como Watson, que venció a los mejores jugadores humanos en Jeopardy. Nosotros le hicimos varias preguntas acerca de lo que pensaba sobre el pronóstico del hombre/máquina. Había una línea de cuestionamiento muy interesante. Está claro que para él sería imposible que un sistema como Watson respondiera con bastante rapidez a la pregunta: ¿cuáles fueron los dos líderes rusos que cambiaron de trabajo en los últimos cinco años? Para responder a esta pregunta, Watson podría hacer una búsqueda en su base de datos histórica, podía entender eso. Sin embargo, si la pregunta se hiciera de la siguiente manera: ¿esos mismos dirigentes rusos cambiarán de trabajo en los próximos cinco años? ¿Watson sabría qué responder a una pregunta como esa? La respuesta de Ferrucci fue no. La pregunta era, por lo tanto: ¿cuál es el grado de dificultad para reconfigurar Watson, para poder responder a una pregunta como esa? Su respuesta fue, sería muy difícil. No sería algo fácil de hacer en el futuro próximo.

 

Creo que eso es correcto. No soy experto en este área, pero él obviamente lo es. Sin embargo, cuando pienso en lo que se necesitaría para hacerlo, lo que es necesario para hacer el tipo de cosas que los superpronosticadores hacen colectivamente, el número de supuestos que hay que incluir en el desarrollo de una predicción razonable, es difícil para mí imaginar la existencia de sistemas de inteligencia artificial (IA) capaces de hacerlo en el corto plazo.

 

Knowledge@Wharton: Si alguien está leyendo su libro y quiere llegar a ser un mejor pronosticador en su vida cotidiana, ¿qué hay en el libro que usted espera que la gente ponga en práctica?

Tetlock: Muchas personas gastan mucho en consejos sobre el futuro que, probablemente, no valen el dinero utilizado. No pueden saberlo porque no hay manera de consultar el historial de la gente cuyos consejos están buscando. El mejor ejemplo es probablemente el ámbito de las finanzas, donde una gran cantidad de dinero cambia de manos y se dirige a personas que dicen tener cierta capacidad para predecir la trayectoria de los mercados financieros. Es algo muy difícil de hacer. Yo no estoy diciendo que es imposible o que nadie es capaz de hacerlo mejor que un chimpancé lanzando dardos. Sólo digo que es una cosa muy difícil de hacer. Así que creo que la gente debería ser más escéptica sobre los individuos a los que va a pedir ayuda sobre el posible futuro, sobre todo cuando se trata de finanzas. En general, sin embargo, creo que se debe ser muy escéptico acerca de los expertos que la gente lee y también las declaraciones que los políticos y otros hacen en relación al futuro. Es muy común que las personas hagan declaraciones audaces sobre el futuro sin presentar ninguna prueba de su historia personal. Yo diría que esto es casi universal.

 

Knowledge@Wharton: Si alguien hace una afirmación arriesgada, ¿es cuando debemos sospechar de esa persona?

Tetlock: Bueno, cuanto más audaz es la declaración, mayor debe ser la carga de la prueba. El individuo debe demostrar que tiene un buen historial de éxitos.

 

Knowledge@Wharton: Parece que cuanto más audaz es la declaración, menos personas cuestionan a estos individuos.

 

Tetlock: Esto es muy importante. Tiene que ver con la psicología humana. Intuir cuánto sabe una persona sobre lo que está hablando se basa en la confianza que parece transmitir. Cuanto más seguro parezca, más probable es que uno se pierda en la conversación. Esto es un problema, y ​​esto significa que la gente tiene que pensar con un poco más de cuidado al evaluar las habilidades y no confiar demasiado en la llamada heurística de la confianza. Es cierto que la confianza está relacionada con la precisión, pero también es posible que los seres humanos manipuladores utilicen la heurística para transformarnos en bombas de transferencia de dinero.

 

Fuente: http://bit.ly/1WPJsL0