Overblog
Edit post Seguir este blog Administration + Create my blog
23 junio 2014 1 23 /06 /junio /2014 20:04
For the past three years, 3,000 average people have been quietly making probability estimates about everything from Venezuelan gas subsidies to North Korean politics as part of the Good Judgment Project, an experiment put together by people inside the intelligence community ...
.
.

 

 

En el mayor experimento académico de inteligencia colectiva, financiado por EEUU vía la IARPA (Intelligence Advanced Research Projects Activity) dentro del proyecto "Good Judgment Project", psicólogos estadounidenses, tras encuestar a 3.000 personas, concluyen que los ciudadanos comunes y corrientes, predicen los acontecimientos mundiales, un 30% mejor, que los especialistas de los servicios de inteligencia como la CIA. Los estudios llevados a cabo por Philip Tetlock llegan a la conclusión de que se pueden establecer predicciones más acertadas si se toma una multitud de personas diferentes, con accesos a información diferente y se unen sus predicciones, que si se hace una estimación en base a una sola persona, muy inteligente, o incluso un pequeño grupo de personas inteligentes y/o bien informadas”.

..........

La “sabiduría de las multitudes” o cómo la gente predice los fenómenos mundiales mejor que la CIA

Los ciudadanos de a pie predicen los acontecimientos mundiales un 30% mejor que los especialistas de los servicios de inteligencia como la CIA. Es el resultado del proyecto Good Judgment Project, iniciado hace tres años por psicólogos estadounidenses que han encuestado a 3.000 personas.

 

04 Abril 2014 - Por RFI

 

Todo empezó en 2008, cuando tres psicólogos de prestigio y expertos de los servicios de inteligencia de Estados Unidos invitaron a 3.000 personas a realizar estimaciones de probabilidad sobre cuestiones de geopolítica mundial.

 

Conocido con el nombre del Good Judgment Project (el Proyecto del Buen Juicio) se trataba del mayor experimento académico de inteligencia colectiva, financiado por el Gobierno de EEUU a través de una de sus agencias de Inteligencia, la IARPA (Intelligence Advanced Research Projects Activity), e impulsado por el influyente psicólogo Philip Tetlock.

 

Desde hace tres años 3.000 participantes han estado respondiendo individualmente, con la ayuda de Internet y sin información privilegiada, sobre todo tipo de cuestiones que afecta al mundo: desde los subsidios al gas venezolano a la política de Corea del Norte. El resultado: los ciudadanos predicen los acontecimientos un 30% mejor que los especialistas de los servicios de inteligencia.

La pregunta es: ¿cómo puede ser que un grupo de ciudadanos comunes y corrientes que realizan búsquedas de Google en sus hogares puedan realizar predicciones más ajustadas que miembros de la CIA, con acceso a información clasificada?”

"Todo el mundo se ha sorprendido de estos resultados ", declaró Philip Tetlock, a la radio pública estadounidense, NPR, el primer martes de abril de 2014. Durante la mayor parte de su carrera profesional, Tetlock estudió los problemas asociados con la toma de decisiones de expertos, cuyas conclusiones se encuentran en su best-seller Expert Political Judgment.

 

Los estudios llevados a cabo por Tetlock llegan a una conclusión relacionada con las leyes de la estadística. Según el psicólogo norteamericano, se pueden establecer predicciones más acertadas si se toma una multitud de personas diferentes con accesos a información diferente y se unen sus predicciones, que si se hace una estimación en base a una sola persona muy inteligente, o incluso un pequeño grupo de personas inteligentes y/o bien informadas”.

.

La sabiduría de las multitudes y la lección del buey muerto

 

Las tesis de Tetlock, así como el proyecto del Good Judgment Project, parte del concepto de la “sabiduría de las multitudes”, concebido por primera vez por el estadístico británico Francis Galton en 1906 a partir de la historia del buey muerto.

 

Fue en una feria en la que unas 800 personas habían tratado de adivinar el peso de un buey muerto en una competición. Galton recogió todas las conjeturas y se dio cuenta de un detalle: la mayoría eran realmente erróneas, demasiado altas o bajas, pero cuando calculó el promedio de todas vio sorprendido que casi era el peso exacto del animal.

 

En otras palabras, hay errores en todas las predicciones, pero hay una verdad en el centro de lo que las personas responden, y si se realiza un promedio de un gran número de predicciones en conjunto, los errores acabarán anulándose entre sí, hasta hallar la estimación más precisa. Ésa es la sabiduría de la multitud y lo que era cierto para el buey muerto parece que lo es para los acontecimientos del mundo.

 

 

So You Think You're Smarter Than A CIA Agent : Parallels ...

www.npr.org/.../-so-you-think-youre-smarter-than-a...
2/4/2014 - Lessons From A Dead Ox ... a concept first discovered by the British statistician Francis Galton in 1906. ... The dead ox weighed 1,198 pounds

.

 

The Intelligence Advanced Research Projects Activity (IARPA) is a United States research agency under the Director of National Intelligence's responsibility. In January 2008, Lisa Porter, an administrator at NASA with experience at DARPA, was appointed director[1] of the activity formed in 2006 from the National Security Agency's Disruptive Technology Office(DTO), the National Geospatial-Intelligence Agency’s National Technology Alliance and the Central Intelligence Agency’s Intelligence Technology Innovation Center.[2]

 

In September 2006, the Director of National Intelligence stated that IARPA's goal was to conduct research that:[4]

  • Cuts across multiple IC agencies;
  • Targets new opportunities that lie in the white spaces between agencies;
  • Provides innovations that agencies avoid because of current business models; and
  • Generates revolutionary capabilities that will surprise our adversaries and help us avoid being surprised

 

IARPA is composed of three program offices—Smart Collection, Incisive Analysis, and Safe and Secure Operations. The goal of the Office of Smart Collection is to "dramatically improve the value of collected data from all sources". The Office of Incisive Analysis exists to "maximize insight from the information we collect, in a timely fashion". IARPA's third division, the Office of Safe and Secure Operations, exists to "counter new capabilities implemented by our adversaries that would threaten our ability to operate freely and effectively in a networked world".

 

The Metaphor Program is a two-phase project designed to first develop automated techniques for recognizing, defining, and categorizing linguistic metaphors and then use that information to characterize differing cultural perspectives. The Program is headed by Heather McCallum-Bayliss. In May 2011, IARPA issued an open solicitation for private-sector parties to participate.[5][6]

 

http://en.wikipedia.org/wiki/Intelligence_Advanced_Research_Projects_Activity

 

Intelligence Advanced Research Projects Activity (IARPA)

www.iarpa.gov/
 
At IARPA, we take real risks, solve hard problems, and invest in ... IntelligenceCommunity News The Intelligence Advanced Research Projects Activity (IARPA),

.

 

 

 

¿Así que crees que eres más inteligente que un agente de la CIA?

 

02 de abril 2014 por ALIX Spiegel

http://www.npr.org/blogs/parallels/2014/04/02/297839429/-so-you-think-youre-smarter-than-a-cia-agent

 

En la mañana me encontré con Elaine Rich, que estaba sentada en la mesa de la cocina de su pequeño pueblo natal en los suburbios de Maryland tratando de estimar los flujos de refugiados en Siria.

No era la única pregunta que ella estaba resolviendo; había otras: ¿Corea del Norte lanzará un nuevo misil de varias etapas antes del 10 de mayo de 2014? ¿Las fuerzas armadas rusas ingresarán a Kharkiv, Ucrania, el 10 de mayo? Las respuestas de Elaine Rich, con el tiempo, serían evaluadas por la comunidad de inteligencia, pero ella no se sentía muy presionada, porque no era su obligación a tiempo completo.

"Sólo soy una farmacéutico", dijo. "Nadie se preocupa por mí, nadie sabe mi nombre, yo no tengo una reputación profesional en juego. Y es este anonimato el que en realidad me da la libertad de hacer verdaderos pronósticos."

Elaine Rich sí hace verdaderas previsiones; ella es curiosamente buena para predecir los acontecimientos mundiales futuros.

 

Mejor que los Pros

 

Durante los últimos tres años, Elaine Rich y otras 3.000 personas promedio. han estado haciendo en silencio, estimaciones de probabilidad acerca de todo, desde los subsidios al gas venezolano hasta la política de Corea del Norte como parte del proyecto Good Judgment Project (proyecto del buen juicio), un experimento elaborado por tres psicólogos de renombre y algunas otras personas del interior de la comunidad de inteligencia.

Según un informe, las predicciones hechas por el Good Judgment Project, a menudo son mejores, incluso que las de los analistas de inteligencia, con acceso a información clasificada, y muchas de las personas involucradas en el proyecto, se han sorprendido por su éxito en hacer predicciones exactas.

 

Cuando  Elaine Rich, de unos 60 años, escuchó por primera vez del experimento, ella no creía que sería especialmente buena en la predicción de los acontecimientos mundiales. Ella no sabía mucho acerca de los asuntos internacionales, y ella no había estudiado muchas matemáticas en la escuela.

 

Pero se inscribió, recibió un poco de entrenamiento en cómo estimar las probabilidades de los que dirigen el programa, y ​​luego se le dio acceso a un sitio web en que aparece docenas de preguntas, cuidadosamente redactadas, sobre eventos de interés para la comunidad de inteligencia, asociadas a un casillero donde consignar su estimación numérica de probabilidad.

 

"Los dos primeros años que hice esto, lo único que hice fue elegir números", me dijo. "Usted no tiene que decir nada acerca de lo que estás pensando, no tienen que justificar sus números. Usted elege los números y luego ve cómo los números funcionan."

Los números de  Elaine Rich eran increíblemente buenos.

 

Ella está en el 1% de los 3.000 involucrados en las predicciones del experimento, lo que significa que ha sido clasificado como una superforecaster, alguien que es extremadamente preciso en la predicción de cosas como:

¿Habrá un ataque significativo en territorio israelí antes de 10 de mayo 2014?

.

Los Superforecasters

De hecho, ella es tan buena que ha sido puesta en un equipo especial, con otros superforecasters, cuyas predicciones son 30% mejores que las de los informes oficiales de inteligencia, con acceso a información clasificada.

Elaine Rich y sus compañeros de equipo son tan buenos, a pesar de que toda la información que utilizan para hacer sus predicciones, es pública, está disponible para cualquier persona con acceso a Internet.

Cuando le pregunté si ella va a fuentes de Internet oscuras, ella negó con la cabeza.

"Por lo general, sólo hago una búsqueda en Google," dijo ella.

 

Y eso plantea esta pregunta: ¿Cómo es posible que un grupo de ciudadanos comunes y corrientes que realizan búsquedas de Google en sus hogares pueden superar con sus predicciones a los miembros de la comunidad de inteligencia de Estados Unidos, con acceso a información clasificada?

¿Cómo puede ser?

 

La lección del buey muerto

"Todo el mundo ha sido sorprendido por estos resultados", dijo Philip Tetlock, uno de los tres psicólogos que desarrolló la idea para el proyecto del buen juicio. Los otros dos son Barbara Mellers y Don Moore.

Durante la mayor parte de su carrera profesional, Tetlock estudió los problemas asociados con la toma de decisiones de expertos. Su libro Expert Political Judgment es considerado un clásico, y casi todo el mundo en el negocio de pensar acerca del juicio, habla de él con admiración sin reservas.

 

Todos sus estudios llevaron a Tetlock a por lo menos dos importantes conclusiones:

En primer lugar, si quieres que la gente mejore en hacer predicciones, es necesario llevar la cuenta de la precisión que sus predicciones resultan tener, así que tienen información concreta.

Pero también, si usted toma una gran multitud de diferentes personas con acceso a información diferente y reune sus predicciones, usted estará en condiciones mucho mejores que si se basan en una única persona muy inteligente, o incluso en un pequeño grupo de personas muy inteligentes.

"La sabiduría de las multitudes es una parte muy importante de este proyecto, y es un importante motor de la precisión", dijo Tetlock.

La sabiduría de las multitudes es un concepto descubierto por primera vez por el estadístico británico Francis Galton en 1906.

Galton fue en una feria en la que unas 800 personas habían tratado de adivinar en un concurso, el peso de un buey muerto. 

Resultó que la mayoría de las conjeturas eran realmente malas, demasiado altas o demasiado bajas. Pero cuando Galton sacó el promedio, se sorprendió ya que el buey muerto pesaba 1.198 libras y el promedio de la multitud había sido 1197 libras.

.

Encontrar la verdadera cifra

"Hay un montón de "ruido", una gran cantidad de variación aleatoria estadística", dijo Tetlock. "Pero es la variación aleatoria alrededor de una cifra, la cifra verdad."

 

En otras palabras, hay errores en cada lado de la marca, pero hay una verdad en el centro de lo que la gente está respondiendo, y si usted hace un promedio de un gran número de predicciones en conjunto, los errores acabarán anulándose entre sí, y lo que queda es una suposición más precisa.

Esa es la sabiduría de la multitud.

 

El punto del Proyecto del Buen Juicio era averiguar si lo que es cierto para el buey muerto es cierto para los acontecimientos del mundo. Lo es.

 

 De hecho, Tetlock y su equipo incluso han diseñado formas de mejorar significativamente la sabiduría de la multitud, todo lo cual sorprendió enormemente a Jason Matheny, una de las personas de la comunidad de inteligencia que inició el experimento.

 

"Han demostrado que se puede mejorar significativamente la precisión de los pronósticos geopolíticos, en comparación con los métodos que se manejaban antes de que comenzara este proyecto", dijo Matheny.

 

Lo que es sorprendente, en todo esto, es la idea de que se puede obtener predicciones muy precisas, acerca de los acontecimientos geopolíticos, sin tener acceso a información secreta. Además, el acceso a información clasificada, no da una ventaja, sobre un grupo inteligente de ciudadanos comunes y corrientes, que realizan búsquedas en Google desde sus mesas de cocina.

.

¿Cómo será utilizado?

Matheny no cree que exista el riesgo de que se reemplace los servicios de inteligencia, tal como hoy existen.

"Creo que lo que se ha desarrollado, es un complemento a los métodos de predicción en uso, en lugar de un sustituto", dijo.

Matheny, dijo que a pesar de las buenas predicciones del Good Judgment Project, han sido muy precisas sobre las preguntas planteadas, no está claro que este proceso va a funcionar en todas las situaciones.

 

"Es probable que haya otros tipos de preguntas, para las cuales, la información de fuentes de dominio público sea insuficiente", agregó.

 

En un par de semanas, el Good Judgment Project iniciará la contratación de más pronosticadores para su experimento, y Elaine Rich, la farmacéutico del Maryland suburbano, piensa que a más gente como ella, debería dársele una oportunidad.

 

"Los servidores de salud no son propensos a estar involucrados en el pronóstico internacional", dijo. "Pero tengo la sensación, de que muchos de ellos sería bueno en eso."

 

* Traducción Malcolm Allison H  2014

 

 

 

 

     

 

So You Think You're Smarter Than A CIA Agent

April 02, 2014 by ALIX SPIEGEL

http://www.npr.org/blogs/parallels/2014/04/02/297839429/-so-you-think-youre-smarter-than-a-cia-agent

 

The morning I met Elaine Rich, she was sitting at the kitchen table of her small town home in suburban Maryland trying to estimate refugee flows in Syria.

 

It wasn't the only question she was considering; there were others:

 

Will North Korea launch a new multistage missile before May 10, 2014?

 

Will Russian armed forces enter Kharkiv, Ukraine, by May 10? Rich's answers to these questions would eventually be evaluated by the intelligence community, but she didn't feel much pressure because this wasn't her full-time gig.

 

"I'm just a pharmacist," she said. "Nobody cares about me, nobody knows my name, I don't have a professional reputation at stake. And it's this anonymity which actually gives me freedom to make true forecasts."

 

Rich does make true forecasts; she is curiously good at predicting future world events.

 

Better Than The Pros

 

For the past three years, Rich and 3,000 other average people have been quietly making probability estimates about everything from Venezuelan gas subsidies to North Korean politics as part of the Good Judgment Project, an experiment put together by three well-known psychologists and some people inside the intelligence community.

 

According to one report, the predictions made by the Good Judgment Project are often better even than intelligence analysts with access to classified information, and many of the people involved in the project have been astonished by its success at making accurate predictions.

 

 

When Rich, who is in her 60s, first heard about the experiment, she didn't think she would be especially good at predicting world events. She didn't know a lot about international affairs, and she hadn't taken much math in school.

 

But she signed up, got a little training in how to estimate probabilities from the people running the program, and then was given access to a website that listed dozens of carefully worded questions on events of interest to the intelligence community, along with a place for her to enter her numerical estimate of their likelihood.

 

"The first two years I did this, all you do is choose numbers," she told me. "You don't have to say anything about what you're thinking, you don't have to justify your numbers. You just choose numbers and then see how your numbers work out."

 

Rich's numbers worked out incredibly well.

 

She's in the top 1 percent of the 3,000 forecasters now involved in the experiment, which means she has been classified as a superforecaster, someone who is extremely accurate when predicting stuff like:

 

Will there be a significant attack on Israeli territory before May 10, 2014?

 

The Superforecasters

 

In fact, she's so good she's been put on a special team with other superforecasters whose predictions are reportedly 30 percent better than intelligence officers with access to actual classified information.

 

Rich and her teammates are that good even though all the information they use to make their predictions is available to anyone with access to the Internet.

 

When I asked if she goes to obscure Internet sources, she shook her head no.

 

"Usually I just do a Google search," she said.

 

 

And that raises this question:

 

How is it possible that a group of average citizens doing Google searches in their suburban town homes can outpredict members of the United States intelligence community with access to classified information?

 

How can that be?

 

Lessons From A Dead Ox

 

"Everyone has been surprised by these outcomes," said Philip Tetlock, one of the three psychologists who came up with the idea for the Good Judgment Project. The other two are Barbara Mellers and Don Moore.

 

For most of his professional career, Tetlock studied the problems associated with expert decision making. His book Expert Political Judgment is considered a classic, and almost everyone in the business of thinking about judgment speaks of it with unqualified awe.

 

All of his studies brought Tetlock to at least two important conclusions.

 

First, if you want people to get better at making predictions, you need to keep score of how accurate their predictions turn out to be, so they have concrete feedback.

 

But also, if you take a large crowd of different people with access to different information and pool their predictions, you will be in much better shape than if you rely on a single very smart person, or even a small group of very smart people.

 

"The wisdom of crowds is a very important part of this project, and it's an important driver of accuracy," Tetlock said.

 

The wisdom of crowds is a concept first discovered by the British statistician Francis Galton in 1906.

 

Galton was at a fair where about 800 people had tried to guess the weight of a dead ox in a competition. After the prize was awarded, Galton collected all the guesses so he could figure out how far off the mark the average guess was.

 

It turned out that most of the guesses were really bad — way too high or way too low. But when Galton averaged them together, he was shocked:

 

The dead ox weighed 1,198 pounds. The crowd's average: 1,197.

 

Finding The True Signal

 

"There's a lot of noise, a lot of statistical random variation," Tetlock said. "But it's random variation around a signal, a true signal, and when you add all of the random variation on each side of the true signal together, you get closer to the true signal."

 

In other words, there are errors on every side of the mark, but there is a truth at the center that people are responding to, and if you average a large number of predictions together, the errors will end up canceling each other out, and you are left with a more accurate guess.

 

That is the wisdom of the crowd.

 

The point of the Good Judgment Project was to figure out if what was true for the dead ox is true for world events as well.

 

It is.

 

 In fact, Tetlock and his team have even engineered ways to significantly improve the wisdom of the crowd — all of which greatly surprised Jason Matheny, one of the people in the intelligence community who got the experiment started.

 

"They've shown that you can significantly improve the accuracy of geopolitical forecasts, compared to methods that had been the state of the art before this project started," he said.

 

What's so challenging about all of this is the idea that you can get very accurate predictions about geopolitical events without access to secret information. In addition, access to classified information doesn't automatically and necessarily give you an edge over a smart group of average citizens doing Google searches from their kitchen tables.

 

How Will It Be Used?

 

Matheny doesn't think there's any risk that it will replace intelligence services as they exist.

 

"I think it's a complement to methods rather than a substitute," he said.

 

Matheny said that though Good Judgment predictions have been extremely accurate on the questions they've asked so far, it's not clear that this process will work in every situation.

 

"There are likely to be other types of questions for which open source information isn't likely to be enough," he added.

 

In a couple of weeks, the Good Judgment Project will start recruiting more forecasters for its experiment, and Elaine Rich, the suburban Maryland pharmacist, thinks more people like her should give it a shot.

 

"Health care people are not likely to be involved in international forecasting," she said. "But I have a feeling that many of them would be good at it."

 

http://www.npr.org/blogs/parallels/2014/04/02/297839429/-so-you-think-youre-smarter-than-a-cia-agent

 

 


 

* Malcolm Allison H  2014

 

Compartir este post

Repost0

Comentarios

Présenta

  • : cinabrio blog
  • : Ecología y sostenibilidad socioambiental, énfasis en conservación de ríos y ecosistemas, denuncia de impacto de megaproyectos. Todo esto es indesligable de la política y por ello esta también se observa. Ecology, social and environmental sustainability, emphasis on conservation of rivers and ecosystems, denounces impact of megaprojects. All this is inseparable from politics, for it, the politics is also evaluated.
  • Contacto

Perfil

  • Malcolm Allison H malcolm.mallison@gmail.com
  • Biólogo desde hace más de treinta años, desde la época en que aún los biólogos no eran empleados de los abogados ambientalistas. Actualmente preocupado …alarmado en realidad, por el LESIVO TRATADO DE(DES)INTEGRACIÓN ENERGÉTICA CON BRASIL
  • Biólogo desde hace más de treinta años, desde la época en que aún los biólogos no eran empleados de los abogados ambientalistas. Actualmente preocupado …alarmado en realidad, por el LESIVO TRATADO DE(DES)INTEGRACIÓN ENERGÉTICA CON BRASIL

Recherche

Liens