¿Puede el Big Data predecir eventos futuros?

Leemos en la Web de la BBC un interesante artículo sobre el proyecto GDELT y las enormes posibilidades del Big Data como método para descubrir patrones en eventos pasados, para poder extrapolar predicciones futuras.

Muchos expertos consideran al Big Data como el petróleo del siglo XXI. Según IBM, cada día se crean alrededor de 2,5 trillones de bytes de datos, cifra que se está incrementando a pasos agigantados. Buena prueba de ello son el millón de vídeos del reto Ice Bucket Challenge subidos a la red en apenas 3 días.

El uso de las tecnologías asociadas al Big Data ha permitido realizar proyectos como esta aplicación web para visualizar la evolución de los géneros musicales a lo largo de la historia o estudios más ambiciosos como el Baseline Study de Google X.

Pero el Big Data no solo sirve para recopilar, procesar y organizar grandes conjuntos de datos con fines de investigación, estadísticos, etc. En la actualidad existen proyecto que tratan de utilizar la potencialidad del Big Data para detectar patrones y realizar predicciones. Un buen ejemplo de ello, es la herramienta Google Flu Trends, un algoritmo desarrollado por la compañía de Mountain View para detectar brotes de gripe en todo el mundo, aunque hace unos meses su sistema fue criticado al fallar en sus predicciones.

Hoy os hablamos de un interesante proyecto, GDELT, que gracias a la utilización de la herramienta Google BigQery, perteneciente a Google Cloud Plafform, ha podido identificar patrones de eventos históricos pasados que permitirían predecir cuándo volverían a producirse en el futuro eventos similares.

El proyecto GDELT, creado por el científico Kalev H. Leetaru, nació con la idea de recopilar la información del planeta entero utilizando multitud fuentes de información para construir una gigantesca base de datos libre. Para ello, a lo largo de los últimos años han ido recopilando la información de medios escritos, televisiones, radios Webs, etc. de medios de comunicación de medio mundo y en 100 lenguajes diferentes, remontándose desde el año 1979 hasta el presente.

Con la información recopilada han conseguido crear una base de datos de un tamaño aproximado de 100 GB de registros. Hace varios meses, gracias al apoyo de Google Ideas, el proyecto compartió su base de datos en la Google Cloud Platform, posibilitando la utilización de la herramienta Google BigQuery para realizar consultas y análisis de grandes volúmenes datos casi en tiempo real.

Gracias a las posibilidades computacionales que aporta BigQuery, los responsables del proyecto GDELT formularon una hipótesis para buscar patrones que se repitiesen a lo largo de la historia reciente entre los eventos ocurridos en la sociedad para ver sus similitudes y, a partir de su análisis y comparación, examinar la posibilidad de pronosticar en el tiempo sucesos venideros. En resumen, buscar coincidencias en periodos similares en el pasado para poder predecir eventos análogos en el futuro.

Para ello, realizaron una prueba con las protestas ocurridas en Egipto el 27 de enero de 2011. Acotaron un período de estudio de los 2 meses anteriores a las protestas, y realizaron una búsqueda entre los datos recopilados desde 1979 para buscar correlaciones con sucesos estadísticamente similares ocurridos en el mundo en un espacio de tiempo de 60 días.

Al analizar los resultados, encontraron dos períodos similares con un alto grado de correlación, Alemania entre el 8 de julio y el 6 de septiembre de 2009 y Suecia entre el 4 de octubre y el 3 de diciembre de 2010. Una vez con estos datos, los compararon en una gráfica lineal con lo sucedido en Egipto, situando los resultados de los 60 días precedentes y los 60 días posteriores. Al ver las gráficas (Egipto en rojo, los otros dos en verde) concluyeron que los tres períodos tenían una sucesión estadística de eventos muy similar.

Se puede ver toda la explicación de este estudio en este artículo del blog del proyecto, en donde explican incluso como realizar esta prueba nosotros mismos, ya que los datos son de acceso público en la herramienta BigQuery.

Por último, aunque Leetaru explica que realizar un mapa de predicciones de revueltas políticas sería bastante complicado con un modelo cómo el que utilizan, lo que sí demuestra su estudio es el gran potencial del Big Data para analizar grandes volúmenes de información y la facilidad de herramientas como BigQuery de Google para poner a disposición de cualquiera la tecnología necesaria para estos estudios.