Artículo BIT
BIG DATA. Análisis Visual en el campo del Big Data: Visual Analytics,
La era de la información, creada principalmente a través de las tecnologías para la computación y las telecomunicaciones ha tenido desde sus comienzos la necesidad de estructurar y almacenar datos. Las bases de datos conocidas como relacionales han supuesto la principal forma de almacenamiento permitiendo el accesos a los datos a través delmuy popular lenguaje SQL (StructuredQuery Language), sin embargo la actual explosión de datos hace que se requiera la utilización de nuevas técnicas que permitan gestionar tales volúmenes Internet, utilizada inicialmente para proveer servicios a personas, se ha convertido en un entorno en el que todo tipo de dispositivos proveen y recogen datos (Machine tomachine oM2M). Esta tendencia se ha sumado al concepto de Internet de las Cosas (Internet ofThings) donde dispositivos y sensores comparten información demanera automática. La convergencia y accesibilidad de los distintos sistemas de información hacen que el volumen accesible de datos haya experimentado ese crecimiento exponencial. De esta forma, surge el concepto de LinkedOpenData (LOD) que permite la publicación y acceso a informaciónmediante tecnologíasweb estándar. Esta iniciativa está teniendo unamuy buena acogida por parte de lasAdministraciones Públicas que ven en ella una forma efectiva de publicar su propia información y convertir así la gestión pública en un procesomuchomás transparente. Dentro de este proceso de integración de múltiples fuentesmasivas de datos surge el concepto de BigData, que podemos definir como aquel conjunto de datos que excede la capacidad de procesamiento de los sistemas de bases de datos convencionales. Se calcula que de 2006 a 2010, el volumen de datos aumentó en un factor de seis alcanzando los 988 exabytes y se estima que para 2015 la cantidad de datos existente rondará los 8 zettabytes (8x1021).Actualmente, el tráfico diario de e-mails es de 145milmillones al día, mientras que el número de páginas web de nueva creación aumenta en 822mil páginas/día. EnTwitter se generan 500 millones de mensajes diarios y durante ese tiempo, en Facebook se comparten 4milmillones de elementos. En lo referente a la informaciónmultimedia, Flickr recibe 4,5millones de fotografías al día,mientras que el número de imágenes subidas diariamente a Instagrames de 40millones y en el caso de Facebook de 300millones. En el caso del video,Youtube recibe 72 horas de contenido cadaminuto y el consumo de videomensual de este canal es de 4milmillones de horas. En resumen, el 90%de los datos disponibles actualmente se han generado durante los 2 últimos años. Con estos datos, los sistemas clásicos de gestión de información se hace totalmente inviables y surge la necesidad de nuevas tecnologías que puedan ser utilizadas no sólo por grandes compañías comoGoogle,Microsoft oYahoo! sino también por otro tipo de empresas que están experimentando un aumento exponencial en la cantidad de datos que generan. Los atributos principales para considerar un conjunto de datos como Big Data son los siguientes: u Volumen: Cantidadmasiva del orden de los cientos de Terabytes. u Velocidad: El flujo de entrada de datos, ingesta, puede resultar tan alto que la información seamuy difícil de procesar y esto condicione la comprensión sobre los datos. Pedimos en esta ocasión a Javier Alonso, que nos acerque a un concepto muy ligado a Big Data, “Visual Analytics”, la utilización de técnicas de visualización para analizar grandes volúmenes de datos y, de esa manera, conseguir que puedan servirnos en la toma de decisiones. Estas técnicas se aplican hoy por hoy en multitud de campos, desde el control de una epidemia, el análisis de la evolución de los resultados escolares de una población, el aprovechamiento de las bondades de las Smart Cities, el análisis de los movimientos migratorios, la detección del fraude fiscal, ... Visualizar la información puede ser una manera eficaz de comprenderla y utilizarla de forma eficaz. Análisis Visual en el campo del Big Data: Visual Analytics Javier Alonso Cerrato Ingeniero de Telecomunicación Dominion [email protected] Igor García Olaizola Ingeniero en automática y electrónica industrial Director del Área de TV Digital y Servicios Multimedia [email protected] @iolaizola u Variedad: La naturaleza heterogénea de la información puede hacer que los datos no sean adecuados para su almacenamiento y proceso en bases de datos tradicionales debido a la rigidez de sus estructuras. Variedad en la estructura de los datos: estructurados, semiestructurados (ficheros con formato conocido tipo word, excel...) y desestructurados (imágenes, video, audio,...). Estos últimos exigen una gran carga computacional antes de extraer información de ellos, lo que, sin el uso de tecnologías Big Data hace no productiva su utilización (el tiempo de computación es superior al tiempo de aprovechamiento de la información obtenida) u Valor: La mayoría de los datos tiene poco valor hasta su análisis y procesamiento. Para esta tarea se hacen necesarios sistemas distribuidos y recursos avanzados de análisis de datos. Nos enfrentamos a la atomización de la información con gran cantidad de información que por su gran número de elementos solo tiene sentido en conjunto, siendo despreciable el significado individual. Actualmente existen múltiples soluciones para abordar los retos que plantea Big Data y que las tradicionales soluciones de bases de datos no pueden resolver. Se dispone así de soluciones abiertas (Hadoop, MongoDB, etc). como de soluciones comerciales. El análisis Big Data es aplicable cada vez en más ámbitos y está permitiendo romper los silos de información para ofrecer una visión completa de toda la información relevante para la toma de decisiones, permite además obtener información relevante en un periodo de tiempo donde esta información todavía es válida. En este contexto las herramientas de análisis visual adquieren una importancia fundamental al permitir abstraer la complejidad de la información. Aquí las técnicas de análisis visual permiten aprovechar al máximo la información que nos ofrecen las posibilidades de las soluciones Big Data. Visualizando datos Aproximadamente el 50% del cerebro humano se dedica a la visión, procesando información visual, o en pensamientos abstractos basados en metáforas visuales. Este dato nos da una clara idea acerca de la idoneidad de las representaciones visuales para la comprensión humana. El concepto de Visual Analytics trata de extraer información de problemas altamente complejos (debido a la cantidad de datos, a su tipología heterogénea, a la complejidad de los modelos, etc.) y representarlo visualmente de manera que el conocimiento, la capacidad de razonamiento y la intuición de las personas se puedan explotar al máximo. Thomas y Cook (2005) definen el concepto de Visual Analytics como “La ciencia del razonamiento analítico facilitada por interfaces visuales interactivas”. El proceso de Visual Analytics definido por Keim et al. presenta cuatro pasos fundamentales: preproceso de datos, asignación y representación, interacción del usuario y análisis basado en modelo. Tipos de visualización Existen diferentes tipos de visualización que permiten resaltar diferentes aspectos del conjunto de datos a tratar. Grafos: El análisis de grafos es un aspecto que cada vez adquiere mayor importancia en ámbitos científicos y empresariales. Las nuevas formas de almacenar información masiva de manera interrelacionada llevan en muchos casos a estructurar la información en forma de grafos (Bases de Datos Orientadas a Grafos o BDOG). En este tipo de bases de datos la información se representa como nodos de un grafo y las interrelaciones vienen dadas por las aristas de dicho grafo. Esto tiene la ventaja de que la teoría de grafos puede ser aplicada en este tipo de bases de datos, hecho que para determinados tipos de consultas sobre cantidades masivas de datos puede ofrecer grandes mejoras de rendimiento. Las técnicas de Visual Analytics sirven para mostrar el conocimiento oculto en la enorme complejidad que pueden presentar cuando estos grafos cuentan con una cantidad masiva de datos. Para ello, las técnicas de reducción de grafos se hacen totalmente necesarias. Una vez aplicados estos algoritmos (muestreo estocástico de extremos, agrupamiento o clustering geodésico, filtrado basado en estructura, etc.), los grafos pueden ser representados gráficamente y mostrar la esencia de su estructura. Transformación Asignación Interacción del Usuario Refinamiento de parámetros Visualización del Modelo Construción del Modelo Visualización Datos Conocimiento Modelos Figura 1. Proceso de Visual Analytics. Información geoposicionada La visualización geoposicionada de los datos es otra de las técnicas ampliamente usadas en Visual Analytics. Mediante el uso de capas añadidas en la cartografía y la inserción de elementos gráficos para representar valores específicos (barras, graficas de tipo tarta, etc.) se pueden representar grandes cantidades de datos a nivel global. Para ello se introducen tecnologías de rendering 3D que permiten representar datos escalares, vectoriales o incluso volúmetricos. KDD, Descubrimiento de Conocimiento en Bases de Datos Esta disciplina une el mundo de la minería de datos con la visualización interactiva. Para ello se aplican diferentes métodos que extraen información relevante y tratan de encontrar patrones en grandes volúmenes de datos. Esta información se muestra en forma de representaciones o estructuras comprensibles para el usuario que de esta forma puede tener una rápida intuición acerca del problema que está tratando así como información cuantitativa acerca de las relaciones entre los diferentes datos, pautas de comportamiento del sistema etc. El estado del arte actual existen herramientas que resuelven los diferentes pasos requeridos en el proceso: u Modelos matemáticos y estadística (SAS, Matlab, R, Mathematica, SciLab, etc.) u Herramientas para visualización algorítmica (GraphViz, Pajek) u Herramientas visuales para data mining (Knime, Weka, Orange, RapidMiner, VizTree, etc.) Información espacio-temporal El tipo de información espacio-temporal es un tipo de contenido de un amplio uso en infinidad de aplicaciones. La necesidad de analizar la evolución de ciertas variables está en la base de cualquier predicción. De forma clásica, las referencias temporal y espacial han sido tratadas como cualquier otro dato numérico. Sin embargo, en muchos casos esto no permite un análisis válido de los resultados. Mientras que la información espacial puede tener un tratamiento más o menos directo en su representación gráfica (que también es espacial) la información temporal requiere de procesos de abstracción para que pueda ser visualizada. Los criterios principales para la representación de datos temporales son: u Tiempo lineal frente a tiempo cíclico. Existen fenómenos con un comienzo y un desarrollo que se representan adecuadamente mediante representaciones lineales. Sin embargo, muchos fenómenos suelen tener un comportamiento cíclico que se ajusta mejor a otro tipo de representaciones. u Puntos temporales frente a intervalos temporales: los muestreos discretos del tiempo son equivalentes a puntos discretos en el espacio euclideo. Los puntos temporales no tienen duración, mientras que los intervalos definen los datos dentro de una duración delimitada por dos puntos temporales. Tanto los puntos temporales como los intervalos suelen denominarse prmitivas. u Tiempo ordenado frente a tiempo ramificado frente a tiempo en múltiples perspectivas: El tiempo ordenado considera que los eventos ocurren de forma sucesiva. En el caso del tiempo ramificado, se pueden representar sucesos paralelos o diferentes posibildades derivadas de una decisión previa. Por último, representando el tiempo en múltiples perspectivas, se pueden mostrar diferentes puntos de vista de un mismo hecho. Campos de aplicación El procesamiento de Big Data y el tratamiento de Visual Analytics sobre el mismo está siendo y a aplicado a diversos sectores, desde procesos críticos en los que las herramientas de ayuda a la toma de decisiones resultan fundamentales como actividades en las que se pretende extraer el conocimiento implícito existente en el conjunto de datos. Desde un punto de vista científico, muchas disciplinas están orientando gran parte de su investigación a la generación y el estudio de datos. En astronomía y observación de la tierra, se dispone cada vez de más instrumentación y de mayor capacidad de generación de datos que se hace improcesable con los medios convencionales. Por ejemplo, el futuro telescopio LSST (Large Synoptic Survey Telescope) proveerá 30 Terabytes de imágenes cada día. Figura 2. Visor de datos meteorológicos desarrollado por Vicomtech-IK4. https://www.youtube.com/watch?v=Jz6YZI6pCV4 Algo similar sucede en muchas de las líneas de investigación relacionadas con la biología, medicina, genómica donde la generación de datos a nivel mundial ofrece un potencial enorme si se dispone de las herramientas adecuadas para relacionar por ejemplo efectos de correlación o causalidad entre factores de análisis y objetivos como enfermedades. Los modelos meteorológicos y medioambientales también tienen un potencial claro dentro de Big Data, ya que cuentan con fuentes de información a nivel mundial (millones de sensores en todo el mundo y satélites de observación de la tierra). Los nuevos modelos generados podrán realizar predicciones más precisas de los efectos provocados por las emisiones de CO2, fertilizantes, etc. En el ámbito más industrial, las tecnologías para Big Data pueden suponer un gran avance en el control de procesos que gracias al conocimiento generado a través de grandes cantidades de datos podrían mejorar rendimientos e incluso ofrecer información a-priori del estado de los procesos. Por ejemplo, gracias a la información recogida en líneas de producción de características similares a nivel mundial mediante sensores instalados a lo largo del proceso, se podrían encontrar nuevos factores que tengan una incidencia directa bien en la calidad del proceso o bien en la optimización del mismo. Modelos económicos basados en el análisis masivo de transacciones y parámetros financieros, tendencias de mercado detectadas gracias a la actividad en redes sociales, etc. son otros de los innumerables aspectos en los que Big Data y las tecnologías de Visual Analytics van realmente a revolucionar el futuro. Herramientas A día de hoy existe ya una gama amplia de utilidades (principalmente en la ayuda de toma de decisiones en situaciones críticas) es una de las herramientas fundamentales para la creación de valor sobre Big Data. En este sentido, además de las herramientas de procesamiento, son totalmente necesarios sistemas de visualización avanzada e interfaces que permitan interactuar con la propia visualización. La llegada de HTML-5 ha impulsado la aparición de un gran número de herramientas de visualización web adecuadas para la visualización científica y Visual Analytics. Entre ellas destacan D3.js, Processing.js, dc.js, arbor.js, BirdEye (Desarrollado sobre Adobe Flex.)etc. También existen herramientas específicas para tipos de análisis específico. Entre ellos, podemos encontrar soluciones como Jigsaw2 para el análisis de grandes colecciones de documentos. Conclusiones Big Data es un concepto con un gran potencial que ya empieza a tener una importante difusión pero aún el potencial del concepto no ha sido todavía explorado en su totalidad. Son muchos los nuevos campos y oportunidades que se abren en torno a este mundo. Es en la capacidad de analizar la gran cantidad de información que nos ofrece el Big Data donde las herramientas avanzadas de visualización son y serán un factor clave en el éxito del desarrollo de estas tecnologías.3 Notas 1 Keim D., Andrienko G., Fekete J.-D.,Görig C.,, Kohlhammer J., Melancon G.: Information Visualization vol. 4950 Lecture Notes in Computer Science. Springer. 2008. Visual Analytics, Definition, Process and Challenges. 2 http://www.cc.gatech.edu/gvu/ii/jigsaw/ Figura 3. Representaciones visuales diferentes de una serie temporal. a) Coordenadas cartesianes con el tiempo en x. No es fácil observar el comportamiento cíclico. b) Gráfica en espiral con un ciclo de 27 días (parametrización incorrecta). c) Gráfica en espiral con un ciclo de 28 días. El carácter cíclico se hace evidente. A B C
30 oct 2015