BIG DATA Monográfico n un solo día el mundo intercambia 145 mil millones de mails, en Twitter se generan 500 millones de mensajes, en Facebook se comparten 4 mil millones de elementos, en Flickr se cuelgan 4,5 millones de fotografías… ¿Qué ocurrirá si se cumplen las predicciones y en 2020 tenemos más de 50.000 millones de dispositivos conectados a la red? Volúmenes ingentes de información que debe ser almacenada, procesada y que debe estar disponible para la toma de decisiones. Si la información es poder ¿qué importancia tiene extraer conclusiones de toda esa información recibida? Los resultados derivados, como suele suceder en tecnología, son aún difíciles de discernir. ¿Cómo contribuye el análisisde la informaciónproporcionadapor sensoresmeteorológicosparapredecir catástrofes naturales?¿Qué aportaciones puede hacer el procesamiento de la información médica para unmejor diagnóstico de enfermedades?¿Cuánto podría ahorrar unAyuntamiento que tuviera información detallada de los hábitos de los ciudadanos en la prestación de servicios públicos? En un entorno de creciente competitividad ¿serán las compañías que apliquen técnicas de procesamiento de datos lasmás competitivas al poner en elmercado sus productos o servicios? Según Eric Schmidt, CEO de Google, cada dos días se generan cinco Exabytes de datos, lo cual corresponde al total de información creada desde el origen de la tierra hasta el año 2003. IDC indica que hasta 2015 el crecimiento de Big Data será siete veces superior al de la media de todo el sector TIC y, según un estudio reciente de Gartner, creará 4,4 millones de puestos de trabajo TIC en todo el mundo, un área de trabajo interesante para un teleco. Nos acercamos al concepto de Big Data, a los factores que propician su explosión, a las tendencias fundamentales y al perfil de losprofesionalesque surcaránel“mar de datos”. E 119933 junio 2013 39 n la década de los ochenta la revolución informática llevó el PC a los hogares. En la década de los noventa se vivió la revolución de Internet. El siglo XXI nos trajo la revolución de la web 2.0. Ahora, en esta segunda década del 2.000, estamos asistiendo a una nueva y apasionante revolución, la de los datos. En este primer artículo del monográfico, la autora analiza el concepto de Big Data y repasa alguno de los paradigmas que están íntimamente asociados al mismo. Big Data es, desde mi punto de vista, una industria más dentro de amplio espectro del mundo de los datos. Big Data tiene que ver con grandes volúmenes de datos. Michael E Driscol (@medriscoll)(1) considera que más de 1 TB es considerado Big Data. Para Zvi Avraham (@nivertech) fundador de israelí Zadata(2), Big Data es todo el data que supera el “normal” gigabyte. E Big data no es un concepto nuevo, desde hace más de una década se habla de los océanos de información. Ahora el término se ha hecho popular debido, en gran medida, a Internet y la web social, a la ingente cantidad de información que la humanidad está generando cada segundo en la Red. Pero la revolución de datos es un fenómeno mucho más extenso y profundo. Es un fenómeno que tiene que ver con sensores, Internet, Cloud Computing, smarphones, antenas de telefonía, transacciones bancarias, robótica, inteligencia artificial, reconocimiento de voz, visualizaciones de datos, open data, gobierno abierto, periodismo de datos y muchas cosas más. Innovaciones que están transformando, lentamente pero de forma implacable, el mundo que vivimos. Y, de nuevo, el ciudadano es el protagonista. Ley de Moore y Ley de Bell El momento tecnológico actual es el resultado de una serie de acontecimientos que, de una u otra manera, están propiciando el cambio. Y, sin duda, el descenso de precios es la nota dominante en este cambio de rumbo. Se cumple la Ley de Moore (1965) y la de Ley de Bell (1972). Para Moore los precios bajan al mismo tiempo que las prestaciones suben. Para Gordon Bell cada década emerge un nuevo tipo de ordenador que divide por cien el precio de la potencia de procesamiento. Hace diez años, secuenciar el genoma humano costaba un billón de dólares, hace unos meses la empresa Life Technologies presentó su herramienta The Ion Proton, capaz de secuenciar el genoma humano completo, en un día, por 1.000 dólares. Los analistas estiman que los precios seguirán bajando y en unos años se podrá obtener el perfil genético de una persona por unos cientos de dólares. Este drástico abaratamiento de precios incide especialmente en el auge de una industria que, hasta el momento, había pasado desapercibida para la mayoría, la de los sensores. Los sensores son la base de la nueva sociedad de la inteligencia y una de las mayores fuentes de datos. 40junio 2013 119933 Monográfico BIG DATA En la década de los ochenta la revolución informática llevó el PC a los hogares. En la década de los noventa se vivió la revolución de Internet. El siglo XXI nos trajo la revolución de la web 2.0. Ahora, en esta segunda década del 2.000, estamos asistiendo a una nueva y apasionante revolución, la de los datos. En este primer artículo del monográfico, la autora analiza el concepto de Big Data y repasa alguno de los paradigmas que están íntimamente asociados al mismo. La revolución de los datos:sensores e Internet de las Cosas Soraya Paniagua Consultora tecnológica @sorayapa sorayapaniagua.com En diciembre de 2012, Bernard Meyerson, director de innovación de IBM escribía lo siguiente: “Procesar señales y sonidos requiere de ojos, orejas, lo más importante, de cerebro, ¿correcto? Pero ¿Qué pasa cuando tienes hardware compartiendo tus sentidos? En la era de la computación cognitiva los sistemas aprenden en vez de esperar pasivamente la programación. Como resultado las tecnologías emergentes continuarán empujando las limitaciones humanas para mejorar y aumentar nuestros sentidos con machine learning, inteligencia artificial (AI), reconocimiento de voz y mucho más. No hay necesidad de llamar a Superman cuando tenemos verdaderos super sensores a mano” (Fuente: I.B.M dedicated its Five in Five series)(3) La industria de los sensores ha experimentado un desarrollo espectacular. El descenso de precios, el bajo consumo y la capacidad de conexión (Wifi, Bluetooth, RFID o ZigBee) dieron paso a las redes inalámbricas de sensores. Pero la reciente combinación de sensores y Cloud Computing nos ha traído un nuevo paradigma tecnológico que está propiciando la aparición de empresas tremendamente creativas y rompedoras. Hablamos de Internet de las Cosas. Pero veamos, detenidamente, cómo han evolucionado las redes inalámbricas de sensores (wireless sensor networks, WSN). Redes de sensores Ya en 1999 la revista Business Week citaba las redes de sensores como una de las más importantes tecnologías del siglo XXI. Dispositivos inteligentes y baratos con múltiples sensores conectados en red a través de enlaces inalámbricos que, desplegados a gran escala, proporcionarían oportunidades sin precedentes para la instrumentación y el control de casas, ciudades, medio ambiente, sistemas de defensa o nuevas capacidades de reconocimiento y vigilancia. Los sensores inteligentes se pueden desplegar en la tierra, en el aire, bajo el agua, en los órganos, en vehículos o en edificios. Como ocurrió con otras tecnologías, la evolución de las redes de sensores se debe a la industria militar. Durante la Guerra Fría, la Armada de los EEUU desplegó el Sistema de Vigilancia de Sonido (SOSUS en inglés), un sistema de sensores acústicos (hidrófonos) en el fondo del océano que permitía detectar y seguir a los submarinos soviéticos. También durante la Guerra Fría se desplegaron las redes de radares de defensa aérea en Estados Unidos y Canadá. Las investigaciones modernas en torno a las redes de sensores comenzaron con el programa Distributed Sensor Networks (DSN) de la agencia DARPA. En ese momento Arpanet ya llevaba funcionando varios años. Robert E. Kahn, co-inventor de los protocolos TCP / IP, era el director de IPTO en DARPA y quería saber si el enfoque Arpanet de comunicación podría aplicarse a redes de sensores. Fue en 1980 cuando se demostraron las tecnologías DSN, el banco de pruebas fueron aviones, de vuelo bajo, que eran seguidos con éxito mediante sensores acústicos y cámaras de televisión. Era un proyecto ambicioso teniendo en cuenta la tecnología existente. Estamos hablando de una época anterior a los ordenadores personales. Ya en el nuevo siglo, de nuevo DARPA puso en marcha otro proyecto de investigación que permitió aprovechar los últimos avances tecnológicos, se llamó SensIT(4) . Este programa desarrolló por un lado nuevas técnicas de redes (despliegue rápido, ad hoc y en ambientes muy dinámicos) y por otro el procesamiento de la información. Por ejemplo, cómo extraer información útil, fiable y al momento de la red de sensores desplegados. Paralelamente la IEEE hizo ver las enormes posibilidades de las redes de sensores y, sobre todo, su bajo coste. La organización definió el estándar IEEE 802.15.4 que especificó el nivel físico y el control de acceso a redes inalámbricas de área personal con tasas bajas de transmisión de datos. Basado en el estándar IEEE 802.15.4. En 2004 la ZigBee Alliance BIG DATA Monográfico 119933 junio 2013 41 La Nube es otro de los grandes acontecimientos tecnológicos de este nuevo siglo y factor clave para entender la actual revolución de los datos. “ Monográfico BIG DATA 42junio 2013 119933 publicó el estándar ZigBee, un conjunto de protocolos de comunicación de alto nivel que pueden ser utilizados por redes inalámbricas de sensores. En 2003 empresas como Ember (impulsores de ZigBee), Crossbow o Sensoria ya estaban creando y desplegando pequeños nodos de sensores y sistemas. Una red inalámbrica de sensores son nodos de sensores distribuidos espacialmente. Cada nodo sensor es capaz de realizar de forma independiente algunas tareas de procesamiento y detección. Por otra parte, los nodos sensores se comunican entre sí con el fin de enviar su información detectada a una central de procesamiento o realizar algún tipo de coordinación local, tales como la fusión de datos. Una plataforma de nodo sensor ampliamente utilizada es la Mote Mica2 desarrollada por Crossbow. Los componentes de hardware habituales de un nodo sensor incluyen un transceptor de radio, un procesador embebido, memorias interna y externa, una fuente de alimentación y uno o más sensores. (Sensor Networks: Evolution, Opportunities, and Challenges(5) (2003) / Wireless Sensor Networks - An Introduction(6) (2010).) En 2007 la Universidad de California se convirtió en el banco de pruebas para conectar sensores inalámbricos y cámaras a Internet. Startups como Dust Networks y Rock Corp se lanzaron al desarrollo de nodos inalámbricos baratos y fiables.(Wireless sensors extend reach of Internet into the real world) (7) En 2009 Werner Kursch(8) y Wolfgang Beer(9) en “Combining cloud computing and wireless sensor networks(10)” hablan de un nuevo paradigma para los sistemas de software basados en Internet, el llamado Cloud Computing. “La Nube provee capacidad de procesamiento escalable y varios tipos de servicios conectables. Dado que las redes inalámbricas de sensores están limitadas en su capacidad de procesamiento, duración de la batería y la velocidad de la comunicación, la computación en la nube ofrece todo lo contrario… lo cual es muy atractivo ya que la infraestructura básica es la misma”. Cloud Computing Actualmente Cloud Computing es, sin duda, la solución idónea para las redes de sensores inalámbricas. Permite que sistemas y personas puedan usar Plataformas como Servicio (PaaS), por ejemplo, Sistemas Operativos, Infrastructura como Servicio (IaaS), por ejemplo, almacenamiento y servidores y Software como Servicio (SaaS), por ejemplo aplicaciones a nivel de programación, a precios muy bajos. Básicamente porque los sensores son capaces de hablar con la Nube directamente y con nuestros smartphones. En España hay una serie de startups que están realizando un gran trabajo en este campo. A nivel internacional la más conocida es la aragonesa Libelium. Desde el País Vasco Farsens está desarrollando sensores digitales de mínimo consumo. La granadina Cilab focalizada en la gestión urbana o la extremeña panStamp que se sitúa dentro del movimiento Maker. Cloud Computing lo está cambiando todo. La Nube es otro de los grandes acontecimientos tecnológicos de este nuevo siglo y factor clave para entender la actual revolución de los datos. Este modelo de arquitectura fue proclamado por George Gilder en su artículo de octubre 2006 en la revista Wired titulado «Las fábricas de información» Gilder escribe: “Hoy en día Google administra una base de datos total de cientos de petabytes, incrementada cada 24 horas por terabytes de Gmails, páginas de MySpace, y vídeos de perritos bailando (un incremento diario, cada uno de ellos mayor que toda la Web de hace una década). Para que todo esto tenga sentido, Page y Brin (con Microsoft, Yahoo, y Ask.com de Barry ‘QVC‘ Diller pegados a sus talones) están frenéticamente transforBIG DATA Monográfico 119933 junio 2013 43 mando el “ordenador-en-un-chip” y multiplicándolo, en masivas matrices paralelas, en un “ordenador-enun- planeta. Los centros de datos que están construyendo estas compañías empezaron como un ejercicio para hacer localizable la ingente cantidad de datos generados por todo el planeta, ahora… están metamorfoseándose en plataformas de procesamiento de propósito general, infinitamente más potentes que cualquiera de las construidas con anterioridad. En la era del PC, las triunfadoras fueron las compañías que dominaron el microcosmos del chip de silicio. La nueva era del petaprocesamiento estará dominada por los amos de los centros de procesamiento de datos remotos.”(Artículo traducido) (11). La Computación en la Nube es un concepto que incorpora el Software como Servicio, (SaaS, la Web 2.0), Plataforma como Servicio (PaaS, Google App Engine o Windows Azure) o Infraestructura como Servicio (IaaS), un medio de entregar almacenamiento básico y capacidades de cómputo como servicios estandarizados en la red. Sin duda es Amazon Web Services es el IaaS más popular actualmente. Internet de las Cosas La Nube, los sensores, el nuevo protocolo IPV 6, el hardware libre y los smartphones están impulsando el desarrollo de una nueva industria llamada Internet de las Cosas (Internet of Things IoT). En diciembre de 2012, en TEDxKTH, Kristina Höök, profesora y miembro del Instituto Sueco de Ciencias de la Computación, decía lo siguiente: “Lo que soñábamos los investigadores en los 90 se llamaba de diferentes formas: computación ubicua, M2M inteligence … y lo que soñábamos era que cada objeto con capacidad natural pudieran hablar con otros objetos, por ejemplo un refrigerador capaz de comunicar sobre las existencias de productos (…) Pero esta visión ha cambiado, ha cambiado debido a la Nube. Internet de las Cosas va sobre conectar cosas dentro de la Nube y muchas veces a través de la interacción con los dispositivos móviles”. En este punto es interesante revisar la diferencia entre M2M e Internet de las Cosas. En una interesante discusión pública en Quora(12) iniciada por Nick Gall, Analista de Gartner. Según Gall M2M es la tecnología que permite a las máquinas (generalmente pequeños sensores computables) realizar tareas específicas (inteligencia) para comunicar o transferir información a través de protocolos simples, o de Internet. Pero Internet de las Cosas es mucho más, es interactuar con los objetos que nos rodean, incluso objetos estáticos no inteligentes, y aumentar esa interacción con contexto, por ejemplo la geolocalización. Los objetos no inteligentes pueden llevarse a Internet de las Cosas a través de un teléfonos inteligentes que actúa como puerta de acceso a Internet. Se trata, por ejemplo, de interactuar con códigos de barras, códigos QR, RFID o NFC. Con M2M la comunicación entre máquinas es a través de IP en red inalámbrica o por cable. Así, M2M es una subárea de Internet de las Cosas. Otro punto de vista nos lo aporta el creador de Pachube (actualmente Cosm) Usman Haque. Habla de la transición desde los “silos de datos” a los datos abiertos y alertaba a las empresas de su importancia. “En las últimas décadas hemos vivido el fenómeno conocido como máquina a máquina (M2M). En esta situación lo que haces es desplegar una cadena de sensores que se pueden monitorizar. Por ejemplo puedes instalas sensores en una red de tuberías de petróleo o en un sistema eléctrico con una pequeña idea fija de lo que vas a hacer con esos datos… Por tanto, tú eres el dueño de los datos y no la gente, los usuarios finales de esos sistemas de energía. En Internet de las Cosas tú no sabes quién va a usar los datos que son generados por los aparatos. No sabes quién va a descubrir el valor de Monográfico BIG DATA 44junio 2013 119933 esos datos… De forma efectiva esto es una transición desde lo que se ha conocido como “silos de datos” a “datos abiertos”. Pero esto no significa necesariamente que sean datos públicos, significa que los datos generados por biosensores, monitores de energía, sensores de polución… están abiertos para ser usados en otros contexto. Y eso es para mí la diferencia cualitativa con el concepto anterior”. (Conferencia Strata, marzo de 2012. Video en Youtube(13)). El 8 de junio de 2011 se adoptó, a nivel mundial, el nuevo protocolo IPv6 . Lean lo que dice Steven Leibson: “Podríamos asignar una dirección IPv6 a cada átomo en la superficie de la tierra y aún así tener suficientes direcciones para hacer otras 100 tierras más.“ La adopción de IPv6 nos hace ver un mundo donde cada objeto físico puede estar conectado a Internet y ser capaz de comunicarse con todos los demás objetos. En 2005, en el Instituto italiano de Ivrea coincidieron Massimo Banzi(14). y español David Cuartelles(15). , ambos crearon Arduino y básicamente popularizaron el hardware libre. Arduino es la plataforma más rápida y sencilla para crear prototipos de proyectos, tanto de hardware como de software. A principios de 2011 ya se habían vendido 40.000 unidades de la versión Arduino USB. Según Cuartielles: “Arduino es una plataforma abierta con toda una serie de documentación que permite la creación de nuevos dispositivos conectados que sirven o recopilan datos de la manera más significativas para nosotros. Incluye el hecho de que no es necesario ser ingeniero para imaginar un nuevo producto”. (blog de DCuartielles(16) ) En mayo de 2011, Google lanzó su Kit de Desarrollo de Accesorios basado en uno de los diseños de Arduino. Ahora el hardware llega al ciudadano, cualquier persona con una serie de conocimientos básicos es capaz de crear objetos inteligentes. Con Internet de las Cosas, la creatividad parece no tener límites, hay todo tipo de proyectos desde satélites hasta tenedores inteligentes que miden la velocidad a la que comemos. Pueden ver algunos buenos ejemplos en la web Postscapes o los más vanguardistas en la plataforma de crowdfounding Kickstarter. En España están surgiendo más startups situadas en el terreno de las plataformas de datos como Cubenube o Wairbut. En el ámbito de los objetos conectados destaca la empresa bilbaina Symplio que dirige sus productos al entretenimiento y el merchandising. El movimiento Maker Pero volvamos a Arduino porque es el protagonista de otra innovación rompedora, hablamos de las impresoras 3D y del movimiento Maker. En 2005 el profesor Adrian Bowyer(17) puso en marcha el proyecto RepRap, en la universidad inglesa de Bath, con el objetivo de crear una impresora 3D de bajo coste que, además, pudiera auto-replicarse. Lo hizo con Arduino. La impresión 3D puede marcar el tránsito desde la producción industrial a un modelo de manufactura personal. Actualmente es posible montar una impresora 3D por menos de 500 €. En torno a RepRap están surgiendo hackerspaces o fablab donde la gente se reúne para crear máquinas, para aprender y colaborar. Se trata del movimiento Maker. En este nuevo mundo de objetos conectados, nuestro smartphone se convierte en la plataforma que va a permitir el control todos esos objetos. Pero, además, un Smartphone es un dispositivo lleno de sensores, que dispone de cámaras, conexión a Internet y capacidad de geolocalización. El ciudadano se erige como gran productor, distribuidor y consumidor de datos. Una revolución El ciudadano juega un papel protagonista en esta nueva revolución de los datos. A través de objetos inteligentes, BIG DATA Monográfico 119933 junio 2013 45 la gente puede emitir información constante y valiosa sobre su propio cuerpo o el mundo exterior. En el campo de la salud es donde estamos viendo los mayores avances e impacto. No es extraño que IBM considere que las tecnologías que cambiarán el mundo, en los próximos cinco años, serán las que permitan a los sensores imitar los sentidos humanos: seremos capaces de tocar a través de un teléfono. Un pixel será tan valioso como cientos de palabras. Los ordenadores escucharán lo que importa, las papilas gustativas digitales nos ayudará a comer más sano y los ordenadores tendrán sentido del olor. Será necesario gestionar una gran cantidad de información. Big data está llamado a tener un papel importantísimo en el futuro. Actualmente se están sentando las bases de lo que será la tercera revolución de Internet. Los datos de los sensores, de los satélites, las grabaciones de vídeo, Internet, etc, combinados de forma eficaz, procesados y analizados con las tecnologías de Big Data van a extraer muchísima inteligencia.3 Notas: 1 Michael E Driscol (@medriscoll) (https://twitter.com/medriscoll) (@nivertech) fundador de israelí 2 Zadata (https://twitter.com/nive rtech) 3 I.B.M dedicated its Five in Five series 4 SensIT (http://isif.org/fusion/proceedings/fusion01CD/fusion/searche ngine/pdf/TuC11.pdf) 5 Sensor Networks: Evolution, Opportunities, and Challenges (http://www.ics.uci.edu/~dsm/ics280sensor/readings/intro/chong.pdf) 6 Wireless Sensor Networks - An Introduction (http://cdn.intechopen.com/pdfs/12464/InTech-Wireless_sensor_networks_an_introduction.pdf) 7 Wireless sensors extend reach of Internet into the real world http://usatoday30.usatoday.com/tech/wireless/data/2007-02-12- wireless-sensors_x.htm) 8 Werner Kursch (http://dl.acm.org/author_page.cfm?id=813124 81601&coll=DL&dl=ACM&trk=0) 9 Wolfgang Beer (http://dl.acm.org/author_page.cfm?id=81363602 963&coll=DL&dl=ACM&trk=0) 10 Combining cloud computing and wireless sensor networks https://dl.acm.org/citation.cfm?id=1806435) 11 La nueva era del petaprocesamiento estará dominada por los amos de los centros de procesamiento de datos remotos.” 12 discusión pública en Quora (https://www.quora.com/Internet-of-Things/Whats-the-difference-between-the-Internet-of-Things-IoTand-Machine-to-Machine-M2M) 13 Conferencia Strata, marzo de 2012. Video en Youtube https://www.youtube.com/watch?feature=player_embedded&v=oO3m7r_p2sc) 14 Massimo Banzi (https://twitter.com/mbanzi) 15 David Cuartelles (https://twitter.com/dcuartielles) 16 Blog de DCuartielles (http://david.cuartielles.com/b/2012/02/arduino-in-the-internet-of-things-for-media-evolution/) 17 Profesor Adrian Bowyer (https://twitter.com/adrianbowyer)