Artículo BIT
BIG DATA. Big Data: Las oportunidades profesionales que vienen
Tradicionalmente, las organizaciones han tenido grandes dificultades para crear, manipular y manejar grandes cantidades de datos. Y, por extensión, esto ha sido una gran problemática en el análisis de negocio: obtener de los datos -generalmente, a tiempo y procedentes a la vez de diversas fuentes de datos- información realmente valiosa estratégicamente hablando para tomar acciones inmediatas o predecir futuras situaciones. Por ejemplo, porque las herramientas y procedimientos que se utilizaban hasta entonces no estaban diseñados para buscar y analizar masivos conjuntos de datos, y mucho menos utilizar varias fuentes de las que obtener patrones “escondidos”, correlaciones desconocidas, etc. Y precisamente esos volúmenes de datos no hacen más que crecer, especialmente “alimentados” por el crecimiento las redes sociales y de los smartphones, hasta el punto de llegar a preocupar a los proveedores de servicio de Internet. Sin embargo, en los últimos tiempos, el sector TIC (Tecnologías de la Información y la Comunicación) ha experimentado un gran auge en lo que se refiere a soluciones que resuelvan esas limitaciones, dando lugar a Big Data, la cual realmente comprende desde la captura de grandes volúmenes de datos “brutos”, pasando por el almacenamiento y consulta masiva de los mismos, hasta el procesamiento para obtener precisos perfiles de entidades -normalmente, cliente/usuario final- con los que llevar a cabo acciones concretas y precisas. Cronológicamente, grandes empresas y multinacionales han sido las primeras en usar esta idea como una base sólida en la que sostener y mejorar algunos o todos sus modelos de negocio. Y esa es una tendencia que se está expandiendo irremediablemente, que de hecho, supone una importante oportunidad para los departamentos TI de cualquier organización así como para sus profesionales, y es importante conocer cualitativamente esa oportunidad, especialmente para un sector como el TIC que va mejor resistiendo el impacto de la crisis comparado con otros mercados. En cualquier caso, para entender las oportunidades profesionales que se brindan, es interesante analizar Big Data previamente desde varios planos diferentes: a partir de la tecnología de implementación, como producto o solución de mercado, y como un sistema de procesamiento y análisis de datos propiamente dicho. Tecnología A nivel de datos, inicialmente, las organizaciones apostaron por Sistemas de Gestión de Bases de Datos (SGBD) usando información estructurada y relacional, con idea de conseguir una información histórica de la cual “aprender”. Monográfico BIG DATA Dentro de la Era de la Información en la que actualmente se está inmerso, es importante conocer cómo afecta para las organizaciones, del tipo que sean, disponer del conocimiento que le ayude a tomar decisiones valiosas estratégicamente hablando. Esta influencia de dicho conocimiento ha llevado al auge de Big Data como una “receta” al problema de la creación y manipulación de grandes cantidades de información, y que obviamente necesita de nuevos profesionales cualificados que puedan ponerla en práctica. En principio, para tomar una buena perspectiva, es necesario hacer un análisis previo de Big Data desde varios planos diferentes: a partir de la tecnología de implementación, como producto o solución de mercado, y como un sistema de procesamiento y análisis de datos propiamente dicho. Una vez asimilado ese análisis, será fácil entrever los roles necesarios -ya existentes y específicamente nuevos- para poner en práctica cualquier solución de este tipo, mostrando las oportunidades profesionales existentes y futuras. Big Data: las oportunidades profesionales que vienen José Manuel Vega Monroy Ingeniero de Telecomunicación @j_m_vega_monroy Así, en cierto modo, Big Data se podría entender como una especie de evolución natural de los SGBDs particularizados para grandes e ingentes volúmenes de datos. Pero este nuevo enfoque requiere de una tecnología que no solo trate de obtener esa información histórica, si no de obtener información actual que cumpla las 4 V’s: u Volumen u Variedad: Trabajar con datos multi-estructurados: cadenas de texto, documentos de todo tipo, archivos de vídeo y sonido, metadatos, imágenes, páginas web, emails, información procedente de redes sociales, datos de formularios, información de geo-localización, etc. u Velocidad: Ser capaz de analizar rápidamente -o en tiempo real- para poder captar cambios en los datos, y obtener el valor asociado correspondient. u Veracidad Sin embargo, en la actualidad, no existe una tecnología estándar de facto -aunque muchas veces se suela asociar con Hadoop- ya que como concepto, Big Data es demasiado complejo y versátil como para tener una única solución. Solución de mercado: Tal como ya se ha comentado, para muchas organizaciones tratar de obtener información de clientes, productos, campañas, operaciones, mercados y competidores a través de sensores, dispositivos y terminales -por ejemplo, smartphones-, es vital a la hora de tomar decisiones importantes y realmente valiosas. Y especialmente, tomar esas decisiones a tiempo, dada la gran competencia feroz existente en la mayoría de mercados. Por ejemplo, una de las claves del éxito de Zara ha sido ser de los primeros en detectar la necesidad de los clientes de ser ágil logísticamente hablando: reponer con nuevos productos a cada tienda dos veces por semana, sin atarse a una colección de temporada (es lo que algunos llaman concepto fast fashion). Procesamiento y Anásisis de datos: En los inicios, Internet se utilizó como un medio de “inundar” de información sin ningún criterio, causando muchas veces “fatiga” en el cliente/usuario final: spam, banners de publicidad, etc. Y sin realizar ningún análisis y procesamiento posterior, que arrojase un feedback del que basarse para actuar. Sin embargo, la tendencia que se inició con realizar simples cuestionarios o formularios a clientes/usuarios potenciales, ha derivado con Big Data en analizar datos para crear perfiles muy específicos de los mismos. Incluso que esos perfiles puedan variar dinámicamente en el tiempo, prácticamente en tiempo real, y así poder anticipar y captar cambios de gustos, disponer de una publicidad dinámica por perfil, mostrar contenidos “a la carta”, permitir contenidos patrocinados por terceras empresas, predecir futuros comportamientos ante la aparición de un nuevo producto, etc. De hecho, a diferencia de otros sistemas de datos, dicho análisis debiera tratar de ser principalmente proactivo: partiendo de diferentes fuentes de información muy variadas y no correlacionadas, analizar y obtener predicciones lo más rápido posible, incluso en tiempo real, sin tener que esperar a que ocurra un determinado evento. Por ejemplo, una caja negra de avión, en un solo viaje, genera y almacena más de 150 Tbytes de datos, los cuales no son información relevante en la mayoría de los casos, y por lo cual no se analizan normalmente, excepto a posteriori cuando sucede un accidente. Si por un momento se pudiera procesar esa información en tiempo real, se podrían tomar decisiones en pleno vuelo que podrían ayudar a evitar muchos de los accidentes, como un sistema de seguridad proactivo. Es decir, con adecuadas herramientas de análisis, poder obtener información realmente cuando se necesite, y reducir la latencia entre que ocurre un determinado evento de datos y los posteriores procesos de análisis y actuación sobre sus datos. Y no sólo eso, dar la posibilidad de realizar análisis de distintos tipos (sintácticos, semánticos, sentimentales, etc.) que lleven a obtener patrones realmente valiosos sobre Monográfico tendencias de consumo, intereses de usuarios, prevención de fenómenos, etc. Oportunidades profesionales El sector TIC en general se ha caracterizado por altas tasas de innovación, progreso tecnológico y productividad, así como por presentar un gran volumen y una tipología muy diversa en lo que se refiere a los profesionales implicados en el mismo. Lógicamente, Big Data no es una excepción, y tras el análisis, se deduce que hay una creciente necesidad de profesionales TI de alta cualificación con habilidades específicas, y con la necesaria creatividad para aprovechar plenamente el potencial de los datos obtenidos. En este punto, las organizaciones tendrán que formar adecuadamente a esos profesionales, incluyendo aquellos nuevos roles que surgen específicamente: Rol “científico-tecnológico”: Para crear el ecosistema de Big Data, es decir, todas las infraestructuras y aplicaciones necesarias para su funcionamiento, se requiere el rol “científico-tecnológico”, que comprende perfiles desde administradores de datos hasta administradores de red, pasando por desarrolladores de software. Los “clásicos” administradores de bases de datos podrían adaptarse rápidamente, siempre y cuando se realizase la adecuada reconversión a la correspondiente tecnología. Por ejemplo, se requeriría dejar de “pensar” en las típicas tablas relacionales de las bases de datos más populares (MySQL, Oracle), y comenzar a utilizar el concepto de ficheros de gran tamaño sobre los que Big Data “vuelca” la información. A nivel de red, históricamente los SGBDs estaban basados en un único servidor de muy buenas prestaciones -potencia y recursos-, pero la tendencia de los últimos años ha sido crear arquitecturas basadas en más de un servidor, al estilo y semejanza de los multiprocesadores con varios núcleos capaces de trabajar como un único procesador de mayores prestaciones. Big Data continúa esa tendencia, recurriendo a arquitecturas clúster tipo anillo o similares con equipos de prestaciones menores -y por tanto, menos costosos- que trabajan de forma distribuida, buscando tener un cierto grado de alta disponibilidad. Por último, los desarrolladores de software deberían crear herramientas y soluciones software que permitan acceder, analizar y procesar los datos “brutos” de la forma que sea necesaria en cada momento. Existen soluciones open source para tal fin, y que están liderando la adaptación a Big Data dado que ayudan a que la colección y análisis de datos sea realice a menor coste. Rol “científico de datos”: Siempre que se requiera analizar y procesar la información para convertirla en conocimiento, se tendráque recurrir a un rol “científico de datos”, es decir, aquel encargado de transformar los datos en “bruto” a información en un primer paso, y que luego sea capaz de comunicar los resultados de una manera creativa y visual, añadiendo un análisis con conclusiones sobre el posible impacto en el negocio del que proceden dichos datos. Lógicamente, los perfiles que mejor se adaptarían serían aquellos con una componente científica, tales como ingenieros y matemáticos. Rol “especialista en negocios”: Dentro de cualquier organización que disponga de líneas de negocio, se requiere de personal con conocimientos de economía, tanto del funcionamiento de mercados como de marketing, y en el caso de Big Data, que aporten las “preguntas” correctas necesarias que por ejemplo ayuden a conformar el verdadero conocimiento para su organización una vez que ésta dispone ya de una base de información sólida. Conclusiones En definitiva, a medida que se vayan adaptando soluciones Big Data en las organizaciones, van a ir apareciendo y ser demandadas más intensivamente oportunidades profesionales, para aquellos que sean capaces de entender lo que supone una solución de este tipo para una organización, sus retos, y cómo manejar y aprovechar la ingente cantidad de información que es generada cada día.3
30 oct 2015