Big Data

Stacks tecnológicos de Big Data: cómo se integra Big Data en las empresas

Para entender cómo se integra el Big Data en las empresas es imprescindible aclarar qué es un stack tecnológico. Gorka Atienza, Key Account Manager de Strategy Big Data, nos lo explica en profundidad.

Por Redacción España, el 11/11/2021

auto ¿Te ha gustado nuestro artículo? ¡Vota!

Los stacks tecnológicos son una combinación de lenguajes de programación, frameworks y herramientas que se utilizan para construir una aplicación.

Hablamos de tecnologías y lenguajes de programación integradas en arquitecturas únicas. Esto quiere decir que cada empresa requerirá uno o varios stacks tecnológicos en función de sus necesidades.

Por lo tanto, no podemos hablar de "herramientas de Big Data" como si de aplicaciones de Office se tratara. Cada tecnología sirve para una cosa y es el conjunto de las mismas el que da coherencia a una arquitectura Big Data.

Veámoslo con detenimiento.


¿Qué es un stack tecnológico?

En el desarrollo de apps por ejemplo, los stacks tecnológicos se dividen en dos partes: server-side (back-end) y client-side (front-end).

Las tecnologías que componen el back-end incluyen sistemas operativos, lenguajes de programación y frameworks. Un ejemplo de stack tecnológico popular sería MEAN Stack, un framework de desarrollo de código abierto que incluye MongoDB, Express, Angular y Node.JS.

Por su parte, el front-end compone la interfaz visual. Pueden ser sitios web, aplicaciones… Sus lenguajes de programación son bastante más simples que los de back-end.

Las arquitecturas Big Data comprenden también los stacks de desarrollo de apps para la disponibilidad y consumo de la información. Stacks como, por ejemplo, ELK (Elasticsearch, Logstash, Kibana) nos permiten el tratamiento de información masiva de logs de distintas fuentes, su almacenamiento y visualización.


Profundizando en stacks tecnológicos con Gorka Atienza

Los equipos de Big Data utilizan y adaptan stacks tecnológicos para cada proyecto con las tecnologías adecuadas. Por lo general, son procesos iterativos y, a menudo, se van agregando herramientas y servicios nuevos para nuevas funcionalidades y casos de uso

De todo ello hablamos con Gorka Atienza, Key Account Manager de Strategy Big Data, el socio tecnológico de B12 Admark.


Pregunta: A menudo se engloba a Apache Hadoop, Storm, Spark, Elasticsearch, MongoDB, etc. bajo el epígrafe de "grandes herramientas de Big Data". Lo cierto es que no son alternativas a una misma solución. ¿Se pueden entender por separado las tecnologías de Big Data?

Respuesta: "No exactamente. Todas estas tecnologías son susceptibles de formar parte de lo que conocemos como stack tecnológico. Cada una es diferente y tiene una función determinada.

La mayor parte está basada en software libre. Esto significa que tienen una capacidad de desarrollo asombrosa y son asequibles. Es decir, están ahí, pero para montar el puzzle hay que saber cómo funciona cada pieza y adaptarlo a tu realidad".


"Cada tecnología del stack nos permite gestionar la información de diferente formas".


"Por ejemplo, Elasticsearch nos permite buscar fragmentos de texto entre gran cantidad de información y ofrece alternativas de geolocalización o autocompletado.

Si lo que queremos es buscar documentos, sería apropiado utilizar MongoDB. Si necesitamos procesar flujos de registros en tiempo real, podemos optar por Apache Kafka. Apache Spark nos permite transformar datos estructurados o semiestructurados.

Es decir, cada tecnología del stack nos permite gestionar la información de diferente formas. Cada una es idónea para diversos procesos y para convivir con otras dentro del mismo ecosistema".

Esquema de stacks tecnológicos de Big Data


Ventajas y desventajas de nubes públicas y privadas

P: Otra de las decisiones críticas es dónde alojar esta infraestructura de Big Data. Básicamente, hay dos opciones: en nubes públicas o en servidores privados. ¿Cuáles son las ventajas e inconvenientes de cada una de ellas?

R: "Las nubes públicas como Amazon Web Services (la mayor del mundo) ofrecen importantes ventajas como la escalabilidad virtualmente ilimitada de recursos de almacenamiento y computación.

Otra ventaja es disponer de recursos en modo pago por uso sin preocuparnos del mantenimiento de los mismos. También la elasticidad de los recursos. Se trata de la capacidad de disponer o dejar de disponer de medios en el momento en el que se requiera y de modo automatizado".


"Las nubes públicas son superiores en términos de escalabilidad, elasticidad, almacenamiento y cómputo".


"En las nubes públicas, la información se almacena en servidores, a menudo, fuera de las fronteras del país. Las principales nubes públicas tienen un nivel de certificaciones de seguridad superiores a los data centers de la gran mayoría de compañías.

Sin embargo, se encuentran con limitaciones importantes derivadas de las regulaciones de algunos sectores y países en lo relativo a la seguridad y privacidad de los datos. Esto suele plantear dificultades en determinados sectores con requisitos especialmente exigentes, como el financiero, el sanitario, etc.

En cuanto a las nubes privadas, el mayor inconveniente es, sin duda, que tienes que hacerte cargo del mantenimiento de tus recursos, gestión de la configuración, etc. Y eso hay que suplirlo con personal especializado. Las nubes públicas permiten abstraerse de esa complejidad.

Eso sí, hay que analizar bien el caso de uso, porque cuando las cargas de trabajo son altas, constantes y sin grandes variaciones, puede ser más interesante utilizar tu propio centro de datos, ya que el pago por uso en esos casos podría salir más caro.

Otra gran contrapartida es el tamaño. Las nubes públicas son superiores en términos de escalabilidad, elasticidad, almacenamiento y cómputo. En las redes privadas siempre tendrás una limitación de tamaño, la de tus servidores físicos".


Claves para desarrollar una estrategia de información con Big Data

P: ¿Cuáles son, en tu opinión, las claves para desarrollar una estrategia de gestión de la información con Big Data?

R: "Lo más urgente es definir los objetivos de esta transformación digital. En base a los mismos, se establecerá una estrategia de gestión de la información con sus componentes organizativos, normativos, y tecnológicos.

Esto implica la definición de los modelos operativos necesarios para la Gestión y el Gobierno de la información, formación de la plantilla, definición de los procesos operativos y tecnológicos, de las arquitecturas y tecnologías a utilizar, etc.".


"El proceso de planificación y consultoría resulta crítico para que la solución sea eficaz y el retorno sea rápido".


"Todo ello siempre teniendo en cuenta el cumplimiento de la normativa interna y externa de la compañía. Un punto muy importante es siempre la formación a los equipos, y que esta formación sea continua, ya que nos movemos en unas disciplinas tecnológicas que avanzan a gran velocidad.

Solo así podrá adoptarse un modelo de empresa data-driven, es decir, una empresa que basa su estrategia en el análisis de datos.

Es imprescindible tener los objetivos muy claros. Nuestro trabajo es desarrollar herramientas analíticas y de consolidación de datos para su consumo en cualquier área de la compañía y en el formato que se necesite. Pueden ser interfaces gráficas para su interpretación o flujos como automatización de tareas rutinarias, entre otras.

En definitiva, nos ocupamos de capturar y trasladar grandes volúmenes de información a gran velocidad y convertirla en datos de valor.

Es por eso que el proceso de planificación y consultoría resulta crítico para que la solución sea eficaz y el retorno sea rápido".


Capacidades de expertos de Big Data

P: ¿Cuáles crees que son las características más relevantes para un profesional de Big Data?

R: "Lo más básico es tener un amplio conocimiento tecnológico y ser capaz de aprender rápido.

También es imprescindible ser polivalente, tener una mente analítica, rigurosa, gran atención al detalle y obsesión por la calidad de entrega (el testing es muy importante)".


"Hay que afrontar una dificultad técnica y operativa que consiste, antes que nada, en saber qué datos tenemos, de dónde provienen, cuáles son los objetivos y si son factibles".


"En general, los profesionales de Big Data deben tener habilidades técnicas basadas en la informática, las matemáticas y la estadística, pero también es esencial tener visión de negocio y ser adaptable a las diferentes necesidades de las empresas. Del mismo modo, la capacidad de sintetizar y comunicar con otras áreas de negocio es crucial.

Generalmente, hay diferentes roles. Unos llevan más la parte técnica y otros, además de contar con conocimiento tecnológico, tienen las habilidades comunicacionales necesarias para hacer de intermediario con el cliente. Son los que plantean soluciones, explican al cliente qué se puede hacer y, en la mayoría de casos, le dan ideas. Este doble perfil puede darse en una misma persona, pero no es lo más habitual".


Grandes retos del Big Data

P: En SBD lleváis más de 15 años gestionando y desarrollando soluciones Big Data. ¿Cuál es el mayor desafío al que os enfrentáis?

R: "Sin lugar a dudas, uno de los grandes retos de nuestro sector es encontrar profesionales de Big Data e IA con un mínimo de experiencia y las aptitudes necesarias. Hay muchos másteres, muchos cursos que pueden ser un buen punto de partida, pero no van a impedir un periodo de aprendizaje en la empresa.

Aun así, también es cierto que los stacks son más maduros y estables que hace unos años, por lo que el proceso de reciclaje necesario no es tan intensivo.

La otra gran dificultad es manejar las expectativas del cliente de modo realista. Trabajar con Big Data e Inteligencia Artificial es un gran salto, pero las soluciones no se diseñan solas.

Hay que afrontar una dificultad técnica y operativa que consiste, antes que nada, en saber qué datos tenemos, de dónde provienen, cuáles son los objetivos y si son factibles. Es decir, con los mimbres que tenemos, ¿podemos hacer la cesta que necesitamos?

Es esencial tener una buena calidad de datos y disponer de un mínimo gobierno de la información".


¿Te ha gustado el post? Te recomendamos esta entrevista con Guillermo González, científico de datos en Strategy Big Data.

TAGS:
Imagen del autor Redacción España

Equipo de redacción de B12 España: Marketing, Big Data, Inteligencia Artificial y Ventas.

Ponte en contacto con nosotros:

+52 (55) 4774 1185

mexico@agenciab12.com

Ejército Nacional #579 - Piso 1, Colonia Granada, Alcaldía Miguel Hidalgo, 11520, CDMX, México.