Qué es el big data (y si lo necesita tu empresa)

El big data son conjuntos de datos tan grandes, que llegan tan rápido o que son tan variados que no se pueden guardar ni analizar a un coste razonable con las herramientas habituales, como una base de datos convencional en un servidor o una hoja de cálculo. Por extensión, el término también se usa para hablar de las tecnologías y los métodos que permiten tratarlos.

La consultora Gartner lo define como activos de información de gran volumen, alta velocidad o gran variedad que exigen formas de procesamiento rentables e innovadoras para mejorar el conocimiento, la toma de decisiones y la automatización. Es decir, no basta con tener muchos datos: se habla de big data cuando su tamaño, su ritmo o su forma obligan a usar otras herramientas.

Lo que hace quince años exigía un clúster de servidores hoy cabe, en muchos casos, en un solo servidor bien configurado. Los ordenadores, los discos y las bases de datos han mejorado tanto que el umbral a partir del cual algo es big data se ha ido desplazando hacia arriba. Unos cuantos millones de registros, que a un gerente le pueden parecer muchísimos, no son big data por sí solos.

Por eso la pregunta útil no es cuántos datos tienes, sino si tus herramientas actuales pueden guardarlos y consultarlos con la rapidez que necesitas. Si la respuesta es sí, no tienes un problema de big data.

Te explicamos las «V» del big data, cuándo tiene sentido de verdad, por qué en Devyond todavía no hemos necesitado montarlo y qué suele necesitar en realidad una pyme.

La forma más conocida de explicar el big data son sus «V». Las tres primeras las propuso el analista Doug Laney en 2001, en un informe para META Group (después adquirida por Gartner). El volumen es la cantidad de datos: terabytes o petabytes que no caben, o no se pueden consultar con agilidad, en un sistema convencional. La velocidad es el ritmo al que llegan y al que hay que procesarlos: miles de eventos por segundo que hay que analizar casi en tiempo real. La variedad es la diversidad de formatos: además de tablas, textos, imágenes, vídeos, audios, registros de máquinas o datos de sensores.

Con los años se han añadido otras «V». Las más citadas son la veracidad, que es la fiabilidad y la calidad de los datos, y el valor, es decir, si analizarlos aporta algo al negocio. Hay autores que hablan de cinco, siete o más, pero las tres originales siguen siendo las que definen el concepto.

Cuando los datos no caben en una máquina, se reparten entre muchas y se procesan en paralelo. Hadoop popularizó ese enfoque a finales de los 2000, y hoy son habituales herramientas como Apache Spark para el procesamiento distribuido, Apache Kafka para recibir flujos continuos de eventos y almacenes de datos en la nube como BigQuery o Snowflake, que separan el almacenamiento del cálculo y escalan bajo demanda.

Junto a ellas aparecen conceptos como el data lake, un repositorio donde se guardan datos en bruto de todo tipo para analizarlos después. Son tecnologías potentes, pero añaden complejidad, coste y la necesidad de perfiles especializados para mantenerlas.

Una arquitectura de big data tiene un coste de infraestructura, de desarrollo y de mantenimiento. Si se monta sin necesidad, ese coste no se recupera y el equipo acaba gestionando herramientas en lugar de usar sus datos.

El big data tiene sentido cuando los datos se generan a una escala o a un ritmo que desbordan una base de datos convencional. Es el caso de los sensores y el internet de las cosas (IoT), por ejemplo, una flota de vehículos o una planta industrial con miles de dispositivos que envían lecturas cada pocos segundos. También el de aplicaciones o plataformas con millones de eventos al día (clics, transacciones, registros de uso) que hay que analizar casi en tiempo real, como las de telecomunicaciones, publicidad digital o grandes comercios electrónicos.

Otro caso es el de los datos no estructurados masivos: grandes volúmenes de imágenes, vídeos, audios o documentos que se quieren analizar en conjunto, por ejemplo, para entrenar modelos de inteligencia artificial o detectar patrones que no se ven a simple vista.

Si tus datos vienen sobre todo de tu ERP, tu CRM, tu programa de facturación, tu web y algunas hojas de cálculo, lo más probable es que quepan con holgura en una base de datos convencional. Lo mismo si tus informes se consultan una vez al día o a la semana y no necesitas reaccionar en segundos.

En la mayoría de pymes, el problema real no es el volumen, sino que los datos están repartidos entre varias herramientas, duplicados o mal registrados. Ese problema no lo resuelve el big data; lo resuelve ordenar y conectar los datos.

Antes de plantearte una plataforma de big data, haz inventario: qué datos tienes, dónde están, cuánto ocupan, cada cuánto se generan y qué decisiones quieres tomar con ellos. Con esa foto, la respuesta suele quedar clara.

En Devyond no hemos tenido, hasta ahora, ningún proyecto que requiriera big data. En todos nos ha bastado con PostgreSQL, una base de datos relacional de código abierto muy extendida. Tampoco hemos tenido casos de millones de eventos al día, que es donde empezaríamos a plantearnos otras herramientas.

El caso más exigente que hemos visto es el de un cliente que ofrecía a sus propios clientes un panel con millones de transacciones de varios meses, procesadas y mostradas en gráficos. Todo funcionaba sobre PostgreSQL, sin herramientas específicas de big data, y con una velocidad muy buena. En casos así, lo que suele marcar la diferencia es un buen diseño de la base de datos y de las consultas, no una tecnología distinta.

Lo que sí vemos una y otra vez es la necesidad de tener los datos ordenados y conectados. Por ejemplo, con una proptech de inversión inmobiliaria de Valencia montamos una base de datos centralizada, como fuente única de verdad, conectada con su ERP, su CRM y su plataforma, y encima un panel interno con KPI y más de 50 gráficos en tiempo real. Puedes verlo en el caso del panel de gestión conectado a ERP y CRM.

Ese trabajo de llevar los datos de cada sistema a un sitio común, limpiarlos y mantenerlos al día es lo que se conoce como ingeniería de datos. Para la gran mayoría de pymes es mucho más rentable que cualquier plataforma de big data, y deja la puerta abierta a crecer si algún día el volumen lo exige.

Una base de datos bien diseñada no cierra puertas. Si el volumen crece mucho, se pueden añadir réplicas de lectura, particionar las tablas o llevar parte de los datos a un almacén analítico, sin rehacer todo desde cero.

El big data son datos tan grandes, rápidos o variados que las herramientas habituales no bastan, y se explica con sus «V»: volumen, velocidad y variedad. Tiene sentido con sensores, millones de eventos al día o datos no estructurados masivos. En la mayoría de pymes no hace falta: lo que hace falta es tener los datos ordenados, conectados y fáciles de consultar.

Si quieres saber qué necesitan de verdad tus datos, te ayudamos con una consultoría de datos y BI o con la ingeniería de datos para reunirlos en un solo sitio. Puedes ver todo lo que hacemos en datos y business intelligence.

Cuéntanos qué datos tienes y dónde están, y te diremos si te basta con ordenarlos o si de verdad necesitas algo más.