Cómo Luminate usa Snowflake para entregar datos del Billboard un 334% más rápido

Luminate ocupa una posición única en la intersección entre el entretenimiento y los datos. Como la empresa detrás de los icónicos charts de Billboard, procesa más de un billón de puntos de datos diarios provenientes de cientos de fuentes verificadas en música, cine y televisión, atendiendo a grandes discográficas, estudios, agencias de talento e instituciones financieras que dependen de esa inteligencia para tomar decisiones importantes.

Antes de migrar a Snowflake, Luminate gestionaba sus operaciones de datos sobre infraestructura local con Spark y SQL Server. Esa arquitectura no podía seguir el ritmo. La empresa recibía más de 3,5 terabytes de datos diarios en múltiples formatos, pero los informes de mercado de fin de mes tardaban un mes entero en generarse. La entrega de datos a clientes se retrasaba varios días. El equipo podía generar rankings, pero tenía dificultades para extraer conocimientos más profundos de sus datos históricos, y el análisis intersectorial—que vinculara el consumo musical con la audiencia televisiva y las preferencias de marca—estaba prácticamente fuera de alcance.

La transición a Snowflake trajo una arquitectura de data lake centralizada con escalado independiente de cómputo y almacenamiento. Luminate integró dbt para la transformación de datos, y Snowpark con Snowpark ML para análisis avanzado y experimentación con machine learning. Las capacidades de intercambio seguro de datos de Snowflake permitieron entregar datos directamente a los clientes sin transferencias manuales de archivos. La plataforma consolidada se convirtió en la base para desarrollar nuevos productos de datos con mayor velocidad.

Los resultados fueron inmediatos y medibles. La velocidad de procesamiento diario aumentó un 334%. El tiempo de entrega de datos a clientes cayó de varios días a minutos. La empresa lanzó en beta su Streaming Viewership Model en 2023—un producto que combina metadatos estructurados con fuentes no estructuradas para modelar el consumo en plataformas de streaming—algo imposible de construir sobre la infraestructura anterior. Luminate puede ahora correlacionar los fans de una serie de televisión con los fans de un artista musical y las afinidades de marca a través de todo el catálogo de datos históricos.

Luminate está actualmente probando Cortex Analyst y Cortex Search de Snowflake para crear herramientas de inteligencia artificial que permitan a los clientes consultar sus datos en lenguaje natural. La evolución de la empresa—de productora de listas de ranking a plataforma de inteligencia intersectorial—refleja un cambio más amplio en los datos del entretenimiento: el valor ya no está solo en los charts, sino en las conexiones entre ellos.