Cómo Luminate usa Snowflake para entregar datos del Billboard un 334% más rápido
Luminate es el principal socio de datos de la industria del entretenimiento, responsable de los charts de Billboard y de proporcionar inteligencia a grandes discográficas, estudios y agencias de talento en música, cine y televisión. La empresa migró su infraestructura local a Snowflake para unificar la ingesta de más de 3,5 terabytes de datos diarios y habilitar análisis intersectoriales a escala. La velocidad de procesamiento diario mejoró un 334% y el tiempo de entrega de datos a clientes pasó de varios días a minutos.
Impacto
334%
Incremento en velocidad de procesamiento diario
3.5+ terabytes
Datos procesados diariamente
1 trillion+
Puntos de datos procesados por día
Minutes (vs. several days)
Tiempo de entrega de datos a clientes
Desafío
La infraestructura local con Spark y SQL Server de Luminate no podía procesar de forma eficiente más de 3,5 terabytes de datos diarios: los informes de mercado de fin de mes tardaban un mes entero en producirse y la entrega a clientes se retrasaba varios días, bloqueando el análisis avanzado y el desarrollo de nuevos productos.
Solución
Luminate migró a Snowflake como plataforma de datos en la nube, integrando dbt para la transformación y Snowpark ML para machine learning, lo que permitió el escalado independiente, el intercambio de datos en tiempo real con clientes y una base para análisis con inteligencia artificial a través de Snowflake Cortex.
Herramientas y tecnologías
Lo que dicen los líderes
“Tenemos años de datos de los que nunca pudimos extraer conocimientos más profundos antes de Snowflake. Básicamente, solo construyábamos listas de rankings.”
“Podremos correlacionar a las personas que son fans del programa X con los fans del artista Y y la marca Z. No podíamos haber hecho esto antes, y este avance se debe a tener nuestros datos unificados en Snowflake.”
“La capacidad de aplicar todo el código y los modelos de Python directamente sobre los datos es especialmente beneficiosa.”
Regístrate para leer casos de estudio completos, acceder a métricas detalladas y recibir todos los reportes.
Historia completa
Luminate ocupa una posición única en la intersección entre el entretenimiento y los datos. Como la empresa detrás de los icónicos charts de Billboard, procesa más de un billón de puntos de datos diarios provenientes de cientos de fuentes verificadas en música, cine y televisión, atendiendo a grandes discográficas, estudios, agencias de talento e instituciones financieras que dependen de esa inteligencia para tomar decisiones importantes.
Antes de migrar a Snowflake, Luminate gestionaba sus operaciones de datos sobre infraestructura local con Spark y SQL Server. Esa arquitectura no podía seguir el ritmo. La empresa recibía más de 3,5 terabytes de datos diarios en múltiples formatos, pero los informes de mercado de fin de mes tardaban un mes entero en generarse. La entrega de datos a clientes se retrasaba varios días. El equipo podía generar rankings, pero tenía dificultades para extraer conocimientos más profundos de sus datos históricos, y el análisis intersectorial—que vinculara el consumo musical con la audiencia televisiva y las preferencias de marca—estaba prácticamente fuera de alcance.
La transición a Snowflake trajo una arquitectura de data lake centralizada con escalado independiente de cómputo y almacenamiento. Luminate integró dbt para la transformación de datos, y Snowpark con Snowpark ML para análisis avanzado y experimentación con machine learning. Las capacidades de intercambio seguro de datos de Snowflake permitieron entregar datos directamente a los clientes sin transferencias manuales de archivos. La plataforma consolidada se convirtió en la base para desarrollar nuevos productos de datos con mayor velocidad.
Los resultados fueron inmediatos y medibles. La velocidad de procesamiento diario aumentó un 334%. El tiempo de entrega de datos a clientes cayó de varios días a minutos. La empresa lanzó en beta su Streaming Viewership Model en 2023—un producto que combina metadatos estructurados con fuentes no estructuradas para modelar el consumo en plataformas de streaming—algo imposible de construir sobre la infraestructura anterior. Luminate puede ahora correlacionar los fans de una serie de televisión con los fans de un artista musical y las afinidades de marca a través de todo el catálogo de datos históricos.
Luminate está actualmente probando Cortex Analyst y Cortex Search de Snowflake para crear herramientas de inteligencia artificial que permitan a los clientes consultar sus datos en lenguaje natural. La evolución de la empresa—de productora de listas de ranking a plataforma de inteligencia intersectorial—refleja un cambio más amplio en los datos del entretenimiento: el valor ya no está solo en los charts, sino en las conexiones entre ellos.