Cómo Luminate logró un 334% más de velocidad en el procesamiento de datos con Snowflake
Luminate, la empresa de datos del entretenimiento detrás de las listas Billboard, migró de infraestructura local a Snowflake para unificar 3,5 TB de datos diarios de música, cine y televisión. El cambio entregó un procesamiento diario un 334% más rápido, redujo el tiempo de elaboración de informes de mercado de un mes completo a una noche, y habilitó análisis multisectoriales que la empresa no podía realizar antes.
Impacto
334%
Increase in daily data processing speed
3.5TB+
Data processed daily
Overnight vs. 1 month
Market report turnaround
Minutes vs. days
Client data delivery time
Desafío
La infraestructura local de Luminate no podía procesar 3,5 TB de datos de entretenimiento diarios a la velocidad o escala que el negocio requería, limitando la entrega de informes a un mes completo e imposibilitando los análisis multisectoriales.
Solución
Luminate migró a Snowflake como su data lake central, utilizando Snowflake Secure Data Sharing para entrega casi en tiempo real a los clientes, y Snowpark y Snowpark ML para ejecutar modelos analíticos en Python directamente sobre datos unificados.
Herramientas y tecnologías
Lo que dicen los líderes
“We’re coming up on three years of working with Snowflake, and it’s still the obvious choice. We feel completely happy with the decision we made.”
“We have years of data that we were never able to glean deeper insights from before Snowflake. Essentially, we were just building rank lists.”
“We heavily depend on dbt on top of Snowflake, Snowpark and Snowpark ML. The ability to apply all the Python code and models directly on top of data is especially beneficial.”
Regístrate para leer casos de estudio completos, acceder a métricas detalladas y recibir todos los reportes.
Historia completa
Luminate es la empresa de infraestructura de datos primaria de la industria del entretenimiento: procesa datos de transmisión, ventas y difusión radial de cientos de fuentes verificadas para alimentar las listas Billboard y proporcionar inteligencia de audiencia a sellos discográficos, estudios, cadenas, agencias de talento e instituciones financieras. Cada reproducción, cada entrada vendida, cada emisión radial fluye por los sistemas de Luminate y nutre los datos independientes que la industria utiliza para medir cuotas de mercado, fijar regalías artísticas y determinar la elegibilidad a premios.
Para una empresa cuyo producto entero es el dato, la infraestructura subyacente representaba una limitación significativa. Luminate operaba con Spark y SQL Server on-premises, tecnología que el Director de Datos describió como «lamentablemente obsoleta». Procesar datos de múltiples fuentes en distintos formatos era lento y fragmentado. Elaborar informes de mercado completos requería un mes entero. Y el equipo acumulaba años de datos históricos prácticamente inaccesibles para análisis más profundos más allá de generar listas de clasificación.
Luminate migró a Snowflake como núcleo de una arquitectura de data lake en la nube, consolidando los 3,5 TB de ingesta diaria en una única plataforma con escalado independiente de almacenamiento y cómputo. El equipo adoptó Snowflake Secure Data Sharing para entrega casi en tiempo real a los clientes, reduciendo la entrega de datos de días a minutos. Snowpark y Snowpark ML permitieron al equipo de ciencia de datos ejecutar modelos en Python directamente sobre los datos en Snowflake, apoyando el desarrollo del Modelo de Audiencia de Streaming (SVM) de Luminate, que estima el consumo de transmisión de programas que no publican datos propios de audiencia.
El impacto operativo fue concreto: el procesamiento diario de datos se aceleró un 334%, y los informes de mercado que antes requerían un mes completo podían generarse en una noche. Pero el cambio más significativo fue analítico. Con todos los datos unificados en un solo lugar, Luminate puede ahora producir perspectivas multisectoriales que antes eran estructuralmente imposibles: correlacionar el consumo musical con la audiencia televisiva para medir cómo un programa popular afecta el rendimiento de una canción en el mercado.
Luminate continúa construyendo sobre Snowflake para el desarrollo de nuevos productos y la experimentación con IA/ML. El despliegue refleja un patrón común en negocios intensivos en datos: cuando la plataforma de datos se vuelve suficientemente rápida y unificada, categorías completamente nuevas de análisis se hacen posibles, no solo versiones más rápidas de los flujos de trabajo existentes.