Cómo Luminate Procesa 3,5 TB de Datos de Entretenimiento un 334% Más Rápido con Snowflake
Luminate impulsa las listas de éxitos Billboard y proporciona inteligencia de datos en música, cine y televisión para grandes sellos discográficos, estudios y agencias de talento. Tras migrar de Spark on-premises y SQL Server a Snowflake, la empresa logró procesar los datos diarios un 334% más rápido con más de 3,5 terabytes de entrada diaria. Los informes de mercado que antes tardaban un mes entero ahora se ejecutan de la noche a la mañana, y Luminate puede por primera vez ofrecer análisis transectoriales que correlacionan el consumo de música y televisión.
Impacto
334%
Aumento en la velocidad de procesamiento de datos diarios
3.5TB+
Volumen de datos diarios procesados
Overnight
Tiempo de elaboración de informes de mercado
Desafío
La infraestructura heredada on-premises no podía procesar 3,5 TB de datos de entretenimiento diarios con suficiente rapidez, lo que obligaba a que los informes de mercado tardaran un mes entero en completarse e impedía el análisis transectorial entre conjuntos de datos de consumo de música y televisión.
Solución
Luminate migró a Snowflake como data lake principal, usando Snowflake Secure Data Sharing para la entrega de datos a clientes casi en tiempo real, Snowpark ML para modelado en Python y el escalado independiente de almacenamiento y cómputo para acelerar todos los pipelines de procesamiento de datos.
Herramientas y tecnologías
Lo que dicen los líderes
“Tenemos años de datos de los que nunca antes habíamos podido extraer análisis más profundos antes de Snowflake. Básicamente, solo construíamos listas de clasificación.”
“Llevamos casi tres años trabajando con Snowflake y sigue siendo la opción obvia. Estamos completamente satisfechos con la decisión que tomamos.”
“La capacidad de aplicar todo el código Python y los modelos directamente sobre los datos es especialmente beneficiosa.”
Regístrate para leer casos de estudio completos, acceder a métricas detalladas y recibir todos los reportes.
Historia completa
Cada canción reproducida en streaming, cada episodio visto: Luminate lo captura y convierte los datos de reproducción en bruto en las listas y la inteligencia de mercado autorizadas que impulsan regalías, premios y la estrategia del sector. Con cientos de fuentes verificadas que alimentan más de 3,5 terabytes de datos diarios, la capacidad de la empresa para ofrecer análisis oportunos y precisos no es solo un diferenciador de producto; define su credibilidad ante sellos discográficos, estudios y plataformas de streaming en todo el mundo.
Antes de Snowflake, la infraestructura de Luminate se basaba en herramientas heredadas on-premises que el Director de Datos Glenn Walker describió como "lamentablemente desactualizadas". La plataforma no podía escalar para hacer frente a la complejidad de los datos de entretenimiento de múltiples fuentes, y los retrasos en el procesamiento significaban que los informes de mercado podían tardar un mes entero en producirse. Más fundamentalmente, la arquitectura en silos significaba que Luminate podía analizar datos dentro de cada categoría, pero nunca entre ellas.
La migración a Snowflake consolidó todos los datos en un único data lake en la nube con almacenamiento y cómputo escalables de forma independiente. Snowflake Secure Data Sharing sustituyó los procesos de entrega de datos que llevaban días por un acceso casi en tiempo real para clientes y socios. Snowpark y Snowpark ML permitieron al equipo de ciencia de datos de Luminate ejecutar modelos de Python directamente sobre los datos sin moverlos, agilizando drásticamente el ciclo de experimentación para el desarrollo de productos de IA/ML.
El impacto fue estructural. El procesamiento de registros diarios mejoró un 334%, convirtiendo en una tarea nocturna lo que antes requería semanas. Esto permitió a Luminate construir su Streaming Viewership Model (SVM), un modelo estadístico que estima el consumo de streaming a partir de fuentes estructuradas y no estructuradas, un problema que ningún competidor había resuelto. Más fundamentalmente, tener todos los datos en una plataforma por primera vez desbloqueó el verdadero análisis transectorial: Luminate puede ahora medir el efecto directo de un programa de televisión que presenta a un artista sobre los números de streaming de ese artista, una capacidad que cambia la propuesta de valor para cada cliente.
Luminate lleva ya tres años con su implementación de Snowflake, explorando activamente integraciones de IA generativa a través de Snowflake Cortex AI y ampliando sus listados privados en Marketplace para una entrega de datos a clientes sin fricciones.
Amazon SageMaker