Cómo Kantar Worldpanel Usa Databricks para Generar Insights de Mercado Más Rápido

El negocio de Kantar Worldpanel depende de saber con exactitud qué productos compraron los consumidores y cuándo. En el centro de su proceso de datos hay una etapa que vincula descripciones de tickets de papel con nombres de productos de código de barras, determinando qué señales de compra llegan a los paneles de clientes y, en última instancia, qué decisiones toman fabricantes y minoristas.

Durante años, los equipos de codificación manual realizaron esta vinculación, creando un cuello de botella que limitaba el volumen de procesamiento y absorbía recursos de ingeniería en trabajo repetitivo. Los sistemas heredados eran poco flexibles, requerían habilidades especializadas cada vez más difíciles de contratar y no podían escalar para satisfacer la creciente demanda de los clientes. El equipo de ciencia de datos sabía que la IA generativa podía cerrar esta brecha, pero carecía de una plataforma para experimentar sistemáticamente con distintas familias de modelos.

Kantar Worldpanel eligió la Plataforma de Inteligencia de Datos de Databricks como entorno unificado para la experimentación con IA y aprendizaje automático. El equipo usó MLflow para rastrear experimentos y gestionar el ciclo de vida de los modelos, evaluó GPT-4, GPT-3.5, Llama y Mistral en paralelo dentro de la misma plataforma, y adoptó Databricks AI Search para comparar descripciones de tickets con nombres de referencia a escala. Unity Catalog proveyó el intercambio seguro de datos entre equipos durante todo el proceso.

Al ejecutar evaluaciones comparativas dentro de Databricks Marketplace, el equipo identificó GPT-4 como la opción de mayor precisión con 94%, y lo utilizó para generar automáticamente 120,000 pares de entrenamiento en pocas horas. Ese conjunto de datos sintético ahora entrena un modelo de producción más pequeño y rentable, servido a través de la infraestructura Agent Bricks de Databricks.

El cambio representa más que eficiencia operacional. Los equipos de codificación manual pueden redirigir su atención a casos atípicos y resultados discrepantes. Los ingenieros ya no necesitan configurar clústeres para cada experimento, y los científicos de datos ponen en marcha entornos con una o dos líneas de código. Kantar Worldpanel describe el caso de uso de tickets como el primero de muchos que planea llevar a producción en Databricks.