Cómo Scribd Redujo los Costes de IA Generativa un 90 % y Aumentó Registros con Databricks

Scribd, Inc. conecta a millones de usuarios con el conocimiento a través de tres plataformas diferenciadas: Scribd, una biblioteca impulsada por los usuarios; SlideShare, un repositorio de presentaciones; y Everand, un servicio de suscripción de audiolibros y libros electrónicos. La biblioteca de contenidos de la empresa ha crecido hasta superar los 250 millones de piezas —multilingüe, con contenido multimedia variado y de formatos muy distintos—. A esa escala, garantizar que el contenido sea localizable, esté correctamente etiquetado y esté libre de material de baja calidad no es una tarea que pueda hacerse manualmente.

La compañía había identificado la IA generativa como el enfoque adecuado para enriquecer metadatos, mejorar la búsqueda y moderar el contenido a escala. Sin embargo, su infraestructura existente dificultaba llevar esa visión a la práctica. Los pipelines de datos estaban fragmentados en herramientas separadas para transformación, experimentación con LLM y servicio de modelos. El ciclo de retroalimentación entre los científicos de datos y los equipos de producción era lento. No existía un entorno compartido donde ingenieros, científicos de datos y gestores de producto pudieran colaborar en el desarrollo de IA sin cambiar constantemente de plataforma.

Scribd, Inc. construyó su base de IA sobre la plataforma Databricks Data Intelligence, que unificó la ingesta, transformación, desarrollo de modelos e inferencia en un único entorno gobernado. Los científicos de datos ejecutan trabajos Spark, crean características, experimentan con LLM y prueban ideas dentro de Databricks Notebooks sin cambiar de herramienta. Databricks Model Serving gestiona tanto la inferencia en tiempo real como por lotes —endpoints serverless para prototipos de bajo coste, con escalado fluido cuando los trabajos de producción procesan decenas de millones de prompts contra las tablas más grandes de la empresa—. El equipo selecciona modelos de código abierto —Llama, Mistral, Claude— según la tarea concreta, servidos a través de Mosaic AI. Delta Lake y Unity Catalog proporcionan la capa de fiabilidad de datos y gobierno. Lakeflow Jobs orquesta las cargas de trabajo por lotes. El equipo de Databricks estuvo integrado con Scribd durante los primeros despliegues críticos, ayudando a ajustar el rendimiento de los modelos en AWS y a gestionar las limitaciones de GPU en tiempo real.

La aplicación de IA más visible desde el punto de vista comercial es la generación automática de metadatos de contenido. Cada pieza de contenido subida por usuarios recibe ahora títulos, resúmenes, descripciones y etiquetas de categoría generados por IA, lo que mejora su descubrimiento en búsqueda y su visibilidad en SEO. Este enriquecimiento de metadatos se ha traducido directamente en un aumento del 7 % en nuevos registros de usuarios y una reducción del 7 % en la cancelación de suscripciones. Al mismo tiempo, la optimización de cómo se crean y ejecutan los modelos de lenguaje a través de las capacidades de inferencia por lotes de Databricks ha reducido el coste de funcionamiento de esos modelos en más de un 90 %, permitiendo ampliar el alcance de la IA generativa a la moderación de contenido, el descubrimiento y funciones de chat como Ask AI de Everand.

Scribd, Inc. sigue ampliando esta base. La próxima generación de características de IA —extracción inteligente de temas, navegación dentro de documentos y búsqueda a nivel de diapositiva en SlideShare— está diseñada para que los usuarios accedan directamente al contenido que les interesa dentro de un documento. Estas características solo son posibles porque la empresa opera ahora los datos y la IA en una plataforma escalable y unificada en lugar de en un conjunto de servicios desconectados.