Cómo You.com acelera el desarrollo de agentes de IA con Databricks

You.com fue construida para ayudar a los trabajadores del conocimiento a realizar tareas complejas a través de agentes de IA capaces de investigar, sintetizar y crear contenido. Fundada por Richard Socher y Bryan McCann, la empresa atrajo clientes empresariales que demandaban respuestas fiables, rápidas y respaldadas por citas a escala. A medida que la adopción creció, la infraestructura de datos y ML subyacente se convirtió en un cuello de botella en lugar de un facilitador.

El entorno de datos de la empresa tenía múltiples capas de abstracción construidas sobre tablas Hive, lo que dificultaba escalar el rendimiento de las consultas o adaptarse a nuevas necesidades analíticas. Los equipos de ingeniería dedicaban tiempo significativo a la configuración de clusters, el mantenimiento de despliegues de modelos y la resolución de problemas en pipelines de datos, en lugar de desarrollar el producto de IA. La latencia en los paneles y el procesamiento lento de consultas retrasaban el acceso a las métricas de interacción de usuarios y rendimiento de modelos necesarias para mejorar continuamente la plataforma.

You.com migró su infraestructura de datos principal a Delta Lake, estableciendo una capa de almacenamiento unificada y confiable que consolidó fuentes de datos públicas y propietarias. Esto eliminó los principales problemas de consistencia y proporcionó la base de datos necesaria para las respuestas de IA respaldadas por citas. El equipo adoptó Databricks SQL para inteligencia de negocio y monitoreo del rendimiento de modelos, reemplazando las lentas consultas sobre Hive con análisis más rápidos y listos para paneles. Databricks Notebooks proporcionó un entorno colaborativo donde los científicos de datos podían construir e iterar sobre modelos de aprendizaje automático sin cambiar de contexto fuera de la plataforma de datos. La gestión del ciclo de vida de modelos y el despliegue pasaron a MLflow y Databricks Model Serving, eliminando la necesidad de orquestación de infraestructura personalizada y permitiendo al equipo ajustar, desplegar y adaptar modelos en respuesta a los requisitos cambiantes. La plataforma Databricks Agent Bricks da soporte a la próxima generación de capacidades de agentes de la empresa.

El cambio permitió a You.com redirigir la capacidad de ingeniería del mantenimiento de infraestructura hacia el desarrollo del producto de IA. Las nuevas versiones de modelos llegan a producción más rápido, los paneles analíticos cargan sin latencias y el equipo puede responder a los cambios del mercado sin verse bloqueado por cuellos de botella en los pipelines de datos.

You.com continúa profundizando su uso de la plataforma Databricks a medida que su base de usuarios se expande, utilizando el entorno de datos consolidado para soportar una personalización de agentes más sofisticada y una mayor precisión en las respuestas.