Cómo monday Service Usa LangSmith y LangGraph para Construir Agentes de Servicio de IA Fiables

monday Service, la división de gestión de servicios empresariales de monday.com, se propuso construir agentes de IA de nivel productivo capaces de gestionar conversaciones complejas y de múltiples turnos con clientes de los departamentos de TI, RRHH y Legal. El reto fundamental: en los sistemas agénticos, incluso pequeñas desviaciones en los prompts o en las llamadas a herramientas pueden desencadenar resultados significativamente incorrectos en cascada, lo que hace que los enfoques de desarrollo tradicionales sean insuficientes.

El equipo construyó un framework de desarrollo basado en evaluaciones (EDD) sustentado en dos pilares. Las evaluaciones offline actúan como red de seguridad, ejecutando cientos de escenarios de prueba sobre tickets de TI anonimizados antes de que cualquier código llegue a producción. Las evaluaciones online actúan como monitor en tiempo real, puntuando trayectorias completas de conversaciones de múltiples turnos mediante métricas de LLM-as-judge y haciendo seguimiento de señales de negocio como las tasas de resolución automatizada y de contención. LangSmith proporcionó la plataforma de evaluación y la infraestructura de trazado, mientras que LangGraph impulsó la arquitectura de agentes basada en ReAct.

Los resultados demostraron la potencia del enfoque: la velocidad de evaluación mejoró 8,7 veces, pasando de 162 segundos a tan solo 18 segundos por ciclo de evaluación, gracias a la paralelización y la puntuación concurrente de LLMs. El equipo puede ahora evaluar cientos de ejemplos en minutos en lugar de horas, lo que permite iterar rápidamente sobre el comportamiento de los agentes. El patrón de Evaluaciones como Código (EaC) que desarrollaron trata a los jueces de IA como objetos TypeScript versionados en el control de código fuente, integrados directamente en los pipelines de CI/CD para una garantía de calidad continua.