Cómo AppFolio Redujo la Latencia de LLM un 80–90% con Datadog Observability

Los gestores de propiedades dedican una parte desproporcionada de su jornada laboral a la correspondencia con los inquilinos. AppFolio, que proporciona la plataforma de software utilizada para gestionar propiedades que van desde alquileres unifamiliares hasta grandes carteras comerciales, identificó claramente este punto de fricción: hasta el 50% de las horas laborales de un gestor de propiedades se destinaban a las comunicaciones con los residentes. Para una plataforma que se enorgullece de maximizar la productividad, eso era una brecha que valía la pena resolver con IA.

AppFolio construyó Realm-X Messages sobre Amazon Bedrock —un buzón potenciado por LLM que organiza los mensajes entrantes, sugiere respuestas y señala los puntos de acción—. La ambición técnica era clara, pero también el desafío: las aplicaciones de LLM son no deterministas. La calidad de las respuestas varía. La latencia aumenta de forma impredecible. Escalar un producto de IA generativa de forma segura requiere una visibilidad que la mayoría de las herramientas de observabilidad no estaban diseñadas para proporcionar.

El equipo eligió Datadog LLM Observability para monitorizar Realm-X Messages desde el principio. La integración con Amazon Bedrock requirió anotaciones de código mínimas, lo que permitió a AppFolio instrumentar toda la cadena LLM —desde las llamadas a funciones hasta la recuperación de documentos y las llamadas al modelo— sin una gran carga de ingeniería. Los paneles de Datadog mostraban las tendencias de latencia y el consumo de tokens a lo largo del tiempo, mientras que las evaluaciones listas para usar señalaban las tasas de toxicidad y de fallo en las respuestas. El mapa de clústeres ayudó al equipo a comprender qué temas de los residentes el modelo gestionaba bien y cuáles necesitaban mejora.

En las primeras fases del lanzamiento, AppFolio detectó una fuerte correlación entre menor latencia y mayor adopción por parte de los usuarios. Usando LLM Observability para rastrear las solicitudes más lentas, el equipo identificó cuellos de botella concretos: prompts ineficientes y llamadas a API lentas dentro de la cadena LLM. La optimización de prompts y las actualizaciones de arquitectura redujeron la latencia entre un 80 y un 90%, lo que se correspondió con un aumento de la adopción de casi el 300%. Tras la configuración inicial de QA, AppFolio pasó Realm-X Messages a producción en menos de una semana.

Hoy, Realm-X Messages ahorra a los gestores de propiedades una media de cinco horas semanales en comunicaciones con residentes, tiempo que se redirige al arrendamiento, la coordinación de mantenimiento y el crecimiento de la cartera. El caso ilustra un patrón más amplio que emerge en el software empresarial: las empresas que desarrollan funcionalidades potenciadas por IA están descubriendo que la calidad de la capa de observabilidad determina si esas funcionalidades escalan del piloto al producto. La capacidad de AppFolio para moverse rápido sin sacrificar la fiabilidad provino directamente de saber, en tiempo real, qué estaba haciendo su LLM.