Cómo Edmunds usa Databricks y GPT-4 para automatizar la moderación de reseñas de concesionarios

Edmunds procesa más de 300 reseñas de calidad de servicio de concesionarios al día, y la precisión de ese contenido determina directamente qué vendedores eligen confiar los compradores potenciales de coches. Durante años, un pequeño equipo de moderación evaluó manualmente cada envío, verificando si cada reseña se refería específicamente a la calidad del servicio del concesionario y no al vehículo en sí. El proceso podía tardar hasta 72 horas desde la recepción hasta la publicación, lo que limitaba la actualidad de la información disponible para los usuarios y creaba un cuello de botella que crecía con el volumen de reseñas.

El primer intento del equipo de automatizar la moderación utilizó un modelo de uso general ajustado con fine-tuning, pero los resultados fueron insuficientes. Las reglas para determinar una reseña de servicio de concesionario válida eran complejas, y el ajuste fino por sí solo no podía capturar toda la gama de casos límite. El Consultor Técnico Suresh Narasimhan describió la conclusión directamente: el modelo necesitaba todas las reglas expresadas directamente en el prompt en lugar de aprendidas mediante entrenamiento, y los diferentes modelos de fundación manejaban esos prompts con distinta precisión y coherencia. Sin una forma eficiente de comparar los resultados de los modelos, la evaluación de alternativas era lenta y difícil.

El equipo recurrió a Databricks Model Serving, que consolida proveedores de LLM de terceros junto con modelos propios dentro de un entorno unificado con gestión compartida de permisos y controles de velocidad. Esto facilitó la comparación de GPT-4 con otros modelos usando el mismo prompt y marco de evaluación. GPT-4 accedido a través de Databricks Model Serving con un prompt personalizado detallado demostró ser el más eficaz, y el sistema entró en producción. Paralelamente a la capa de moderación, el Ingeniero Principal Sam Shuster lideró una migración del metastore Hive existente del equipo a Databricks Unity Catalog, reemplazando los controles de acceso basados en IAM de grano grueso por permisos detallados a nivel de tabla y S3, y añadiendo el seguimiento automático del linaje de los pipelines.

El sistema de moderación automatizada ahora procesa las reseñas entrantes y emite decisiones de aceptar o rechazar en segundos. El tiempo de publicación cayó de hasta tres días a minutos, y el número de moderadores necesarios para supervisar el flujo de trabajo se redujo a dos. El equipo estima un ahorro de entre tres y cinco horas de trabajo de moderación por semana. La migración a Unity Catalog produjo mejoras paralelas en auditoría, cumplimiento y descubrimiento de datos, y redujo el número de fallos en los pipelines causados por cambios no documentados en las fuentes de datos.

Edmunds está ahora extendiendo el enfoque de moderación con IA generativa más allá de las reseñas de calidad de concesionarios para cubrir todas las categorías de reseñas en la plataforma. El VP de Tecnología Greg Rokita considera Databricks fundamental para esa expansión, describiendo el tratamiento unificado de almacenamiento de datos y modelado de IA de la plataforma como esencial para construir sistemas capaces de razonar tanto sobre datos históricos como sobre predicciones futuras sin necesidad de cambiar entre infraestructuras separadas.