Cómo Grammarly procesa 5.000 millones de eventos diarios en 15 minutos con Databricks

La misión de Grammarly es mejorar vidas mejorando la comunicación, y su plataforma de asistencia de escritura ahora sirve a 30 millones de personas y 50.000 equipos en todo el mundo. Cada sugerencia aceptada, rechazada o ignorada genera un evento, sumando aproximadamente 5.000 millones de eventos por día. Gestionar y analizar esos datos a escala se convirtió en el desafío de infraestructura definitorio de la empresa.

Grammarly había construido su propia plataforma de análisis, pero requería un lenguaje tipo SQL personalizado que consumía mucho tiempo aprenderlo y ralentizaba la incorporación de nuevos empleados. A medida que la empresa creció, la plataforma no podía ingerir fuentes de datos externas, no podía conectarse a Tableau y ejecutaba grandes clústeres de Amazon EMR las 24 horas del día. Cada equipo comenzó a resolver sus propias necesidades de análisis de forma independiente, creando silos de datos y dificultando saber qué conjunto de datos era correcto. «Cada equipo decidió resolver sus necesidades de análisis de la mejor manera que vio conveniente», dijo Chris Locklin, Gerente de Ingeniería de Plataformas de Datos. «Eso creó desafíos en la consistencia y en saber qué conjunto de datos era correcto.»

Grammarly evaluó múltiples proveedores, incluido Snowflake, que no cumplió con las capacidades de ciencia de datos e ML, los costos impredecibles a escala y, crucialmente, no permitía la propiedad completa de los datos de la empresa. Databricks ganó en las tres dimensiones. La empresa migró a la arquitectura lakehouse con Delta Lake como capa de almacenamiento, Databricks SQL para consultas e integración con Tableau, y Unity Catalog para control de acceso detallado y linaje de datos de extremo a extremo. La seguridad era innegociable: así como Grammarly garantiza que los datos de los usuarios siempre son suyos, la empresa requería la misma propiedad sobre sus propios datos analíticos.

Los resultados fueron inmediatos. Las consultas son ahora un 110% más rápidas al 10% del costo de ingesta anterior. Los 5.000 millones de eventos diarios que antes tardaban cuatro horas en estar disponibles para análisis ahora están listos en menos de 15 minutos, lo que permite a los equipos obtener retroalimentación rápida sobre el lanzamiento de nuevas funciones. Unity Catalog resolvió el problema del control de acceso distribuido a escala, dando a los analistas la flexibilidad que necesitaban mientras aplicaba los estándares de uso y el linaje de datos.

El cambio más amplio es cultural. «Hacer todo, desde ETL e ingeniería hasta análisis y ML, bajo la misma plataforma elimina barreras y facilita que todos trabajen con los datos y entre sí», dijo Sergey Blanket, Director de Inteligencia de Negocio. Migrar de la rígida infraestructura heredada le dio a Grammarly la adaptabilidad para evolucionar junto con sus necesidades de datos, con la confianza de que la plataforma escalará con la empresa.