Cómo BigID usa Elasticsearch para acelerar las consultas de datos 120 veces a escala

BigID ayuda a las organizaciones a obtener una visión completa de sus datos dispersos entre entornos cloud, SaaS y locales. Su plataforma permite a los clientes descubrir datos sensibles, abordar vulnerabilidades de seguridad, simplificar el cumplimiento normativo y gobernar los datos de IA de forma eficaz. A medida que la base de clientes de BigID creció y los volúmenes de datos se escalaron, mantener el rendimiento que sus clientes requerían se volvió cada vez más difícil.

El problema central era la búsqueda. La plataforma de almacenamiento de datos existente en BigID requería frecuentes migraciones de esquema y adiciones de índices solo para mantener el ritmo del crecimiento de los volúmenes de datos — un enfoque frágil que se volvió más difícil de sostener a escala. Las búsquedas ad hoc a través de diversos campos de datos eran especialmente problemáticas. Para un cliente del sector asegurador con miles de millones de registros, ejecutar una consulta compleja — como identificar objetos con atributos específicos dentro de un rango de fechas y fuente de datos — habría sido ineficiente y habría requerido una preindexación que podría rivalizar en tamaño con los propios datos. Tomer Negbi, director de Ingeniería de BigID, reconoció que la empresa necesitaba una arquitectura de búsqueda fundamentalmente más escalable.

BigID migró sus módulos orientados a datos a Elasticsearch ejecutado en Elastic Cloud con AWS como proveedor en la nube. La nueva arquitectura permitió a los clientes configurar sus tuberías de datos a través de la interfaz de BigID, especificando fuentes de datos y conectores, con las exploraciones priorizadas según sus necesidades. Elasticsearch gestionó la indexación y el análisis en tiempo real de datos no estructurados a cualquier escala, permitiendo filtrado y agregación complejos sin penalizaciones por preindexación. Los paneles de Kibana predefinidos mostraban las métricas clave, y los clientes podían colaborar con BigID para crear analíticas personalizadas adaptadas a sus requisitos específicos de cumplimiento o riesgo.

La mejora del rendimiento fue inmediata y drástica. Las consultas que antes tardaban 20 minutos ahora se completaban en segundos — 120 veces más rápido. Los timeouts de consultas en los módulos de búsqueda, panel y reportes desaparecieron por completo, sustituidos por respuestas consistentemente rápidas. Esta nueva fiabilidad permitió al equipo de ingeniería de BigID pasar de desarrollar soluciones alternativas a problemas de rendimiento a crear nuevas funcionalidades y capacidades.

BigID y Elastic trabajan estrechamente juntos, con BigID aportando retroalimentación sobre nuevas versiones y Elastic anticipando de forma proactiva las necesidades del producto. Negbi describe la relación como esencial para una empresa donde la innovación rápida es un requisito competitivo. BigID cuenta ahora con una plataforma capaz de gestionar los casos de uso empresariales más intensivos en datos — con filtrado complejo geográfico, regulatorio y basado en riesgo — manteniendo la flexibilidad necesaria para adaptarse a las demandas cambiantes de la seguridad y el cumplimiento de datos.