Cómo BigID usa Elasticsearch para acelerar las consultas de datos 120 veces a escala
BigID, plataforma de seguridad de datos, privacidad, cumplimiento normativo y gestión de datos para IA fundada en 2016, desplegó Elasticsearch en Elastic Cloud y AWS para superar la grave degradación del rendimiento de las consultas a medida que crecieron los volúmenes de datos de sus clientes. Al migrar sus módulos principales orientados a datos a Elasticsearch, BigID redujo los tiempos de consulta de 20 minutos a segundos — una mejora de 120 veces —, eliminó todos los timeouts en los módulos de búsqueda, panel y reporting, y construyó una base capaz de gestionar miles de millones de registros con filtrado y agregación complejos.
Impacto
120x
Mejora en la velocidad de consultas
-100%
Tasa de timeouts de consultas
Desafío
A medida que BigID escalaba, su plataforma de almacenamiento existente requería frecuentes migraciones de esquema y adiciones de índices para gestionar los crecientes volúmenes de datos de sus clientes, lo que arruinaba el rendimiento de las búsquedas ad hoc. Las consultas complejas en conjuntos de datos con miles de millones de registros tardaban hasta 20 minutos y frecuentemente generaban timeouts, degradando la experiencia del cliente y bloqueando la velocidad de desarrollo.
Solución
BigID migró sus módulos principales orientados a datos a Elasticsearch en Elastic Cloud y AWS, habilitando búsqueda indexada en tiempo real y análisis de datos no estructurados a cualquier escala, con tuberías configurables por el cliente, filtrado y agregación complejos sobre miles de millones de registros, y paneles de Kibana para analíticas predefinidas y personalizadas.
Herramientas y tecnologías
Lo que dicen los líderes
“Las consultas que antes tardaban 20 minutos ahora se ejecutan en cuestión de segundos, 120 veces más rápido: es una mejora enorme.”
“La escalabilidad de Elastic Cloud está perfectamente alineada con las necesidades de nuestros clientes: gestionar grandes volúmenes de datos con detalles complejos y habilitar filtrado y agregación sofisticados.”
Regístrate para leer casos de estudio completos, acceder a métricas detalladas y recibir todos los reportes.
Historia completa
BigID ayuda a las organizaciones a obtener una visión completa de sus datos dispersos entre entornos cloud, SaaS y locales. Su plataforma permite a los clientes descubrir datos sensibles, abordar vulnerabilidades de seguridad, simplificar el cumplimiento normativo y gobernar los datos de IA de forma eficaz. A medida que la base de clientes de BigID creció y los volúmenes de datos se escalaron, mantener el rendimiento que sus clientes requerían se volvió cada vez más difícil.
El problema central era la búsqueda. La plataforma de almacenamiento de datos existente en BigID requería frecuentes migraciones de esquema y adiciones de índices solo para mantener el ritmo del crecimiento de los volúmenes de datos — un enfoque frágil que se volvió más difícil de sostener a escala. Las búsquedas ad hoc a través de diversos campos de datos eran especialmente problemáticas. Para un cliente del sector asegurador con miles de millones de registros, ejecutar una consulta compleja — como identificar objetos con atributos específicos dentro de un rango de fechas y fuente de datos — habría sido ineficiente y habría requerido una preindexación que podría rivalizar en tamaño con los propios datos. Tomer Negbi, director de Ingeniería de BigID, reconoció que la empresa necesitaba una arquitectura de búsqueda fundamentalmente más escalable.
BigID migró sus módulos orientados a datos a Elasticsearch ejecutado en Elastic Cloud con AWS como proveedor en la nube. La nueva arquitectura permitió a los clientes configurar sus tuberías de datos a través de la interfaz de BigID, especificando fuentes de datos y conectores, con las exploraciones priorizadas según sus necesidades. Elasticsearch gestionó la indexación y el análisis en tiempo real de datos no estructurados a cualquier escala, permitiendo filtrado y agregación complejos sin penalizaciones por preindexación. Los paneles de Kibana predefinidos mostraban las métricas clave, y los clientes podían colaborar con BigID para crear analíticas personalizadas adaptadas a sus requisitos específicos de cumplimiento o riesgo.
La mejora del rendimiento fue inmediata y drástica. Las consultas que antes tardaban 20 minutos ahora se completaban en segundos — 120 veces más rápido. Los timeouts de consultas en los módulos de búsqueda, panel y reportes desaparecieron por completo, sustituidos por respuestas consistentemente rápidas. Esta nueva fiabilidad permitió al equipo de ingeniería de BigID pasar de desarrollar soluciones alternativas a problemas de rendimiento a crear nuevas funcionalidades y capacidades.
BigID y Elastic trabajan estrechamente juntos, con BigID aportando retroalimentación sobre nuevas versiones y Elastic anticipando de forma proactiva las necesidades del producto. Negbi describe la relación como esencial para una empresa donde la innovación rápida es un requisito competitivo. BigID cuenta ahora con una plataforma capaz de gestionar los casos de uso empresariales más intensivos en datos — con filtrado complejo geográfico, regulatorio y basado en riesgo — manteniendo la flexibilidad necesaria para adaptarse a las demandas cambiantes de la seguridad y el cumplimiento de datos.
Amazon Bedrock