Cómo YipitData usa Databricks Agent Bricks para escalar la inteligencia de datos 20 veces

YipitData se sitúa en la intersección de los datos financieros y la inteligencia artificial: convierte miles de millones de registros de transacciones procedentes de datos de tarjetas de crédito, recibos extraídos mediante web scraping y decenas de fuentes de datos alternativos en inteligencia de mercado accionable para inversores institucionales. La propuesta de valor de la empresa depende de etiquetar de forma fiable cada transacción con el comerciante o empresa correcta—es decir, de relacionar registros de proveedores ambiguos y desordenados con negocios reales a una escala que permita mantenerse al ritmo de las actualizaciones de datos diarias. A medida que crecían la base de clientes y los volúmenes de datos, la brecha entre lo posible y lo alcanzable se hacía cada vez más visible.

Durante años, YipitData dependió de analistas que escribían y mantenían cientos de reglas de expresiones regulares, complementadas con modelos tradicionales de procesamiento del lenguaje natural. El enfoque funcionaba con patrones conocidos, pero fallaba en los casos límite. Los analistas codificaron efectivamente su criterio en más de 500 declaraciones de expresiones regulares, pero aun así no captaban el matiz y el contexto que requerían las descripciones en texto libre. El verdadero cuello de botella no era computacional—sino el criterio irremplazable que los analistas experimentados aplicaban de forma instintiva ante casos ambiguos. “Estábamos limitados por lo que un analista podía hacer en un día”, señaló Edward Goo, responsable de Ingeniería de Datos en YipitData. “Incluso con cientos de reglas de expresiones regulares, siempre se pierde matiz, contexto y el criterio que los analistas aplican de forma intuitiva.”

La solución consistió en dejar de intentar codificar el criterio de los analistas en reglas y, en su lugar, dar a los agentes de IA acceso directo a los datos institucionales dentro de la misma plataforma gobernada. YipitData adoptó Databricks Agent Bricks, utilizando su capacidad de extracción de información para integrar el etiquetado basado en razonamiento directamente en los pipelines ETL existentes mediante inferencia por lotes con SQL. La decisión arquitectónica clave fue mantener el enriquecimiento de IA dentro de Databricks Data Intelligence Platform en lugar de exportar datos a servicios externos. Los agentes se conectan directamente a los datos empresariales gobernados por Unity Catalog, heredando las mismas garantías de permisos, linaje y cumplimiento que los pipelines subyacentes. Para la resolución de entidades a gran escala, el equipo combina Agent Bricks con Databricks Lakebase, una base de datos PostgreSQL sin servidor que sirve como sistema de registro de empresas conocidas. La lógica de recuperación usa Lakebase para acotar candidatos a partir de relaciones estructuradas, y luego los agentes de búsqueda de IA y extracción de información evalúan el texto no estructurado para tomar la decisión final de etiquetado.

Los resultados llegaron antes de lo esperado. En un solo trimestre, el número de empresas que YipitData etiqueta y enriquece automáticamente creció de aproximadamente 3.000 a más de 60.000. Procesar 1 millón de registros ahora lleva aproximadamente una hora, frente a las 24 horas anteriores. En un caso de uso principal, Agent Bricks alcanzó una precisión de etiquetado del 92–95% desde el primer momento, superando el estándar de calidad necesario para los productos orientados al cliente. “Nuestros analistas tienen un estándar de calidad muy exigente, y Agent Bricks lo cumplió más rápido de lo que esperábamos”, dijo Edward. Estos avances habilitaron directamente el lanzamiento y la rápida expansión de Signals, el producto de inteligencia de mercado externo de YipitData para analizar empresas, competidores y tendencias de crecimiento en mercados mayoritariamente privados.

El impacto va más allá de la eficiencia. Los analistas que antes pasaban sus días escribiendo reglas de expresiones regulares ahora se centran en validar resultados, mejorar la calidad y explorar nuevos conjuntos de datos. El mismo marco basado en agentes es reutilizable en fuentes de datos adicionales, convirtiendo el enriquecimiento con IA en una capacidad de plataforma repetible en lugar de un proyecto puntual. Los planes contemplan escalar la cobertura de Signals desde miles hasta cientos de miles de empresas, y la arquitectura agéntica es lo que hace viable esa trayectoria. “No fue solo una ganancia en eficiencia”, afirmó Anup Segu, arquitecto jefe. “Cambió los productos que podíamos construir de forma realista.”