Cómo Melange usa Pinecone para potenciar búsquedas de patentes con 600 millones de vectores
Melange es una empresa de análisis de patentes que automatiza la búsqueda de arte previo para equipos de litigación mediante la indexación y recuperación de cientos de millones de documentos de patentes y literatura académica a gran escala. La empresa sustituyó un clúster de Milvus autoalojado por la base de datos vectorial serverless de Pinecone tras experimentar caídas por presión de memoria al superar los 40 millones de registros. Con Pinecone, Melange opera ahora un sistema en producción con más de 600 millones de vectores, ahorrando aproximadamente 75.000 dólares anuales y reduciendo el tiempo de comercialización de modelos.
Impacto
>600M
Vectores almacenados en producción
>$75,000
Ahorro anual de costes
~10%
Reducción del tiempo de comercialización de modelos
Desafío
La base de datos vectorial Milvus autoalojada de Melange experimentaba caídas frecuentes por presión de memoria cuando el corpus de patentes superaba los aproximadamente 40 millones de registros, lo que imposibilitaba servir el conjunto completo de patentes globales que requerían sus clientes de litigación. Operar un clúster siempre activo sin personal dedicado a la infraestructura era insostenible a la escala que el negocio necesitaba alcanzar.
Solución
Melange reemplazó su despliegue autoalojado de Milvus por la base de datos vectorial serverless de Pinecone, cuya arquitectura basada en slabs desacopla el almacenamiento del cómputo para soportar cientos de millones de vectores a bajo coste. Los pipelines de ingesta masiva en Parquet permiten al equipo probar nuevos modelos de embeddings y ampliar espacios de nombres sin trabajo de infraestructura, manteniendo alta recuperación en un corpus que actualmente supera los 600 millones de vectores.
Herramientas y tecnologías
Lo que dicen los líderes
“Nuestro KPI para Pinecone es sencillo: cuánto tiempo pasamos sin pensar en él. Desde que empezamos, no hemos tenido un solo problema de fiabilidad, y eso es exactamente lo que necesitamos como equipo pequeño centrado en construir el producto, no en mantener la infraestructura.”
“Toda nuestra operación de búsqueda depende de Pinecone como primer paso del proceso. Cuando evaluamos la experiencia del desarrollador y el tiempo ahorrado, Pinecone fue el ganador indiscutible. Poder generar archivos en la nube e importarlos de forma fluida con soporte empresarial garantizado era exactamente lo que queríamos.”
Regístrate para leer casos de estudio completos, acceder a métricas detalladas y recibir todos los reportes.
Historia completa
El litigio de patentes es uno de los entornos de mayor riesgo en los servicios legales. Un solo caso puede costar millones de dólares y depender de si los abogados logran localizar un puñado de documentos históricos dispersos entre cientos de millones de patentes globales y miles de millones de artículos académicos que establezcan la anterioridad. Melange fue creada para resolver este problema mediante búsqueda semántica a gran escala, automatizando las fases más laboriosas del descubrimiento de arte previo para que los litigantes reciban exactamente los documentos que su caso requiere.
Para cumplir esa promesa, Melange necesitaba una infraestructura capaz de indexar y consultar a una escala que pocas aplicaciones exigen. Su enfoque inicial, un clúster de Milvus autoalojado, funcionaba con tamaños de conjuntos de datos más pequeños, pero se volvía inestable a medida que el corpus crecía. Los cuellos de botella de memoria provocaban caídas frecuentes, lograr una disponibilidad fiable con un modelo de costes serverless era inviable, y mantener una base de datos vectorial de nivel productivo sin personal dedicado a la infraestructura consumir tiempo de ingeniería que debería haberse destinado a la calidad de búsqueda y el desarrollo de modelos.
Cuando los clientes comenzaron a exigir que Melange ampliara su cobertura al corpus completo de patentes globales, aproximadamente 450 millones de registros en ese momento, la solución autoalojada simplemente no podía ejecutarse. El equipo evaluó alternativas comerciales y de código abierto, exigiendo una opción serverless, alta recuperación a escala y soporte especializado. La arquitectura serverless basada en slabs de Pinecone cumplió todos los criterios. Su modelo de almacenamiento y cómputo desacoplados permitía a Melange almacenar cientos de millones de embeddings a bajo coste, pagando el cómputo únicamente durante las consultas activas. El diseño de slabs también eliminó los cuellos de botella de memoria y la sobrecarga de gestión de clústeres que habían bloqueado su crecimiento.
Melange migró a Pinecone y construyó su pipeline de ingesta en torno a importaciones masivas en formato Parquet, lo que les permitió incorporar nuevos modelos de embeddings y crear nuevos espacios de nombres para pruebas comparativas sin reconstruir índices ni gestionar configuraciones de clúster. El resultado fue un sistema en producción que superó los 600 millones de vectores en múltiples generaciones de modelos, manteniendo la alta recuperación que exige la búsqueda de arte previo. Para un equipo pequeño cuyo valor reside en la experiencia en el dominio más que en la infraestructura, la fiabilidad del sistema se convirtió en una ventaja competitiva: el pipeline de búsqueda funciona sin interrupciones y los ingenieros se centran en construir mejores modelos en lugar de mantener la base de datos en funcionamiento.
Melange estima que Pinecone le ahorra a la empresa aproximadamente 75.000 dólares anuales en mantenimiento de infraestructura evitado, reducción de la carga operativa y menos tiempo de ingeniería destinado a resolver problemas de la base de datos. El tiempo de comercialización de modelos se ha reducido en varias semanas, y el equipo prevé continuar escalando más allá de los volúmenes actuales de vectores, añadiendo nuevas modalidades de datos como dibujos de patentes y expandiendo enfoques de embeddings en conjunto que combinen representaciones de múltiples modelos.