Cómo AudioShake usa AWS para separar cualquier sonido a escala

AudioShake es una empresa de IA que aborda uno de los desafíos técnicos más persistentes del sonido: una vez que el audio es mezclado, separar sus componentes en pistas individuales ha sido históricamente imposible con una calidad útil. La startup con sede en San Francisco atiende a la industria musical, estudios de cine, transmisores deportivos y empresas de entrenamiento de IA, en cualquier lugar donde datos de audio valiosos estén atrapados dentro de grabaciones complejas y en capas que las herramientas existentes no pueden desenredar.

La magnitud del problema es considerable. Una canción grabada en 1965 existe como una sola pista mezclada: voz, batería, guitarra y bajo fusionados. Una transmisión deportiva en vivo superpone comentarios, ruido de la multitud y música con derechos de autor en tiempo real. Los estudios de cine que intentan doblar contenido para mercados internacionales a menudo no pueden eliminar el diálogo original de forma limpia. Las empresas de IA que entrenan modelos multimodales con habla del mundo real tienen dificultades cuando las entradas de audio son ruidosas y superpuestas. Las reglas de procesamiento de señal estándar no pueden manejar esta complejidad, lo que dejó el problema prácticamente sin resolver hasta que el aprendizaje profundo cambió el panorama.

AudioShake construyó modelos de separación propietarios entrenados en grandes conjuntos de datos de audio con licencia, utilizando instancias Amazon EC2 G6 con GPU para el entrenamiento e inferencia de alto rendimiento. Amazon S3 gestiona los enormes volúmenes de archivos que exige el procesamiento de audio, mientras que Amazon ECS y EKS proporcionan la capa de orquestación de contenedores necesaria para escalar cargas de trabajo en distintos casos de uso. AWS Lambda y Step Functions coordinan los pipelines de procesamiento de múltiples pasos que convierten las cargas de audio en pistas separadas. AWS CloudFormation gestiona la infraestructura como código para una implementación e iteración rápidas. El resultado son tres modelos de separación en producción: uno para pistas musicales, uno para la separación de diálogo, música y efectos, y uno para el aislamiento de múltiples voces.

El impacto de esta infraestructura se ha demostrado a través de asociaciones que habrían sido imposibles con las herramientas de audio tradicionales. AudioShake ayudó a Green Day a recuperar pistas de guitarra de una grabación de 1991 para un remix en TikTok, permitió la remasterización de clásicos álbumes de jazz en vivo de los legados de Oscar Peterson y Nina Simone, y separó el audio completo de El Mago de Oz para que la película pudiera relanzarse en Dolby Atmos en The Sphere en Las Vegas. La empresa también ganó el primer premio en el concurso Unicorn Tank del AWS re:Invent 2024.

AudioShake describe su objetivo más amplio como la construcción de la "capa de inteligencia del sonido", la transición equivalente a la que hizo que el texto fuera buscable y programable. Con AWS como su columna vertebral de infraestructura, la empresa está expandiendo su actividad desde la separación de pistas individuales hasta casos de uso como la restauración de voz para pacientes con ELA, la mejora de la claridad de audio en centros de atención al cliente, la gestión de derechos de autor en transmisiones deportivas y la generación de datos de entrenamiento para la próxima generación de modelos multimodales.