Crean un sistema que genera letras para música instrumental en vivo
El sistema puede procesar música instrumental en vivo sin ser interpretada por un músico individual o una banda y generar letras que coincidan con las emociones expresadas por la música. Los y los artistas podrían entonces revisar estas letras generadas e inspirarse en ellas o adaptarlas, descubriendo así nuevos temas interesantes o ideas líricas que no habían considerado antes.
Investigadores de la Universidad de Waterloo han desarrollado recientemente LyricJam, un sistema computacional avanzado que puede generar letras para música instrumental en vivo. Este sistema, presentado en un documento que se presentará en la Conferencia Internacional sobre Creatividad Computacional y prepublicado en arXiv, podría ayudar a los artistas a componer nuevas letras que combinen bien con la música que crean.
“Siempre he tenido un profundo amor por la música y un interés en aprender sobre los procesos creativos detrás de algunas de mis canciones favoritas”, dijo a TechXplore Olga Vechtomova, una de las investigadoras que llevó a cabo el estudio. “Esto me llevó a investigar sobre música y letras y cómo el aprendizaje automático podría usarse para diseñar herramientas que inspirarían a los artistas musicales”.
Vechtomova y sus colegas han trabajado por años en la generación de letras, inicialmente, desarrollaron un sistema que puede aprender características o aspectos específicos del estilo lírico de un artista, mediante el análisis de grabaciones de audio de sus canciones y letras que compusieron en el pasado. Luego, este sistema utiliza la información recopilada en sus análisis para generar letras que están alineadas con el estilo de un artista en particular.
Recientemente, también comenzaron a investigar la posibilidad de generar letras para clips de audio de música instrumental grabada. Pero en su nuevo estudio, intentaron dar un paso adelante, desarrollando un sistema que puede generar letras adecuadas para música en vivo.
“El objetivo de esta última investigación fue diseñar un sistema que pueda generar letras que reflejen el estado de ánimo y las emociones expresadas a través de varios aspectos de la música, como acordes, instrumentos, tempo, etc.”, dijo Vechtomova. “Nos propusimos crear una herramienta que los músicos pudieran usar para inspirarse para escribir sus propias canciones“.
Los clips de audio se representan como espectrogramas que capturan diversas características musicales.
Durante el entrenamiento, el modelo aprende a asociar temas líricos, palabras y expresiones con varios aspectos de la música, como el ritmo, la instrumentación y las armonías.
Una vez entrenado, el sistema ideado por los investigadores puede generar nuevas letras que reflejen las emociones que transmite el artista a través de su música.
Crédito: Vechtomova, Sahu & Kumar
“El escenario que imaginamos es de un sistema de inteligencia artificial que actúa como un socio co-creativo con un músico”, explicó Vechtomova. “Desde la perspectiva del usuario, la aplicación LyricJam es muy simple: un artista musical reproduce música en vivo y el sistema muestra líneas de letras que genera en tiempo real en respuesta a la música que escucha. Las líneas generadas se guardan durante la sesión, para que el artista pueda mirarlos después de que terminen de tocar “.
¿Cómo funciona?
El sistema funciona convirtiendo archivos de audio sin procesar en espectrogramas y luego utilizando modelos de aprendizaje profundo para generar letras que coinciden con la música que procesaron en tiempo real. La arquitectura del modelo se compone de dos autocodificadores variacionales, uno diseñado para aprender representaciones de audio musical y el otro para aprender letras.
Vechtomova y sus colegas diseñaron luego dos nuevos mecanismos que alinean las representaciones de la música y las letras procesadas por los dos codificadores automáticos. En última instancia, estos mecanismos permiten que su sistema aprenda qué tipos de letras van bien con una música instrumental en particular.
“Dejamos que la máquina aprenda estas asociaciones a partir de los datos sin supervisión”, dijo Vechtomova. “Como resultado, la máquina aprende los temas, palabras y expresiones líricas que se asocian con diferentes tipos de música. Por ejemplo, observamos que las letras generadas para la música tranquila y ambiental son muy diferentes a las generadas para la música con un sonido más agresivo“.
En la Etapa 1, los investigadores entrenaron un autocodificador variacional de espectrograma (VAE) para aprender representaciones de audio.
En la Etapa 2, entrenaron un VAE condicional (CVAE) para aprender las representaciones de letras condicionadas en sus correspondientes clips de audio.
Por último, en la Etapa 3, se entrenó un modelo de alineación basado en la red generativa adversarial (GAN) para alinear letras y representaciones de audio.
En el momento de la inferencia, un clip de audio musical grabado en tiempo real se convierte en un espectrograma, que el modelo utiliza para generar nuevas letras que coinciden con la música.
La característica principal que distingue a LyricJam de otros sistemas de generación de letras desarrollados en el pasado es que puede crear letras adecuadas en tiempo real, ya que un artista está tocando música en vivo.
“Quiero resaltar que la motivación principal de esta investigación no es escribir una canción para el artista, sino inspirar la propia creatividad del artista sugiriendo nuevas ideas y expresiones que el sistema generó al escuchar su música”, dijo Vechtomova. “No queremos que el proceso de escritura de letras sea más fácil o más rápido. En cambio, queremos hacerlo más satisfactorio, ayudando a los artistas a entrar en el flujo creativo y realizar su propia creatividad al colaborar con el sistema”.
Para evaluar el sistema que desarrollaron, Vechtomova y sus colegas llevaron a cabo un estudio de usuarios en el que pidieron a los músicos que tocasen música en vivo y compartieran sus comentarios sobre las letras creadas por su sistema. Curiosamente, la mayoría de los músicos que participaron en este estudio dijeron que percibían a LyricJam como un compañero de jam no crítico que los animaba a improvisar y experimentar con expresiones musicales inusuales.
Los músicos y otros usuarios interesados en probar el sistema pueden acceder a una versión en vivo en https://lyricjam.ai .
Por | Enzo De la Hoz |Foto referencia D.P. Fuente |Tech Xplore.
