Proyecto ArTeCIH UC

Subproyecto 1: TimbreNet

En este proyecto, Agustin Macaya utiliza autoencoders variacionales para que una red neuronal artificial aprenda directamente a generar audio (en lugar de otras representaciones intermedias como MIDI o piano rolls). El siguiente video presenta un resumen y ejemplos del proyecto. Más detalles técnicos en el repositorio github de TimbreNet.

Subproyecto 2: Conditional GAN

En este proyecto, Manuel Cartagena utiliza generative adversarial networks (GAN) para que un par de redes neuronales artificiales aprendan a generar una representación musical llamada pianorolls, los cuales se transforman en MIDI para poder ser tocados por algun instrumento virtual. En las siguientes imágenes se presentan las arquitecturas de las redes y ejemplos del proyecto.

Red Generadora

Esta parte de la red toma como entrada ruido aleatorio y lo convierte en un pianoroll mediante deconvoluciones, las cuales transforman un tensor a otro de mayor tamaño

Red Discriminadora

Esta segunda red es la encargada de tomar un pianoroll y determinar si es un ejemplo lo suficientemente real en comparación a los datos de entrenamiento, la finalidad de esta red es que aprenda a discriminar cuando un ejemplo es generado por la red generadora versus datos reales. De esta manera al entrenar ambas redes en conjunto, la red generadora aprende a entregar ejemplos que parezcan reales con respecto a los datos.

Ejemplos generados por la red neuronal:

Como los pianorolls son una representación de la música, estos fueron transformados a MIDI y luego tocados por un instrumento virtual, esto da pie a que se puedan usar distintos sonidos.

Futuros pasos:

En estos momentos las piezas generadas no poseen condicionalidad, la cual se planea incluir para poder pedirle a la red que entregue piezas con ciertas características tales como la tonalidad, la velocidad entre otras cosas. Esto sería una herramienta interesante para compositores donde se les está entregando piezas nuevas bajo parámetros explicitos del usuario.

Además se planean mejorar los resultados existentes con respecto a la musicalidad de las piezas generadas.