En música, "portamento" es un término que se ha utilizado durante cientos de años, que se refiere al efecto de deslizar una nota en un tono en una nota de tono más bajo o más alto. Pero solo los instrumentos que pueden variar continuamente en tono -- como la voz humana, los instrumentos de cuerda y los trombones - pueden lograr el efecto.
Ahora, un estudiante del MIT ha inventado un algoritmo novedoso que produce un efecto de portamento entre dos señales de audio en tiempo real. En experimentos, el algoritmo fusionó a la perfección varios clips de audio, como una nota de piano deslizándose en una voz humana, y unocanción que se mezcla con otra. Su trabajo que describe el algoritmo ganó el premio al "mejor trabajo para estudiantes" en la reciente Conferencia Internacional sobre Efectos de Audio Digital.
El algoritmo se basa en el "transporte óptimo", un marco basado en la geometría que determina las formas más eficientes de mover objetos, o puntos de datos, entre múltiples configuraciones de origen y destino. Formulado en el siglo XVIII, el marco se ha aplicado acadenas de suministro, dinámica de fluidos, alineación de imágenes, modelado 3D, gráficos por computadora y más.
En el trabajo que se originó en un proyecto de clase, Trevor Henderson, ahora un estudiante graduado en ciencias de la computación, aplicó el transporte óptimo para interpolar señales de audio, o mezclar una señal con otra. El algoritmo primero divide las señales de audio en breves segmentos. Luego, encuentra la manera óptima de mover los tonos en cada segmento a los tonos en la otra señal, para producir el deslizamiento suave del efecto portamento. El algoritmo también incluye técnicas especializadas para mantener la fidelidad de la señal de audio a medida que transita.
"El transporte óptimo se usa aquí para determinar cómo mapear los tonos en un sonido a los tonos en el otro", dice Henderson, un organista con formación clásica que interpreta música electrónica y ha sido DJ en WMBR 88.1, la estación de radio del MIT ".Si está transformando un acorde en un acorde con una armonía diferente, o con más notas, por ejemplo, las notas se separarán del primer acorde y encontrarán una posición para deslizarse sin problemas en el otro acorde ".
Según Henderson, esta es una de las primeras técnicas para aplicar el transporte óptimo a la transformación de las señales de audio. Ya ha utilizado el algoritmo para construir equipos que transicien sin problemas entre canciones en su programa de radio. Los DJ también podrían usar el equipo para hacer la transición entrepistas durante presentaciones en vivo. Otros músicos podrían usarlo para mezclar instrumentos y voz en el escenario o en el estudio.
El coautor de Henderson en el artículo es Justin Solomon, profesor asistente de desarrollo de carrera del Consorcio X en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación. Solomon, que también toca el violonchelo y el piano, lidera el Grupo de Procesamiento de Datos Geométricos en elLaboratorio de Ciencias de la Computación e Inteligencia Artificial CSAIL y es miembro del Centro de Ingeniería Computacional.
Henderson tomó la clase de Solomon, 6.838 Análisis de formas, que asigna a los estudiantes la aplicación de herramientas geométricas como el transporte óptimo a aplicaciones del mundo real. Los proyectos de los estudiantes generalmente se centran en formas tridimensionales de la realidad virtual o los gráficos por computadora.una sorpresa para Solomon. "Trevor vio una conexión abstracta entre la geometría y el movimiento de las frecuencias en las señales de audio para crear un efecto de portamento", dice Solomon. "Estuvo entrando y saliendo de mi oficina todo el semestre con equipos de DJ. No era lo queEsperaba ver, pero fue muy entretenido "
Para Henderson, no fue demasiado exagerado ". Cuando veo una nueva idea, pregunto: '¿Es esto aplicable a la música?'", Dice. "Entonces, cuando hablamos sobre el transporte óptimo, me preguntabaqué pasaría si lo conectara a los espectros de audio "
Henderson dice que una buena forma de pensar en un transporte óptimo es encontrar "una manera perezosa de construir un castillo de arena". En esa analogía, el marco se utiliza para calcular la forma de mover cada grano de arena desde su posición en unapilar sin forma en una posición correspondiente en un castillo de arena, utilizando el menor trabajo posible.En gráficos de computadora, por ejemplo, el transporte óptimo se puede utilizar para transformar o transformar formas al encontrar el movimiento óptimo de cada punto en una forma en la otra.
La aplicación de esta teoría a los clips de audio implica algunas ideas adicionales del procesamiento de señales. Los instrumentos musicales producen sonido a través de las vibraciones de los componentes, dependiendo del instrumento. Los violines usan cuerdas, los instrumentos de metal usan aire dentro de cuerpos huecos y los humanos usan cuerdas vocales. Estas vibracionesse puede capturar como señales de audio, donde la frecuencia y la amplitud altura del pico representan diferentes tonos.
Convencionalmente, la transición entre dos señales de audio se realiza con un desvanecimiento, donde una señal se reduce en volumen mientras que la otra aumenta. El algoritmo de Henderson, por otro lado, desliza suavemente los segmentos de frecuencia de un clip a otro, sin desvanecersevolumen.
Para hacerlo, el algoritmo divide cualquiera de los dos clips de audio en ventanas de aproximadamente 50 milisegundos. Luego, ejecuta una transformación de Fourier, que convierte cada ventana en sus componentes de frecuencia. Los componentes de frecuencia dentro de una ventana se agrupan en sintetizadores individuales "notas ". El transporte óptimo luego mapea cómo las notas en la ventana de una señal se moverán a las notas en la otra.
Entonces, un "parámetro de interpolación" se hace cargo. Eso es básicamente un valor que determina dónde estará cada nota en el camino desde su tono inicial en una señal hasta su tono final en la otra. Cambiar manualmente el valor del parámetro barrerá los tonosentre las dos posiciones, produciendo el efecto de portamento. Ese único parámetro también se puede programar y controlar mediante, por ejemplo, un crossfader, un componente deslizante en la mesa de mezclas de DJ que se desvanece suavemente entre las canciones. A medida que el crossfader se desliza, el parámetro de interpolación cambiapara producir el efecto
Detrás de escena hay dos innovaciones que aseguran una señal libre de distorsión. Primero, Henderson usó una nueva aplicación de una técnica de procesamiento de señal, llamada "reasignación de frecuencia", que agrupa los intervalos de frecuencia para formar notas individuales que pueden pasar fácilmenteentre señales. Segundo, inventó una forma de sintetizar nuevas fases para cada señal de audio mientras unía las ventanas de 50 milisegundos, para que las ventanas vecinas no interfieran entre sí.
A continuación, Henderson quiere experimentar con la alimentación de la salida del efecto nuevamente en su entrada. Esto, cree, podría crear automáticamente otro efecto de música clásica, "legato", que es una transición suave entre notas distintas. A diferencia de un portamento -- que reproduce todas las notas entre una nota de inicio y una de finalización - una legato transita sin problemas entre dos notas distintas, sin capturar ninguna nota intermedia.
VIDEO: Usar las matemáticas para mezclar notas musicales sin problemas http://youtu.be/gHBhMGbJHe8
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Rob Matheson. Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :