El nuevo sistema de inteligencia artificial sabe qué sonido debe acompañarlo y cómo sincronizar audio con imagen
Nueva inteligencia artificial aprende el sonido que lleva cada imagen sin ayuda humana-. Los humanos aprendemos, sin darnos cuenta, las asociaciones entre imagen y sonido. Lo que vemos y lo que oímos al mismo tiempo son dos vertientes de una misma experiencia de percepción. Por ejemplo, podemos ver a alguien tocando el violonchelo y reconocer que sus movimientos generan la música que escuchamos. Para los ordenadores, asociar imagen con sonido es muchísimo más difícil, ha venido siendo un reto.
Ahora, unos científicos han conseguido crear una inteligencia artificial que aprende concordancias entre imagen y sonido con la misma facilidad con la que lo hacemos los humanos.
Fue obra del equipo integrado por Andrew Rouditchenko, del Instituto Tecnológico de Massachusetts (MIT) en Estados Unidos, Edson Araujo, de la Universidad Goethe en Alemania.
Leer también: Inauguran el primer torneo de boxeo con robots en China
Esta nueva inteligencia artificial podría ser muy útil en los departamentos de producción de cadenas de televisión y estudios de cine.
Puede disponer de una herramienta tan avanzada y automatizada, ahorraría mucho tiempo y esfuerzo a la hora de manejar contenido multimedia y vigilar que audio y video siempre concuerden.
Este tipo de inteligencia artificial permitirá mejorar la capacidad del robot para entender lo que sucede a su alrededor del mundo real, fuera del ambiente controlado de un laboratorio.
La estrategia convencional para enseñarle a una inteligencia artificial a emparejar sonido con imagen suele basarse en muestras de audio y video de larga duración.
Por ejemplo, una filmación de 10 segundos y el sonido de un portazo se procesan juntos, a pesar de que el sonido del portazo dura solo un segundo.
En cambio, con el nuevo sistema de inteligencia artificial, llamado CAV-MAE Sync, el audio se divide en ventanas más pequeñas, que permiten un mejor encaje de cada sonido con su imagen específica.
EO/// Con información recopilada de: NCYT de Amazings