 |
| Imagen de Gerd Altmann en Pixabay |
Un equipo de investigadores ha utilizado inteligencia artificial (IA) para reconstruir videos mediante el uso de datos continuos de resonancia magnética funcional (fMRI) de los cerebros de los participantes.
Al publicar sus hallazgos, que aún no han sido revisados por pares, en el servidor de preimpresión arXiv, los investigadores utilizaron datos tomados de voluntarios que habían visto videos de entradas variadas, incluidos animales, humanos y paisajes naturales, mientras se sometían a escáneres cerebrales.
 |
El sistema obtuvo una buena puntuación en términos de semántica. Crédito: Zijiao Chen, Jiaxin Qing, Juan Helen Zhou/ https://mind-video.com/ |
"La tarea de recrear la visión humana a partir de grabaciones cerebrales, especialmente utilizando herramientas no invasivas como la resonancia magnética funcional (fMRI), es una tarea emocionante pero difícil", dijo el equipo de la Universidad Nacional de Singapur y la Universidad China de Hong Kong. , escribió en su estudio. "Los métodos no invasivos, aunque menos intrusivos, capturan información limitada, susceptible a diversas interferencias como el ruido".
Un desafío para recrear la entrada de video (o movimiento) (es decir, lo que alguien vio mientras le escaneaban el cerebro) es que las máquinas fMRI capturan instantáneas de la actividad cerebral cada pocos segundos. Peor:
"Cada escaneo fMRI representa esencialmente un 'promedio' de la actividad cerebral durante la instantánea. Por el contrario, un video típico tiene alrededor de 30 cuadros por segundo (FPS). Si un cuadro fMRI toma 2 segundos, durante ese tiempo, 60 cuadros de video, potencialmente que contienen varios objetos, movimientos y cambios de escena, se presentan como estímulos visuales. Por lo tanto, decodificar fMRI y recuperar videos a un FPS mucho más alto que la resolución temporal de fMRI es una tarea compleja".
Entrenaron a la IA, a la que llaman MinD-Video, para decodificar los datos de fMRI y modificaron el modelo de IA de generación de imágenes Stable Diffusion para recrear la entrada como video. Luego, los videos se evaluaron en términos de semántica (si la IA entendió que la entrada era un gato o un humano corriendo, etc.) y la dinámica de la escena, o qué tan cerca se veía la reconstrucción visual a nivel de píxeles.
El equipo informa que su sistema tenía una precisión del 85 % en términos de semántica, superando al modelo anterior de IA de mejor rendimiento en un 45 %.
 |
| Recreación de IA a la derecha. Crédito: Zijiao Chen, Jiaxin Qing, Juan Helen Zhou/ https://mind-video.com/ |
"Los objetos básicos, los animales, las personas y los tipos de escenas se pueden recuperar bien [a partir de los datos de escaneo cerebral]", agregó el equipo. "Más importante aún, los movimientos, como correr, bailar y cantar, y la dinámica de la escena, como el primer plano de una persona, las escenas de movimiento rápido y la escena de plano general de una vista de la ciudad, también pueden reconstruirse correctamente".
Los investigadores, que publicaron más ejemplos en su sitio web Mind-Video, esperan que el trabajo sea prometedor en el desarrollo de interfaces cerebro-computadora, aunque enfatizan que la regulación es necesaria para proteger los datos biológicos de las personas "y evitar cualquier uso malicioso de esta tecnología".
El estudio se publica en el servidor de preimpresión arXiv.