AI Ve lo que tú Ves Mind’s Eye es un Modelo de IA que Puede Reconstruir Escaneos Cerebrales en Imágenes.

The AI 'Mind's Eye' can reconstruct brain scans into images.

Desde hace tiempo, nos ha intrigado el desafío de entender cómo funciona nuestro cerebro. El campo de la neurociencia ha avanzado mucho, pero todavía carecemos de información sólida sobre cómo funciona nuestro cerebro en detalle. Estamos trabajando duro para descubrirlo, pero aún nos queda un largo camino por recorrer.

Un tema en el que la neurociencia ha estado ocupada es descifrar la compleja relación entre la actividad cerebral y los estados cognitivos. Una comprensión más profunda de cómo se codifican las entradas ambientales en los procesos neuronales tiene un gran potencial para avanzar en nuestro conocimiento del cerebro y sus mecanismos. Los avances recientes en enfoques computacionales han abierto nuevas oportunidades para desentrañar estos misterios, y la resonancia magnética funcional (fMRI) se ha convertido en una herramienta poderosa en este ámbito. Al detectar cambios en los niveles de oxigenación de la sangre, la fMRI permite medir la actividad neuronal y ya ha encontrado aplicaciones en entornos clínicos en tiempo real.

Una aplicación particularmente prometedora de la fMRI es su potencial para leer la mente en interfaces cerebro-computadora. Al decodificar patrones de actividad neuronal, se vuelve posible inferir información sobre el estado mental de una persona e incluso reconstruir imágenes a partir de su actividad cerebral. Los estudios previos en esta área han empleado predominantemente mapeos simples, como la regresión de cresta, para relacionar la actividad fMRI con modelos de generación de imágenes.

Sin embargo, como en todos los demás campos, la aparición de modelos de IA exitosos ha causado enormes avances en la reconstrucción de imágenes cerebrales. Hemos visto algunos métodos que intentan reconstruir lo que vimos utilizando escaneos fMRI y modelos de difusión. Hoy, tenemos otro método del que hablar que intenta abordar la decodificación del escaneo cerebral utilizando modelos de IA. Es hora de conocer a MindEye.

MindEye tiene como objetivo decodificar las entradas ambientales y los estados cognitivos a partir de la actividad cerebral. Mapea la actividad fMRI al espacio latente de incrustación de imágenes de un modelo CLIP pre-entrenado utilizando una combinación de MLP a gran escala, aprendizaje por contraste y modelos de difusión. El modelo consta de dos tuberías: una tubería de alto nivel (semántica) y una tubería de bajo nivel (perceptual).

Vista general de MindEye. Fuente: https://arxiv.org/pdf/2305.18274.pdf

En la tubería de alto nivel, los voxels fMRI se asignan al espacio de imagen CLIP, que es más semántico por naturaleza. Luego, se utiliza el aprendizaje por contraste para entrenar el modelo e introducir fMRI como una modalidad adicional al espacio de incrustación del modelo CLIP pre-entrenado. Se utiliza una versión bidireccional de la mezcla de datos de contraste mixup para mejorar el rendimiento del modelo.

La tubería de bajo nivel, por otro lado, asigna los voxels fMRI al espacio de incrustación del autoencoder variacional (VAE) de difusión estable. La salida de esta tubería se puede utilizar para reconstruir imágenes borrosas que exhiben métricas de imagen de bajo nivel de vanguardia. Dado que la salida no es de alta calidad, se utiliza el método img2img al final para mejorar aún más las reconstrucciones de imágenes mientras se preservan las métricas de alto nivel.

Resultados de muestra de MindEye. Fuente: https://arxiv.org/pdf/2305.18274.pdf

MindEye logra resultados de vanguardia tanto en tareas de reconstrucción de imágenes como de recuperación. Produce reconstrucciones de alta calidad que coinciden con las características de bajo nivel de las imágenes originales y tienen un buen rendimiento en métricas de imagen de bajo y alto nivel. Las incrustaciones fMRI desarticuladas obtenidas por MindEye también muestran un excelente rendimiento en tareas de recuperación de imágenes y cerebro.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Genera publicidad creativa utilizando inteligencia artificial generativa implementada en Amazon SageMaker

La publicidad creativa tiene el potencial de ser revolucionada por la IA generativa (GenAI). Ahora puedes crear una a...

Inteligencia Artificial

xAI lanza PromptIDE Una nueva frontera en la ingeniería de prompts y transparencia de la inteligencia artificial

En un movimiento revolucionario para el desarrollo de la inteligencia artificial, xAI ha presentado el PromptIDE, un ...

Inteligencia Artificial

Presentamos OpenChat La plataforma gratuita y sencilla para construir chatbots personalizados en minutos.

Enseña a tus chatbots cualquier tema conectándolos a recursos como PDFs, sitios web, Notion, Confluence y Office 365.

Inteligencia Artificial

¡No, no, no lo pongamos ahí! Este método de IA puede realizar edición de diseño continua con modelos de difusión

En este punto, todos están familiarizados con los modelos de texto a imagen. Se hicieron conocidos con el lanzamiento...