Talmo Pereira sobre el poder de la herramienta de IA SLEAP para estudios biológicos y neurológicos

Talmo Pereira on the power of the AI tool SLEAP for biological and neurological studies

Agradecemos a Talmo Pereira, un becario de Salk en el Instituto Salk, por participar en esta entrevista y compartir su historia y varios conocimientos sobre el desarrollo de métodos basados en IA para estudiar sistemas biológicos complejos. Su trabajo reciente se centra en cuantificar comportamientos a través de la captura de movimiento sin marcadores utilizando la herramienta SLEAP. Tiene aplicaciones en neurociencia, investigación del cáncer y biología vegetal. SLEAP rastrea los movimientos de animales, plantas y humanos, ayudando en la predicción de enfermedades y la mitigación del cambio climático. Pereira visualiza el uso de IA para diagnosticar enfermedades tempranamente analizando patrones de comportamiento en videos.

Antecedentes de investigación, contribuciones a la fenotipificación cuantitativa y desafíos en la comprensión del comportamiento

¿Dónde trabajaste antes de unirte al Instituto Salk?

Antes de unirme a Salk, estaba haciendo mi doctorado en Neurociencia en la Universidad de Princeton con Mala Murthy y Josh Shaevitz y trabajé en Google AI como becario de investigación de doctorado. Mi enfoque estaba en desarrollar métodos de visión por computadora para capturar el movimiento y cuantificar el comportamiento a partir de videos.

¿Cómo ha contribuido tu trabajo reciente al campo de la fenotipificación cuantitativa de comportamientos complejos?

Mi trabajo reciente se centró en el problema de la captura de movimiento sin marcadores, también conocida como seguimiento de postura. Al igual que los trajes de captura de movimiento que se utilizan en Hollywood para rastrear los movimientos de las partes del cuerpo de los actores y crear secuencias de CGI, la idea con la captura de movimiento sin marcadores es hacer lo mismo, ¡pero sin el traje!

Esta es una tarea compleja para que las computadoras lo hagan, pero se ha vuelto mucho más abordable con la llegada de las redes neuronales profundas, la base de la IA moderna. Una de las razones por las que estas redes funcionan tan bien es que pueden aprender a partir de grandes cantidades de datos, en este caso, millones de imágenes de personas en una variedad de entornos que fueron anotadas manualmente por trabajadores que hicieron clic en la ubicación de “verdad absoluta” de cada parte del cuerpo.

Una vez que tenemos una red neuronal entrenada para rastrear partes del cuerpo en secuencias de video, podemos usar los patrones de cómo se mueven para inferir fenotipos cuantitativos de comportamientos complejos, por ejemplo, detectar cuándo una persona está corriendo versus rascándose la cabeza, y una descripción estadística de cómo mueven sus partes del cuerpo para hacerlo.

¿Cuál es el principal desafío en la comprensión del comportamiento animal y humano en neurociencia?

Existen muchos desafíos para comprender el comportamiento, pero uno clave que abordan estos enfoques de IA es cómo podemos medirlo cuantitativamente. Al capturar los movimientos que subyacen al comportamiento, podemos idear formas de detectar automáticamente ocurrencias de comportamientos conocidos, como el acicalamiento o el salto. Luego podemos correlacionar el tiempo o la frecuencia de los comportamientos conocidos con variables experimentales, como si el individuo tiene o no una enfermedad, para establecer un vínculo entre la biología y el comportamiento observable. En los animales, esto es más fácil de verificar porque podemos controlar las condiciones ambientales en las que se encuentra el animal, registrarlos durante más tiempo y realizar más experimentos para medir los estados internos de su cerebro y cuerpo y validar sus asociaciones con los patrones de comportamiento.

Un problema más difícil es definir qué es el comportamiento en primer lugar. Por ejemplo, ¿dónde trazamos la línea entre una “caminata rápida” y un “trote lento” si ambos te permiten avanzar a la misma velocidad? (Si estás interesado, Calhoun et al. exploran ejemplos aún más difíciles, como “¿Una persona suda en respuesta al aire caliente. ¿Es esto un comportamiento?”) Han surgido algunos métodos, como Keypoint-MoSeq (Weinreb et al., 2023), que te permiten aprovechar el seguimiento de postura para definir comportamientos basados puramente en patrones estadísticos en los datos. Estos tienen la promesa de ser más objetivos, pero aún carecen de la capacidad de incorporar conocimientos sobre distinciones claras y conocidas sobre lo que es un comportamiento.

En cualquier caso, al tener el seguimiento de postura como una representación inicial e inequívoca de los movimientos que subyacen a los comportamientos, estamos en un punto de partida mucho mejor que tratar de identificar “comportamientos” solo a partir de los datos de píxeles, ya que nos brinda información directa sobre cómo las partes del cuerpo se están moviendo, que en última instancia es cómo el cerebro produce (muchas formas de) comportamiento.

SLEAP: Aprovechando la Inteligencia Artificial para una Tecnología Innovadora de Seguimiento de Movimiento

¿Cómo utiliza SLEAP la inteligencia artificial?

SLEAP es un software de seguimiento de posturas de animales de código abierto que utiliza redes neuronales profundas, un algoritmo fundamental en la IA moderna, para aprender a realizar un seguimiento automático de las posturas en imágenes. Esto se logra aprendiendo de ejemplos del usuario sobre la ubicación de cada parte del cuerpo en un conjunto de imágenes de entrenamiento.

Una de las principales innovaciones de SLEAP es la capacidad de entrenar estos modelos de redes neuronales con conjuntos de entrenamiento muy pequeños, del orden de decenas a cientos de imágenes, lo que demuestra que es posible utilizar esta forma de IA sin necesidad de los recursos de un laboratorio de la industria para generar el conjunto de entrenamiento. Esto hace posible utilizar prácticamente la captura de movimiento sin marcadores en una diversidad de conjuntos de datos que encontramos en los estudios de comportamiento animal.

¿Cuál es la principal innovación de la herramienta SLEAP?

SLEAP es un marco de trabajo en lugar de un solo modelo o método. Esto se basa en la observación de que existen muchos conjuntos de datos complejos con propiedades únicas. En lugar de tratar de encontrar un algoritmo que funcione para todo, SLEAP implementa una variedad de algoritmos, cada uno con sus ventajas y adecuación para cada caso de uso. Por ejemplo, si tienes varios sujetos visibles en el encuadre, es posible que necesites utilizar un algoritmo que pueda razonar sobre cómo asociar las partes del cuerpo detectadas entre sí para formar poses distintas, mientras que para datos con un solo sujeto, basta con detectar la ubicación de cada parte del cuerpo y sabrás que pertenecen al individuo.

Hemos trabajado mucho para que SLEAP sea fácil de usar y accesible, tanto en su configuración como en su uso, sin necesidad de tener conocimientos técnicos. Como resultado, hemos visto que todo tipo de personas utilizan SLEAP, desde estudiantes de secundaria que lo utilizan para sus proyectos de investigación y ferias científicas, hasta científicos profesionales de investigación biológica sin experiencia en IA.

Para hacer esto posible, combinamos prácticas de ingeniería de software de nivel industrial con herramientas de código abierto y software científico de vanguardia como TensorFlow, attrs y PySide2.

¿Puedes proporcionar ejemplos de cómo se utiliza la herramienta SLEAP en estudios de comportamiento animal?

SLEAP se ha utilizado en numerosos estudios de animales para extraer medidas cuantitativas de comportamientos de interés.

  • En Mills et al. (2023), SLEAP se utilizó para caracterizar el comportamiento social de los ratones y estudiar cómo los circuitos neuronales determinan si los estímulos sensoriales deben interpretarse como “buenos” o “malos”.
  • En Mabuchi et al. (2023), SLEAP se utilizó para cuantificar el comportamiento de cortejo y comprender cómo las moscas de la fruta utilizan la información visual para dirigir sus movimientos en un contexto social.
  • En Legan et al. (2022), SLEAP se utilizó para estudiar cómo las avispas de papel adoptan un estado más “vigilante” después de encuentros agresivos.
  • En Leonardis et al. (2022), SLEAP se utilizó para medir cómo las ratas interactuaban con una “rata robot” en un estudio sobre las bases de las interacciones sociales.
  • En Gutierrez-Castellanos et al. (2023), SLEAP se utilizó para cuantificar comportamientos de “rechazo” en ratones hembra en el contexto de un estudio sobre los circuitos neuronales que son influenciados por las hormonas del ciclo reproductivo.

Estos son solo algunos ejemplos recientes para destacar la diversidad de áreas de aplicación, preguntas científicas y especies con las que se ha utilizado SLEAP.

¿Cómo contribuye la herramienta SLEAP a la predicción de enfermedades y los esfuerzos de mitigación del clima?

Desde que me uní a Salk, una de las áreas en las que mi laboratorio se ha centrado es en cómo traducir los datos de captura de movimiento en información sobre biología.

Para la predicción de enfermedades, hemos estado trabajando con varios colaboradores para desarrollar pipelines de análisis que se pueden utilizar para extraer automáticamente fenotipos que pueden predecir el inicio y la progresión de enfermedades. Por ejemplo, en un estudio piloto que midió los cambios de comportamiento asociados con la esclerosis lateral amiotrófica (ELA), una enfermedad neurodegenerativa que provoca la pérdida de coordinación motora y eventualmente la muerte, encontramos que podemos detectar marcadores cuantitativos claros de la enfermedad en ratones no entrenados que viven en su entorno habitual de jaula de manera completamente automatizada. Ahora estamos trabajando en caracterizar completamente todos los comportamientos asociados con las diferentes etapas de esta y otras enfermedades, incluyendo el cáncer de páncreas y la enfermedad de Alzheimer.

Otra área de aplicación en la que nos hemos estado enfocando, gracias al entorno interdisciplinario único de Salk, es la biología de las plantas para el cambio climático. Salk es el hogar de la Iniciativa de Aprovechamiento de Plantas, un esfuerzo de varios grupos para frenar el cambio climático desarrollando cultivos que tengan raíces más profundas y masivas, lo que resulta en una mayor captura de carbono a medida que el dióxido de carbono se convierte en materia vegetal en el suelo. Si bien se sabe mucho sobre la biología del desarrollo de las raíces de las plantas, se necesitaba métodos más automatizados y confiables para caracterizar cuantitativamente la arquitectura del sistema de raíces. Aplicamos SLEAP a estos datos y ahora estamos trabajando para desarrollar herramientas que permitan extraer rasgos significativos, como los ángulos de ramificación y las profundidades de las raíces, que se pueden utilizar para caracterizar plantas con capacidades mejoradas de captura de carbono.

Mirando hacia el futuro…

¿Cómo imaginas el uso futuro de la inteligencia artificial en el diagnóstico de cáncer y ELA en humanos?

A medida que desarrollamos una mejor comprensión de cómo los cambios sutiles o definidos estadísticamente en el lenguaje corporal se relacionan con la enfermedad, esperamos aplicar el mismo tipo de IA que usamos en SLEAP para detectar enfermedades como el cáncer y la ELA en humanos. Esto requerirá una validación clínica significativa antes de poder utilizarse como una herramienta de diagnóstico confiable, pero dado lo fácil y económico que es grabar videos, esperamos que algún día podamos extraer las señales conductuales de enfermedad de los videos que puedes grabar en tu teléfono inteligente. Si se hace correctamente, esto podría reducir drásticamente la carga sobre nuestro sistema de atención médica y permitir un tamizaje y prevención mucho más tempranos de enfermedades que son más fáciles de tratar en etapas iniciales.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

California acaba de abrir las compuertas para los coches autónomos

Después de una decisión de la junta reguladora estatal, San Francisco tendrá robotaxis las 24 horas del día, los 7 dí...

Aprendizaje Automático

Si el arte es cómo expresamos nuestra humanidad, ¿dónde encaja la IA?

El postdoctorado del MIT Ziv Epstein SM '19, PhD '23 discute los problemas que surgen del uso de la inteligencia arti...

Inteligencia Artificial

Destaques y Contribuciones de NeurIPS 2023

La conferencia de Sistemas de Procesamiento de Información Neuronal, NeurIPS 2023, se erige como la cima de la búsque...

Inteligencia Artificial

Análisis y optimización del rendimiento del modelo PyTorch - Parte 3

Esta es la tercera parte de una serie de publicaciones sobre el tema de analizar y optimizar modelos de PyTorch utili...

Inteligencia Artificial

China redacta reglas para la tecnología de reconocimiento facial

La Administración del Ciberespacio de China ha emitido normas provisionales que regulan el uso de la tecnología de re...

Inteligencia Artificial

Las 50 mejores herramientas de escritura de IA para probar (septiembre de 2023)

Grammarly Grammarly es una excelente herramienta para mejorar la escritura. Revisa la gramática, ortografía, puntuaci...