¿En qué te has alimentado? Este modelo de IA puede extraer datos de entrenamiento de modelos de difusión

¿Cómo te has alimentado? Este modelo de IA extrae datos de entrenamiento de modelos de difusión

Los modelos de difusión se convirtieron en una parte clave del dominio de la IA en 2022. Hemos visto imágenes fotorrealistas generadas por ellos, y siguen mejorando constantemente. El éxito de los modelos de difusión se puede atribuir en gran medida a la Difusión Estable, que sentó las bases para las técnicas posteriores. No pasó mucho tiempo antes de que los modelos de difusión se convirtieran en el método preferido para generar imágenes.

Los modelos de difusión, también conocidos como modelos de difusión de reducción de ruido, pertenecen a una clase de redes neuronales generativas. Comienzan seleccionando ruido de la distribución de entrenamiento y lo refinan gradualmente hasta que la salida sea visualmente agradable. Este proceso gradual de reducción de ruido les permite ser más fáciles de escalar y controlar. Además, suelen producir muestras de mayor calidad en comparación con enfoques anteriores como las redes generativas adversarias (GAN).

Se cree que la capacidad de generación de imágenes de los modelos de difusión no es como en los enfoques anteriores. A diferencia de los modelos de generación de imágenes a gran escala anteriores, que eran susceptibles al sobreajuste y podían generar imágenes que se asemejaban mucho a las muestras de entrenamiento, se cree que los modelos de difusión producen imágenes que difieren significativamente de las del conjunto de entrenamiento. Esta característica ha hecho de los modelos de difusión una herramienta prometedora para investigadores preocupados por la privacidad que necesitan proteger la identidad de las personas o información sensible en las imágenes de entrenamiento. Al generar imágenes novedosas que se desvían del conjunto de datos original, los modelos de difusión ofrecen una forma de preservar la privacidad sin sacrificar la calidad de la salida generada.

Pero, ¿es cierto? ¿Los modelos de difusión realmente no memorizan las imágenes de entrenamiento? ¿No es posible usarlos para acceder a muestras de su conjunto de entrenamiento? ¿Realmente podemos confiar en ellos para proteger la privacidad de las muestras de entrenamiento? Los investigadores formularon estas preguntas y llevaron a cabo un estudio para mostrarnos que los modelos de difusión en realidad sí memorizan sus datos de entrenamiento.

Ejemplo de muestra de entrenamiento memorizada por modelos de difusión. Fuente: https://arxiv.org/pdf/2301.13188.pdf

Es posible regenerar muestras en los datos de entrenamiento de modelos de difusión de vanguardia, aunque no es sencillo. Primero, ciertas muestras de entrenamiento son más fáciles de extraer, especialmente las duplicadas. Los autores utilizan esta propiedad para extraer muestras de entrenamiento de la Difusión Estable. Primero identifican imágenes casi duplicadas en el conjunto de datos de entrenamiento. Por supuesto, hacer esto manualmente no es factible, ya que hay alrededor de 160 millones de imágenes en el conjunto de datos de entrenamiento de la Difusión Estable. En su lugar, incrustan imágenes utilizando CLIP y luego comparan imágenes en este espacio de baja dimensión. Si las incrustaciones CLIP tienen una alta similitud del coseno, se utilizan estas descripciones como indicaciones de entrada para el ataque de extracción.

Ejemplo de imágenes de entrenamiento extraídas de la Difusión Estable. Fuente: https://arxiv.org/pdf/2301.13188.pdf

Una vez que tienen indicaciones de texto potenciales para el ataque, el siguiente paso es generar muchas muestras, en este caso 500, utilizando la misma indicación para determinar si hay alguna memorización. Estas 500 imágenes se generan utilizando la misma indicación, pero todas se ven diferentes debido a la semilla aleatoria. Luego, conectan cada imagen con las demás midiendo su distancia de similitud y construyendo un grafo utilizando estas conexiones. Si ven una acumulación en una ubicación determinada en este grafo, digamos más de 10 imágenes conectadas a una sola imagen, se asume que esa imagen central es una memorización. Cuando aplicaron este enfoque a la Difusión Estable, pudieron generar muestras casi idénticas a las del conjunto de datos de entrenamiento.

Han realizado ataques experimentales a modelos de difusión de vanguardia y encontraron observaciones interesantes. Los modelos de difusión de vanguardia memorizan más información que las GAN comparables, y los modelos de difusión más fuertes memorizan más información que los modelos de difusión más débiles. Esto sugiere que la vulnerabilidad de los modelos generativos de imágenes puede aumentar con el tiempo.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Artista Co-creatividad y colaboración entre computadoras y humanos en las artes

Lejos de sentirse amenazados por la inteligencia artificial, muchos profesionales creativos ya la están adoptando, co...

Inteligencia Artificial

Aprendamos IA juntos - Boletín de la Comunidad Towards AI #3

Buenos días, entusiastas de la IA! Estoy emocionado de compartir el episodio de podcast de esta semana, en el que cha...

Inteligencia Artificial

La cámara detiene los deepfakes al disparar

Las credenciales de contenido integradas verifican la autenticidad de las fotos.

Ciencia de Datos

Haz que cada dólar de marketing cuente con la ciencia de datos.

La economía actual nos exige ser más diligentes en el gasto publicitario. Afortunadamente, los caminos viables para u...

Inteligencia Artificial

Esta investigación de IA presenta la integración de Lucene para una búsqueda vectorial potente con OpenAI Embeddings.

Últimamente, se han logrado avances significativos en la aplicación de redes neuronales profundas al campo de la búsq...

Inteligencia Artificial

Limpieza con TidyBot

Un equipo multinstitucional de ingenieros acopló un brazo robótico móvil a un modelo de visión y a un gran modelo de ...