En este post te voy a hablar de DragGAN, una herramienta mágica de inteligencia artificial para editar imágenes. DragGAN es una técnica desarrollada por investigadores de Google, el Instituto Max Planck de Informática y el MIT CSAIL que permite manipular imágenes en segundos con solo hacer clic y arrastrar. DragGAN utiliza una red generativa antagónica (GAN) preentrenada para sintetizar imágenes que siguen fielmente la entrada del usuario y que se mantienen en el espacio de las imágenes realistas.
¿Qué puedes hacer con DragGAN?
Pues muchas cosas increíbles, como rotar imágenes como si fueran 3D, cambiar las dimensiones de los coches, manipular sonrisas en ceños fruncidos y ajustar los reflejos en los lagos. Además, puedes cambiar la dirección a la que mira alguien. Todo esto con un control preciso sobre dónde van los píxeles y sin deformar la imagen.
DragGAN es un enfoque interactivo e intuitivo para la edición de imágenes basada en puntos que es mucho más potente que la herramienta de deformación de Photoshop. A diferencia de Photoshop, que solo aplasta los píxeles, DragGAN usa la inteligencia artificial para regenerar el objeto subyacente. Así se consigue un resultado más natural y realista.
¿Cómo funciona DragGAN?
DragGAN se basa en un marco general que no depende de modelos específicos del dominio o redes auxiliares. Para lograrlo, los investigadores utilizaron una optimización de códigos latentes que mueve incrementalmente varios puntos de control hacia sus ubicaciones objetivo junto con un procedimiento de seguimiento de puntos para trazar fielmente la trayectoria de los puntos de control. Ambos componentes utilizan la calidad discriminativa de los mapas de características intermedios de la GAN para producir deformaciones de imágenes precisas a nivel de píxel y un rendimiento interactivo.
Según los investigadores, DragGAN supera el estado del arte en la manipulación basada en GAN y abre nuevas direcciones para la edición de imágenes potente usando prioridades generativas. Su objetivo es extender la edición basada en puntos a modelos generativos 3D en los próximos meses.
La importancia de los modelos GAN
Esta nueva técnica demuestra que los modelos GAN son más impactantes que las bonitas imágenes generadas por modelos de difusión, como los que se usan en herramientas como DALLE.2, Stable Diffusion o Midjourney. Los GAN utilizan dos redes neuronales -un generador y un discriminador- para generar nuevas instancias de datos sintetizados.
DragGAN también puede trabajar junto con herramientas generativas de texto a imagen como Midjourney o Runway. Si los resultados de esas herramientas no cumplen tus expectativas, puedes usar DragGAN para editarlos rápidamente y eficientemente, superando las capacidades de incluso las suites profesionales de edición.
El paper de investigación muestra algunos ejemplos fascinantes de lo que DragGAN puede hacer; puedes cambiar la altura de una montaña, mover modelos a diferentes posiciones, cambiar el tamaño de su ropa e incluso hacer que un león parezca rugir abriendo o cerrando su boca. Y si falta algo en una imagen, no te preocupes: la inteligencia artificial puede rellenar los huecos por ti.
DragGAN todavía está en fase de investigación, pero el interés abrumador por esta herramienta ha hecho que la página web del equipo se haya caído varias veces en los últimos días -sí, así de emocionada está la gente por probarla. El equipo ha insinuado que el código estará disponible en su página de Github en junio de 2023. Espero que estés tan emocionado como yo por probarlo.
