Brutal aplicación de texto a imagen (VQGAN+CLIP)

La Inteligencia Artificial no ha parado de evolucionar en los últimos años, y lo cierto es que resulta interesante ver cómo se está trabajando con este tipo de tecnologías en el ámbito de la creatividad. El arte es una característica clave que diferencia (o diferenciaba) al ser humano del resto de seres vivos del planeta, aunque a día de hoy ya existen IAs que componen música death metal o crean obras de arte en cuestión de segundos. ¿Quizá ya no somos tan especiales como pensábamos?

VQGAN y CLIP, herramientas para crear imágenes a partir de texto  

Por suerte todavía no consideramos a las inteligencias artificiales como “seres vivos”, por lo que podemos excusarnos diciendo que no jugamos en la misma liga. Ahora bien, si nos fijamos en ciertas herramientas como VQGAN y CLIP uno ya no sabe qué pensar exactamente.

Hablamos de dos modelos de inteligencia artificial que combinados son capaces de generar imágenes, o más bien dicho, auténticas obras de arte a partir de un simple texto con indicaciones. Suena bastante loco, ¿verdad?

  • VQGAN: Su tarea es la de comprimir y descomprimir imágenes en base a patrones.
  • CLIP: Se encarga de relacionar información en forma de texto con imágenes.

Lo mejor de todo es que podemos utilizar estos dos modelos de manera online, por lo que no necesitamos tener un ordenador potente o una buena tarjeta gráfica para salsear con sus funcionalidades.

Para probar la herramienta de VQGAN+CLIP entra AQUÍ.

Funcionamiento

Para poder usar el generador de imágenes a partir de texto, primero tenemos que cargar los modelos, bibliotecas y definiciones. Para ello ejecuta las celdas y subceldas de “Licensed under the MIT License”, “Selección de modelos a descargar” y “Carga de biblioteca y definiciones”.

En el campo “Herramientas para la ejecución” podremos indicar los parámetros que queremos que la inteligencia artificial tome en consideración a la hora de crear la imagen. Introduce las palabras o conceptos que desees en el campo “Textos” y asegúrate de que lo escribes en inglés.

Nosotros por ejemplo hemos probado con el texto “Wind and fire hiperrealistic” (viento de fuego hiperrealista).

Por último, ejecutaremos la celda “Hacer la ejecución” para comenzar el proceso creativo de VQGAN+CLIP. Por defecto la aplicación comenzará a generar a una imagen y a mejorarla con cada nueva iteración. La primera imagen que veremos será un borrón oscuro, aunque tenemos que darle un par de minutos.

Cuando tenga la imagen número 50 nos la mostrará en pantalla, y este resultado ya será bastante más sorprendente. Para que os hagáis una idea, esto es lo que nos ha mostrado para el texto “Wind and fire hiperrealistic”.

Si dejamos el motor funcionando la máquina seguirá optimizando la imagen mostrando un nuevo resultado en la iteración número 100, en la 150 y así sucesivamente. Una vez satisfechos con el resultado podemos copiar la imagen en el portapapeles o guardarla en el disco duro.

Cabe mencionar que la inteligencia artificial por defecto genera imágenes de 480 x 480 píxeles. Este es un tamaño bastante pequeño si queremos almacenarlas o usarlas como fondo de pantalla. Para solucionarlo podemos utilidad un “superescalador” como BIGJP para aumentar su tamaño mediante IA y conseguir una imagen en resolución 2K o 4K.   

Otras pruebas e iteraciones realizadas con VQGAN+CLIP

La verdad es que los modelos de VQGAN+CLIP otorga unos resultados simplemente espectaculares. Podéis ver más detalles de cómo utilizar estas herramientas en el siguiente video del canal de Cogitare, donde explican cómo utilizar el resto de parámetros que ofrece la aplicación.

¿Tienes Telegram instalado? Recibe el mejor post de cada día en nuestro canal. O si lo prefieres, echa un vistazo a nuestro perfil de Instagram.

1 COMENTARIO

  1. Buenos dias,

    Hay alguna forma de descargar todos los archivos necesarios y guardarlo de forma privada?
    Por ejemplo en el cuaderno de Google Colab hay varios links, que pasaría si alguno de estos links ya no están disponibles ? La aplicación no funcionaria correctamente.

DEJA UNA RESPUESTA

Escribe tu comentario!
Escribe aquí tu nombre
  • Fin del tratamiento: Controlar el spam, gestión de comentarios.
  • Legitimación: Tu consentimiento.
  • Comunicación de los datos: No se comunicarán los datos a terceros salvo por obligación legal.
  • Derechos: Acceso, rectificación, portabilidad, olvido.
  • Informe adicional: Más información en nuestra política de privacidad y aviso legal.

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.