El poder de la IA generativa se duplica cada día y el último avance en Google en este campo ha sido el lanzamiento de Lumière. Un modelo de difusión espacio-temporal impulsado por IA, capaz de transformar texto e imágenes en vídeos de hasta 5 segundos con calidad ultra realista.

Para el desarrollo de este modelo, que ha sido entrenado con un conjunto de 30 millones de vídeos con subtítulos de texto y que es capaz de generar 80 fotogramas a 16 fps, el equipo de investigadores de Google ha trabajado junto con el Instituto Weizmann de Ciencias y la Universidad de Tel Aviv.

Lumiere, un jugador fuerte en la creación de videos con IA

Lumiere, un modelo de texto a video e imagen a video, tiene la capacidad de convertir palabras e imágenes estáticas en secuencias de video con una gran nivel de realismo.

Como explica Google, ¿Qué diferencia a su modelo de otros vídeos que generan IA? es que estos «sintetizan fotogramas clave distantes seguidos de superresolución temporal, un enfoque que inherentemente dificulta lograr una coherencia temporal global», lo que da como resultado creaciones poco realistas y con movimientos poco dinámicos.

Teniendo en cuenta estas limitaciones, el equipo de investigadores de Google se ha aventurado a cambiar la arquitectura para dar vida a un modelo capaz de construir un vídeo completo de una sola vez, permitiendo movimientos más realistas y naturales. Entonces Lumière tiene «a Arquitectura U-Net Espacio-Tiempo que genera toda la duración temporal del vídeo de una sola veza través de un solo paso en el modelo».

Características de Lumière

Lumière aún no ha sido lanzado oficialmente y tampoco se puede probar en versión beta, sin embargo, Google ha publicado un documento donde explica su tecnología y la ha presentado en su propio página de githubdonde deja varios ejemplos de su capacidad y funcionamiento. Más allá de la generación de vídeoEntre sus funciones encontramos:

• Creación de nuevos estilos: A partir de una imagen de referencia, el modelo puede generar videos que repliquen el estilo artístico de esa imagen, teniendo la posibilidad de incluir nuevos elementos.
• Estilización de vídeo: Lumiere puede hacer que un objeto o persona en un vídeo existente tenga un estilo diferente. El vídeo de ejemplo del modelo muestra cómo convierte a una mujer y un perro en figuras de origami, o cómo se verían si estuvieran hechos de bloques de madera.
• Dar movimiento a imágenes fijas: Asimismo, el modelo es capaz de animar partes de una imagen estática. Por ejemplo, Lumiere podría animar la imagen de una mariposa en una planta, haciendo que el insecto batiera sus alas.
• Vídeos reales completos: Una función muy importante de Lumiere es que es capaz de rellenar con bastante precisión vídeos sin terminar o que tengan zonas recortadas. Una función muy útil para ampliar el contexto de un vídeo.
• Modificación en tiempo real: También puedes cambiar partes de un vídeo. Por ejemplo, puedes modificar la ropa que una persona trae para otra en base a una descripción de texto o incluso eliminar elementos no deseados.

Otras IA que generan vídeos

Existen muchas herramientas en el mercado para generar vídeo a partir de texto e imágenes, como Pista Gen-2lanzado en julio de 2023, que ha logrado cerrar un acuerdo con el programa de edición Canva; Pika 1.0, lanzado en noviembre; cualquiera Difusión de vídeo establetambién estrenado en noviembre y que todavía se encuentra en una fase muy temprana.

Todos han prometido revolucionar el sector de la generación de vídeos basados ​​en texto y ahora tienen un nuevo y poderoso competidor. Lumière ha conseguido una naturalidad muy avanzada, por lo que se presenta como un jugador difícil de derrotar.

Foto: Google

Mantente informado de las noticias más relevantes en nuestro canal Telegrama