Google Genie — un modelo de IA generativa que crea mundos completamente interactivos a partir de imágenes | IA en los negocios #123

¿Qué es Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) es un modelo mundial fundamental desarrollado por DeepMind. Es un modelo de IA generativa entrenado con más de 30,000 horas de metraje de videojuegos de plataformas 2D disponibles públicamente. Su característica clave es la capacidad de generar entornos jugables e interactivos directamente a partir de imágenes individuales, fotos e incluso bocetos dibujados a mano.

Fuente: Genie: Entornos Interactivos Generativos (https://arxiv.org/abs/2402.15391)

¿Cómo es esto posible? Genie utiliza una técnica de aprendizaje no supervisado en el proceso de adquirir la capacidad de controlar con precisión el entorno basándose únicamente en metraje de video. No se requiere etiquetado de acciones humanas. Usando un módulo especial de codificación de acciones, captura cambios sutiles entre fotogramas de video sucesivos y los mapea a representaciones internas de movimiento, como saltar o girar a la izquierda. El modelo de dinámica luego genera el siguiente fotograma en la secuencia basado en las acciones codificadas.

Como resultado, Genie puede crear entornos de juego totalmente controlables e interactivos a partir de cualquier dato visual. Cada movimiento del jugador genera un nuevo fotograma único en tiempo real, creando una sesión jugable y fluida. Esta es una gran innovación que nos permite crear mundos interactivos enteros a partir de imágenes o texto.

¿Por qué es innovador Genie?

La innovación de Genie radica en combinar varios elementos clave en un solo modelo:

• modelos de video generativos, como Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) o maskvit (https://arxiv.org/abs/2206.11894), que pueden predecir fotogramas futuros de una secuencia basándose en fotogramas de entrada y texto, pero no ofrecen capacidades de control activo,
• modelos de mundo que se centran en predecir futuros estados ambientales basándose en las acciones de un agente, pero que requieren datos proporcionados por humanos,
• aprendizaje no supervisado, que permite a Genie aprender tanto la dinámica ambiental como el espacio de acción solo a partir de datos de video en bruto, sin etiquetas de acción humanas.

Aunque cada una de estas áreas ha sido explorada antes, Genie es el primer modelo en combinarlas para aprender entornos controlables directamente a partir de metraje de video. Este enfoque sin precedentes para enseñar modelos sin supervisión humana es una innovación clave de Genie. Abre la puerta a utilizar la vasta cantidad de video disponible en Internet como fuente de entrenamiento para modelos de IA, y derriba las barreras asociadas con la disponibilidad limitada de datos etiquetados.

La combinación de modelos de video generativos, modelos de mundo y aprendizaje no supervisado en una sola solución representa un avance fundamental en el desarrollo de la inteligencia artificial. Genie demuestra que los sistemas de IA avanzados pueden aprender comportamientos y entornos complejos directamente de datos no estructurados, sin etiquetado manual. Este es un paso clave en el camino hacia la consecución de una verdadera Inteligencia General Artificial (AGI).

Fuente: Google Genie (https://sites.google.com/view/genie-2024/)

Aplicaciones potenciales de Google Genie

Las capacidades de Google Genie van mucho más allá de generar videojuegos. Este modelo de IA pionero puede encontrar aplicaciones en muchos campos:

• herramienta para animadores – solo sube una imagen, boceto o breve descripción de texto y Genie generará una animación coherente,
• recurso de entrenamiento ilimitado para agentes de IA – con su capacidad de generalizar a dominios completamente nuevos, Genie ofrece un pool infinito de desafíos sobre los cuales los futuros sistemas de IA pueden aprender. La falta de entornos de entrenamiento diversos ha sido hasta ahora una de las barreras clave para el desarrollo de agentes de IA genéricos,
• simulaciones físicas para robótica – la investigación ha demostrado que Genie es capaz no solo de controlar robots virtuales, sino también de realizar las propiedades físicas de objetos deformables. Esto podría tener enormes implicaciones para el desarrollo de la robótica y simulaciones físicas,
• aplicaciones en las industrias creativas – Genie puede facilitar la creación de instalaciones de arte interactivas, exposiciones virtuales o películas. Simplemente sube un boceto y el modelo generará un mundo 3D totalmente controlable, listo para ser explorado.

Sin embargo, no se deben pasar por alto los posibles desafíos y limitaciones de esta tecnología. En la etapa actual de desarrollo, Genie funciona mejor en dominios estrechos como los juegos de plataformas 2D. Ampliar a entornos 3D más complejos requerirá investigación y optimización adicionales. Además, existe el riesgo de que esta tecnología pueda ser mal utilizada para crear contenido dañino o peligroso. Por lo tanto, es fundamental desarrollar un marco ético y legal robusto para gobernar el desarrollo y uso de tales modelos de IA.

Fuente: Google Genie (https://sites.google.com/view/genie-2024/)

Resumen

Al permitir la creación de entornos totalmente interactivos directamente a partir de datos visuales, sin necesidad de etiquetar manualmente las acciones, Google Genie representa un verdadero avance en la inteligencia artificial generativa. Este modelo mundial fundamental otorga el poder de expresar imágenes en forma de realidades virtuales jugables que pueden ser exploradas y controladas por un humano o un agente de IA.

El potencial de Genie es enorme: desde herramientas para desarrolladores de juegos, hasta una fuente ilimitada de datos de entrenamiento para IA, hasta simulaciones físicas para robótica. También es un paso importante en el camino hacia la AGI. A medida que modelos como Genie continúan evolucionando, la frontera entre los mundos real y virtual se vuelve más fluida.

Si te gusta nuestro contenido, únete a nuestra comunidad de abejas trabajadoras en Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.