Arriva Lumière: l’AI di Google trasforma immagini e testi in video

Ormai ogni giorno arriva una novità nel mondo delle intelligenze artificiali, e adesso arriva Lumière. La nuova AI di Google è completamente incentrata sull’utilizzo delle immagini e dei video.

Il nuovo strumento, lanciato di collaborazione con il Weizmann Institute of Science e l’Università di Tel Aviv, è in grado di far prendere vita alla descrizione di una scena. La nuova AI permette la creazione di video utilizzando foto e istruzioni testuali. Ma anche di modificare e applicare stili diversi a video esistenti.

La nuova rivoluzionaria AI per i video realistici

Il progetto si chiama Lumière, e non è un caso. Infatti la scelta del nome è data dalla volontà di voler omaggiare i fratelli Lumière, pionieri francesi del cinema, inventori della macchina da presa e del proiettore cinematografico. 

L’obiettivo che Google si è prefissato quindi non è nascosto, ma anzi sembra anche abbastanza evidente: Google spera di portare una rivoluzione.

A differenza di programmi come Stable Diffusion, che spesso mostrano imperfezioni nella coerenza delle animazioni, Lumiere IA ha introdotto un’architettura denominata “Space-Time U-Net”. L’obiettivo di questa rete spazio-temporale è quello di permettere di generare l’intero video in un unico passaggio. Questo dovrebbe evitare la creazione di sequenze intermedie che potrebbero causare incoerenze nei video.

Space-Time U-Net è un’architettura che analizza diversi movimenti proposti e si occupa di scegliere il più plausibile per garantire un video coerente e fluido. Grazie a ciò, anche inserendo la foto di un oggetto come un peluche e chiedendo al programma di farlo camminare da un punto A ad uno B questo risulterà fattibile e fluido.

Il database della nuova AI di Google è molto ricco, si parla di circa 30 milioni di video insieme alle relative didascalie di testo. L’approccio all’apprendimento automatico così funzionale ha permesso a Lumière di acquisire una vasta comprensione del contesto visivo e delle connessioni tra azioni e descrizioni testuali.

In questo modo, può generare video partendo da un testo, oppure da una fotografia. Ma può anche capire lo stile di un’immagine, chiedendogli per esempio un effetto “neon” oppure “impressionistico” e applicarlo a un video, sia generato che modificato.

Attualmente il software non è ancora aperto al pubblico, ma è un progetto sperimentale di ricerca. Sicuramente, prima di rilasciarlo Google lavorerà per perfezionarlo. Cosa ne pensate? noi non vediamo l’ora di poterlo utilizzare, continuate a seguirci su Sisal News per non perdere nessun aggiornamento sulle AI.