Un team di ricercatori di intelligenza artificiale di Google Research ha sviluppato un generatore di testo in video basato sull'intelligenza artificiale di prossima generazione chiamato Lumiere. Il nuovo generatore rappresenta un passo successivo nello sviluppo di generatori di testo in video creando risultati molto migliori. Il gruppo ha pubblicato un articolo che descrive i propri sforzi sul server di prestampa arXiv.

Recentemente, i generatori di testo in immagine hanno consentito agli utenti di creare immagini surreali. E i generatori di testo in video hanno consentito agli utenti di generare brevi videoclip utilizzando nient'altro che poche parole. In questo nuovo sforzo, il team di Google ha portato quest'ultima categoria a nuovi livelli. Secondo i ricercatori, Lumiere consente agli utenti di digitare una semplice frase come "due procioni che leggono libri insieme" e ottenere un video completamente finito che mostra due procioni che fanno proprio questo, e lo fa in risoluzione sorprendentemente alta.

Google descrive la tecnologia alla base del nuovo generatore come una "innovativa architettura Spazio-Tempo U-Net". È stato progettato per generare video animati in un unico passaggio del modello.

Il video dimostrativo mostra che Google ha aggiunto funzionalità extra, come consentire agli utenti di modificare un video esistente evidenziandone una parte e digitando istruzioni, come "cambia il colore del vestito in rosso". Il generatore produce anche diversi tipi di risultati, come le stilizzazioni, in cui viene creato lo stile di un soggetto anziché una rappresentazione a colori. Consente inoltre stili secondari, come riferimenti di stile diversi. Fa anche cinemagraphics, in cui un utente può evidenziare parte o tutta un'immagine fissa e animarla.

Nel suo annuncio, Google non ha specificato se intende rilasciare o distribuire Lumiere al pubblico, probabilmente a causa delle ovvie implicazioni legali che potrebbero sorgere a causa della potenziale creazione di video che violano le leggi sul copyright.