Se viene data una singola foto di una cascata, il sistema crea un video che mostra l'acqua che cade a cascata. Manca solo il ruggito dell'acqua e la sensazione degli spruzzi sul viso.

Questa tecnica produce un breve video che si ripete senza interruzioni, dando l'impressione di un movimento infinito, e non richiede alcun input da parte dell'utente o informazioni aggiuntive. Tutto che serve è una foto. E produce come output un video ad alta risoluzione e in ciclo continuo senza interruzioni che molto spesso sembra un vero video.

Il sistema del funzionamento è composto da due parti: in primo luogo, prevede come si muovevano le cose quando è stata scattata una foto, quindi utilizza tali informazioni per creare l'animazione.

Per stimare il movimento, il team ha addestrato una rete neurale con migliaia di video di cascate, fiumi, oceani e altro materiale con movimento fluido. Il processo di formazione consisteva nel chiedere alla rete di indovinare il movimento di un video quando veniva fornito solo il primo fotogramma. Dopo aver confrontato la sua previsione con il video effettivo, la rete ha imparato a identificare gli indizi, ad esempio le increspature in un flusso, per aiutarla a prevedere cosa è successo dopo. Quindi il sistema utilizza tali informazioni per determinare se e come ciascun pixel deve muoversi.

Per animare la foto il team ha creato splatting simmetrico.In sostanza, il metodo prevede sia il futuro che il passato per un'immagine e quindi li combina in un'unica animazione.

Infine, i ricercatori volevano che la loro animazione si ripetesse senza interruzioni per creare un aspetto di movimento continuo. La rete di animazione segue alcuni trucchi per mantenere le cose pulite, inclusa la transizione di diverse parti del fotogramma in momenti diversi e la decisione di quanto velocemente o lentamente fondere ciascun pixel a seconda dell'ambiente circostante.

Attualmente, questo metodo funziona meglio per oggetti con movimento fluido prevedibile. Per ora, la tecnologia fatica a prevedere come dovrebbero muoversi i riflessi o come l'acqua distorce l'aspetto degli oggetti sottostanti.