Il video digitale è un campo molto più complesso dell’elaborazione statica delle immagini. E lo stesso vale per la sua creazione con strumenti che includono modelli di intelligenza artificiale.
Per questo motivo è nata Lumiere, un modello di diffusione text-to-video sviluppato da Google Research, ancora in fase di ricerca, che utilizza un’architettura diversa da quelle già esistenti sul mercato e che si basano sulla sintesi di frame , suscita ammirazione, distanti l’uno dall’altro sulla timeline completata con tecniche di super risoluzione delle immagini, che possono comportare una mancanza di fluidità e realismo.
Al contrario, Lumiere presenta l’architettura Space-Time U-Net (STUNet), che consente al modello di eseguire l’elaborazione in un unico passaggio sull’intera durata temporale, generando video in cui cattura l’istruzione testuale in modo molto coerente (o richiesta). In questa fase del progetto, i video durano 5 secondi con una qualità ad alta risoluzione.
Ma Lumiere di Google Research può anche generare video da singole immagini se vengono fornite istruzioni con riferimenti di stile o altri dettagli personalizzati.
In questo contesto è in grado di costruire animazioni in regioni specifiche di una singola immagine mentre il resto rimane statico; Può anche generare sequenze di immagini basate su stili specifici e utilizzare tecniche di inpainting, sia per alterare alcuni elementi visivi del video sia per ripristinare video incompleti riempiendo le parti mancanti.
Come apprezzare il lavoro svolto con Lumiere?
Secondo il documento di progetto, Lumiere si rivolge agli utenti inesperti che desiderano generare contenuti audiovisivi in modo creativo e flessibile. Tuttavia, sottolineano i rischi che comporta questa tecnologia che, se cade nelle mani sbagliate, può portare alla massiccia generazione di contenuti falsi o inappropriati. Se vuoi apprezzare il lavoro svolto con Lumiere non ti resta che visitare la sua pagina ospitata su GitHub https://lumiere-video.github.io/.
Immagine: Lumiere