I ricercatori di Adobe hanno presentato VideoGigaGAN, un modello di intelligenza artificiale generativo in grado di migliorare video sfocati trasformandoli in video nitidi e fluidi che sembrano fino a 8 volte più nitidi.
Da un po’ di tempo abbiamo validi miglioratori di immagini, ma creare un buon miglioratore di video è esponenzialmente più difficile.
La Super Risoluzione Video (Video Super Resolution, VSR) è il processo di prendere i singoli fotogrammi di un video, aumentare la risoluzione e i dettagli, e assemblare i fotogrammi per ricreare il video.
Fare questo bene implica risolvere due sfide conflittuali. Gli attuali VSR generano video che sono fluidi e sfocati, o nitidi e pieni di difetti.
Il VideoGigaGAN di Adobe aumenta la risoluzione del video sfocato per produrre un video che è sia temporalmente consistente (transizioni fluide fra i fotogrammi) e presenta dettagli ad alta frequenza.
Ecco un esempio di quello che può fare VideoGigaGAN.
I ricercatori di Adobe presentano VideoGigaGAN
Ti permette di aumentare la risoluzione dei video fino a 8 volte, con dettagli migliorati.
Articolo nei commenti ???? pic.twitter.com/7uEiU7bYqw
— Kris Kashtanova (@icreatelife) 22 aprile 2024
Come suggerisce il nome, il metodo di Adobe si basa su GigaGAN, una rete generativa avversaria (GAN) avanzata.
Le GAN sono ottime per aumentare la risoluzione delle immagini, e GigaGAN è una delle migliori in termini di super risoluzione delle immagini. Quindi perché non utilizzare semplicemente GigaGAN su ogni fotogramma per migliorare l’immagine e poi assemblarle tutte per creare il video?
Quando i ricercatori di Adobe l’hanno provato, hanno ottenuto una grande risoluzione video ma il video risultante era temporalmente inconsistente e presentava sfarfallio.
Aggiungendo livelli convoluzionali temporali e di attenzione a GigaGAN, l’inconsistenza temporale è stata risolta ma lo sfarfallio rimaneva ancora un problema.
VideoGigaGAN risolve questo problema separando gli elementi a bassa frequenza e ad alta frequenza in ogni fotogramma e elaborando questi in modo diverso.
La mappa di funzioni a bassa frequenza viene levigata per rimuovere i dettagli ad alta frequenza, che possono essere fonti di rumore e sfarfallio.
Utilizzando le connessioni Skip, i dettagli più fini nei componenti ad alta frequenza vengono mantenuti bypassando i livelli intermedi nel modello che altrimenti verrebbero persi durante l’elaborazione.
Puoi leggere di più sui dettagli tecnici nel documento di Adobe.
Le demo sul GitHub di Adobe sono molto impressionanti. Adobe non ha dato indicazioni su una data di rilascio, ma speriamo che ci permettano di usarlo presto.
Immagina cosa uno strumento del genere potrebbe fare per il materiale d’archivio storico, i film classici, o persino per migliorare i tuoi vecchi programmi televisivi preferiti in HD.
