Nvidia Impanting, ricostruite da intelligenza artificiale le foto danneggiate

Questo nuovo metodo di deep learning, denominato convoluzione parziale, non va in crisi perché gli output per i pixel mancanti dipendono dal valore dell'input.

Nvidia Impanting, ricostruite da intelli

NVIDIA può trasformare in vostro cane in tanti gatti (video)


C'è ancora una volta l'intelligenza artificiale a muovere le più interessanti innovazioni degli ultimi mesi. Come il metodo di deep learning presentato da Nvidia per modificare le immagini o ricostruire foto danneggiate o con pixel mancanti. Gli aspetti interessanti di questa soluzione sono numerosi, a iniziare dalla sua applicazione rimuovendo manualmente le parti delle immagini per poi mettere nelle mani del software il compito di ricostruirle. In buona sostanza qualsiasi software di fotoritocco potrebbe assorbire il processo denominato image inpainting per la cancellazione, per qualunque ragione, di contenuti indesiderati, per poi permettere all'intelligenza artificiale di coprire le parti mancanti.

Il metodo della convoluzione parziale

A differenza dei sistemi attuali, questo nuovo metodo di deep learning, denominato convoluzione parziale, non va in crisi perché gli output per i pixel mancanti dipendono dal valore dell'input che deve essere fornito alla rete neurale. L'output per i pixel mancanti non è legato dal valore di input fornito per quei pixel. Alla base del lavoro di sviluppo della squadra di ricercatori coordinata da Guilin Liu e basato sulle tecniche di deep learning di Nvidia c'è un'attività certosina ovvero la generazione di 55.116 maschere formate da strisce casuali e disegni di varie forme e dimensioni. La rete neurale è gestita con il framework PyTorch con accelerazione cuDNN tramite GPU NVIDIA Tesla V100 e il cui training è stato realizzato applicando le maschere ai dataset ImageNet, Places2 e CelebA-HQ.

Perché il modello Nvidia funziona

Come si legge nella documentazione allegato al programma, il modello è in grado di gestire efficacemente parti mancanti di qualsiasi forma, dimensione o distanza dai bordi dell'immagine. I precedenti approcci di deep learning si sono concentrati su regioni rettangolari situate attorno al centro dell'immagine e spesso si basano su dispendiose post-elaborazioni. Di più: il modello Nvidia è in grado di gestire buchi di dimensioni crescenti.