GauGAN, l’outil de Nvidia qui transforme un simple croquis en majestueuse photographie
La firme américaine spécialisée dans l’informatique visuelle a dévoilé une impressionnante application du deep learning qui pourrait simplifier de façon significative les processus de création graphique dans de nombreux domaines.
Ce réseau neuronal est capable de créer des photos plus vraies que nature à partir de simples croquis.
© Nvidia
Fake partout, justice nulle part. Après les filtres photo qui uniformisent notre teint et agrandissent nos yeux, les logiciels de dessins qui transposent instantanément nos gribouillages dignes d'un enfant de deux ans en sublimes paysages. Mais soyons honnêtes, l'outil dopé à l'IA qu'a présenté lundi 8 mars 2019, lors de sa conférence annuelle, le spécialiste mondial des processeurs graphiques Nvidia a quelque chose d'hautement jouissif pour quiconque a toujours eu les pires notes en arts plastiques.
Plus sérieusement, GauGAN – contraction de Gauguin et de GAN, pour Generative Adversarial Network – pourrait bien révolutionner la création graphique, notamment dans les domaines du jeu vidéo, de l'urbanisme, de l'architecture ou du design. Encore au stade de l'expérimentation, ce réseau neuronal est capable de transposer une simple tâche ou un aplat de couleur en véritable élément photoréaliste. "Il est beaucoup plus simple de concrétiser ses idées avec de simples croquis, et cette technologie est en mesure de convertir les esquisses en images très réalistes", explique Bryan Catanzaro, vice-président de l'apprentissage appliqué chez Nvidia, dans un post de blog.
Des intelligences artificielles "partenaires"
Concrètement, GanGAN, que le chercheur compare à un "pinceau intelligent", s'appuie sur une évolution du deep learning qui permet à deux intelligences artificielles de "coopérer" : quand l'une génère des images, l'autre les discrimine. Autrement dit, la première crée et l'autre corrige sa semblable, en lui soumettant des instructions sur la manière d'améliorer son rendu pixel par pixel. Par exemple, si l'IA "créatrice" estime que la large surface bleue dessinée par l'utilisateur correspond à une étendue d'eau, l'IA "correctrice", qui a assimilé plus d'un million d'images auparavant, lui indiquera que la lumière du soleil produit des reflets à la surface de l'eau.
Imiter "la façon dont un artiste dessine"
Plus impressionnant encore, la capacité de l'outil à générer des éléments de manière aléatoire. Un arbre, un rocher ou un nuage se distinguera des autres arbres, rochers ou nuages, comme dans la réalité. "Cette technologie ne consiste pas simplement à assembler des morceaux d'autres images, ou à couper et coller des textures", assure Bryan Catanzaro. "Il s'agit de synthétiser de nouvelles images, très semblables à la façon dont un artiste dessine quelque chose." D'un simple clic, il est même possible de modifier un paysage entier en fonction d'une saison. Ainsi, en indiquant la présence de neige au sol, l'arbre situé dans le cadre perdra aussi ses feuilles.
Si, pour l'instant, l'application GauGAN se concentre uniquement sur des éléments naturels tels que la terre, la mer et le ciel, le réseau de neurones sous-jacent serait, lui, déjà en mesure de traiter d'autres types de composants, comme des bâtiments, des routes ou encore les humains qui les bâtissent et les peuplent. Reste maintenant à attendre qu'un tel.logiciel dépasse le stade du prototype
