Компания Nvidia на конференции GDC 2019 показала новую разработку — нейросеть GauGAN. Она может превратить обычные зарисовки в фотореалистичные пейзажи несколькими кликами мыши.
Гораздо проще устраивать «мозговые штурмы» с помощью простых эскизов, и эта технология способна преобразовывать эскизы в очень реалистичные изображения, — рассказал вице-президент по прикладным исследованиям в области глубокого обучения Nvidia Брайан Катандзаро.
GauGAN, по мнению авторов проекта, станет полезным инструментом как для архитекторов и градостроителей, так и для ландшафтных дизайнеров и разработчиков игр. Например, нейросеть за короткое время поможет создать прототипы идей и быстро внести изменения в уже созданный макет.
Катандзаро сравнивает GauGAN с «умной кистью», поскольку благодаря ей пользователь может легко манипулировать рисунком, помечая каждый сегмент как песок, небо, море или снег. Модели «скормили» миллион разных изображений, в результате чего она научилась распознавать различные объекты в реальном мире. Художнику просто нужно будет указать, что он хочет видеть в указанной зоне, и GauGAN моментально добавит это.
Это похоже на книжку-раскраску, которая просит обозначить, где находится дерево, где — солнце, где — небо. И тогда нейросеть способна заполнить все детали и текстуры, а также отражения, тени и цвета, основываясь на том, что она узнала о реальных изображениях… Эта технология не просто склеивает кусочки других изображений или вырезает и вставляет текстуры. Это фактически синтез новых изображений, очень похожих на то, как бы художник нарисовал что-то, — отметил Катандзаро.
GauGAN получила название от симбиоза двух слов — аббревиатуры GAN (генеративно-состязательные нейросеть) и фамилии французского живописца Поля Гогена (Gauguin).
Ранее News.ru рассказал в специальном материале, почему Deepfake и fake news становятся серьёзной угрозой.
