NVIDIA показала GauGAN — ИИ-систему, которая превращает небрежные наброски в фотореалистичные изображения

Сегодня компания NVIDIA сделала множество анонсов. Еще одна разработка, о которой определенно стоит рассказать, — GauGAN. Под этим замысловатым на первый взгляд названием кроется система, которая использует нейросети и алгоритмы машинного обучения, чтобы превращать грубые наброски а-ля Paint в качественные фотореалистичные изображения.На самом деле GauGAN названа так в честь французского художника Поля Гогена. Кроме того, вторая часть названия (GAN) —  это сокращение от «генеративно-состязательной сети», используемом алгоритме машинного обучения.Для начала стоит посмотреть видеоролик, демонстрирующий интерфейс и то, как собственно, работает ПО.В основе GauGAN — обучаемая нейросеть, которая мгновенно распознает эскиз с заданными параметрами и переделывает его в красивое изображение. Чтобы обучить свою систему создавать качественные изображения из простых набросков, исследователи из NVIDIA тренировали ее на библиотеке из более миллиона фотографий, взятых из Flickr.Интерфейс программы, если судить по ролику, максимально прост и интуитивен. На панели инструментов слева есть только базовые инструменты: ручка, карандаш и заливка. Художнику просто нужно выбрать из списка в нижней части экрана то, что он хочет нарисовать (скала, облака, растение, дерево, дорога, снег, трава, камень, песок, стекло) и сделать схематический набросок, после чего нейросеть превратит его в настоящее произведение искусства.Система GauGAN учитывает контекст изображения (анализирует всю картину целиком), если так можно говорить, и прорисовывает отдельно каждую малейшую деталь. Она автоматически дорисовывает отражения объектов, например, деревьев и облаков в водоемах. Кроме того, пользователь захочет заменить траву на снег (сделать это можно в несколько кликов), нейросеть соответствующим образом изменит изображения, сделав небо более серым и мрачным. То есть, система способна менять картинку в зависимости от времени года и прочих факторов. Подобно человеку, система никогда не повторяется и постоянно выдает разные результаты даже для очень похожих эскизов.По замыслу разработчиков, нейросеть поможет архитекторам, дизайнерам и разработчикам игр, которые часто работают с моделями и рендерами, существенно повысить продуктивность своей работы.На данный момент область применения GauGAN ограничена пейзажами. Но очевидно, что нейросеть легко перепрофилировать — просто поменяв исходный набор данных для тренировок, нейросеть можно познакомить с машиностроением, архитектурой и другими областями.К сожалению, оценить возможности системы GauGAN, которая на данный момент находится на ранеей стадии разработки, могут лишь посетители выставки GPU Technology Conference 2019, проходящей сейчас в Калифорнии. И пока неясно, собирается ли NVIDIA выпускать GauGAN на рынок в форме коммерческого продукта.Отметим, что это уже далеко не первая (и точно не последняя) подобная разработка NVIDIA. Летом прошлого года «зеленый» чипмейкер демонстрировал систему на базе ИИ, способную делать из обычных видео замедленные. Немало таких экспериментальных проектов с использованием нейросетей и машинного обучения мы видели и от Google (навскидку — Google AutoDraw и Neural Doodle).Источник: NVIDIA

Также по теме: