Intel Labs опубликовала новый метод улучшения изображения на примере GTA V
Команда стажеров Intel Labs опубликовала научную статью на тему «Улучшение фотореализма», в которой рассматривается подход к повышению реалистичности изображений с применением нейронных сетей. Результаты работы были продемонстрированы на игре GTA V.
«Мы представляем подход к повышению реалистичности синтетических изображений. Изображения улучшаются сверточной сетью, которая использует промежуточные представления, созданные обычными конвейерами рендеринга. Сеть обучается с помощью новой враждебной цели, которая обеспечивает строгий контроль на нескольких уровнях восприятия. Мы анализируем распределение макетов сцен в часто используемых наборах данных и обнаруживаем, что они существенно различаются. Мы предполагаем, что это одна из причин сильных артефактов, которые можно наблюдать в результатах многих предшествующих методов. Чтобы решить эту проблему, мы предлагаем новую стратегию выборки участков изображения во время обучения. Мы также вводим несколько архитектурных улучшений в глубокие сетевые модули, используемые для улучшения фотореализма»,
— говорится в аннотации к статье.
Суть технологию сводится к преобразованию стандартных игровых кадров в почти фотореалистичную картинку с помощью очень сложной процедуры, в которой задействован искусственный интеллект. Чтобы упростить понимание, команда также создала видео, наглядно показывающая работу продвинутого ИИ. Ролик дает параллельное сравнение между стандартным миром GTA V и улучшенной версией, обработанной с помощью нейросети.
В результате обработки, исследователи Intel Labs получили изображение с улучшенным освещением, реалистичными бликами и отражениями на поверхности автомобилей, мягкие тени, детализированную растительность.