Кафедра
Инженерных дисциплин
 
Краснодонский факультет инженерии и менеджмента
Восточноукраинского национального университета
имени Владимира Даля
Вт, 03.08.2021, 12:35
Приветствую Вас Гость | RSS
Меню сайта

Форма входа

Категории раздела
Новости Факультета!!! [141]
Новости нашего региона [484]
Новости науки и техники [1133]
IT- новости [884]
Авто-новости [98]
Сообщения об интересных событиях [414]
Зарубежные новости [203]
Новости материаловедения [74]
Водород [28]
Сведения о влиянии водорода. Водородная энергетика.
Здоровье [126]
Новости образования [48]
Новости университета [43]
Новости Украины [70]
Разное [319]
Триботехника [1]
Компьютерные игры [43]
Программирование [9]
Подготовка к поступлению [162]

Поиск

Главная » 2021 » Апрель » 18 » GANverse3D — Knight Rider KITT воссоздан с помощью искусственного интеллекта NVIDIA
09:38
GANverse3D — Knight Rider KITT воссоздан с помощью искусственного интеллекта NVIDIA

GANverse3D — Knight Rider KITT воссоздан с помощью искусственного интеллекта NVIDIA

Новости компаний

NVIDIA анонсирует новую технологию, которая позволяет создавать 3D модели из 2D изображений силами ИИ. Новый движок дает нам возможность с помощью искусственного интеллекта оживить культовый автомобиль Knight Rider, в NVIDIA Omniverse.

Embargoed GANverse3D Render.png Благодарность: Isha Salian

 

Приложение GANverse3D, разработанное исследовательской лабораторией NVIDIA AI Research Lab в Торонто, может создавать 3D-модели на основе фотографий, полученные модели можно визуализировать и контролировать в виртуальных средах.

Эта технология открывает широкие возможности для архитекторов, разработчиков игр и дизайнеров, давая им возможность легко добавлять новые объекты в свои макеты, при этом не требуя опыта в 3D-моделировании или большого бюджета на расходы на визуализацию.

Например, имею всего одну фотографию автомобиля, вы можете превратить ее в 3D-модель, которая будет иметь реалистичные фары, задние фонари и поворотники.

Для создания набора обучения, исследователи прибегли к использованию генеративной состязательной сети или GAN, для синтезирования изображений, представляющих собой один и тот же объект с разных точек зрения. Например, фотограф, который ходит вокруг припаркованного автомобиля, делая снимки с разных ракурсов. Все эти изображения, с разными ракурсами, были включены в структуру рендеринга для инверсной графики - процесс вывода 3D сетки модели из 2D изображений.

После обучения на изображениях с разных ракурсов GANverse3D достаточно одного 2D изображения для построения 3D объекта. Данная модель может использоваться с нейронным 3D рендером, который даёт разработчикам контроль над настройкой объектов и сменой фонов.

При импорте в виде расширения на платформу NVIDIA Omniverce и запуске на графических процессорах NVIDIA RTX - GANverse3D можно использовать для воссоздания любого 2D изображения в 3D формате - как, например, любимый автомобиль для борьбы с преступностью KITT из популярного телешоу 1980 годов "Рыцарь Дорог".

В предыдущих моделях инверсной графики, в качестве обучения, были использованы трёхмерные данные. Сейчас, по словам Ваньчжэн Чен — научного сотрудник NVIDIA и ведущего автор проекта — вместо 3D ресурсов, модель GAN выступает в роли очень эффективного генератора данных, для создания 3D объектов из любого 2D изображения в Интернете.

"Поскольку мы тренировались на реальных изображениях, вместо типичного пайплайна, который основан на синтетических данных, модель ИИ лучше обобщается на реальные приложения", - сказал исследователь NVIDIA Джун Гао, автор проекта.

Исследования GANverse3D будут представлены на двух предстоящих конференциях: Международная конференция по обучающим представительствам, в мае и Конференция по Компьютерному зрению и распознаванию образов, в июне.

 

От Flat Tire до Racing KITT.

Разработчики игр, архитекторы и дизайнеры полагаются на виртуальные среды, такие ка NVIDIA Omniverse - платформы для моделирования и совместной работы для проверки новых идей и визуализации прототипов перед созданием своих конечных продуктов. С Omniverse Connectors разработчики могут использовать предпочтительные для себя 3D приложения в Omniverse для моделирования сложных виртуальных миров при помощи рейтрейсинга в реальном времени.

Однако не каждый разработчик располагает временем и ресурсами для создания 3D моделей каждого объекта, для которого были созданы скетчи. Стоимость захвата большого количества изображений с разными ракурсами, необходимых для рендеринга массы автомобилей в выставочном зале или зданий на улице, может быть слишком высока.

Как раз в такой ситуации приложение GANverse3D можно использовать для преобразования стандартных изображений автомобиля, здания или даже площади в трёхмерную модель, которую впоследствии можно настроить и анимировать в Omniverse.

Для воссоздания KITT, исследователи просто "скармливали" обученной системе изображения автомобиля, позволяя GANverse3D "предсказывать" соответствующую трёхмерную текстурированную сетку, а также различные части автомобиля, например фары или колёса. После чего они использовали NVIDIA Omniverse Kit и инструменты NVIDIA PhysX для преобразования предсказанной текстуры в высококачественные материалы, которые придают KITT более реалистичный вид и помещают его в динамичную среду рядом с другими автомобилями.

"Omniverse позволяет предлагать захватывающие, передовые исследования непосредственно разработчикам и конечным пользователям", - говорит Жан Франсуа Лафлеш - инженер по глубокому обучению NVIDIA. "GANverse3D как расширение в Omniverse поможет художниками создавать более богатые виртуальные миры при разработке игры, планировать городскую среду или даже обучать новым моделям машинного обучения."

GAN - сила масштабного изменения.

Поскольку реальные наборы данных, которые фиксируют один и тот же объект под разными углами, редки, большинство инструментов ИИ, которые конвертируют изображения из 2D в 3D, обучаются с использованием синтетических наборов 3D данных, таких как ShapeNet.

Вместо получения изображений с разным ракурсом из реальных данных, например, изображений автомобилей, общедоступных в интернете, исследователи NVIDIA обратились к модели GAN - манипулируя с её слоями нейронной сети, дабы получить генератор данных.

Команда обнаружила, что открытие первых четырёх слоёв нейронной сети и замораживание оставшихся двенадцати заставили GAN визуализировать изображения одного и того же объекта с разных углов обзора.

Если первые четыре слоя оставались замороженные, а двенадцать остальных - переменными - нейронная сеть создавала разные изображения с одной и той же точки зрения. Вручную назначив стандарт точки обзора, с транспортными средствами, изображёнными на определённой высоте и на определённом расстоянии от камеры, исследователи могут быстро создать данные с разных ракурсов из отдельных 2D изображений."

Финальная модель, обученная на 55000 изображениях автомобилей, созданных GAN, превзошла сеть, обученную на популярном наборе данных Pascal3D.

По ссылке, вы можете ознакомиться с полной статьёй ICLR, автором которой являются Вэньчжэн Чен, коллеги - исследователи NVIDIA Цзюн Гао и Хуан Лин, Санджа Фидлер - директор исследовательской лаборатории в Торонто, студент университета Ватерлоо Юйсюань Чжан, студент Стэнтфорда Ииан Чжан и профессор Масачусетского технологического института Антонио Торральба. Среди других соавторов статьи CVPR - Жан Франсуа Лафлеш, исследователь NVIDIA Кансюэ Инь и Андела Барриусо.

Исследовательская группа NVIDIA состоит из более чем 200 учёных со всего мира, специализирующихся на таких областях как искусственный интеллект, компьютерное зрение, беспилотные автомобили, робототехника и графика.

Больше информации о последних исследованиях компании и отраслевых достижениях генерального директора NVIDIA Дженсена Хуанга можно узнать по основному докладу на конференции GPU Technology Conference на этой неделе.

https://render.ru/ru/news/post/20923

Категория: IT- новости | Просмотров: 17 | Добавил: Professor7081 | Рейтинг: 0.0/0
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Мы - Далевцы!

Календарь
«  Апрель 2021  »
ПнВтСрЧтПтСбВс
   1234
567891011
12131415161718
19202122232425
2627282930

Архив записей

Наши партнёры
  • Кафедра гуманитарных и социально-экономических дисциплин
  • Официальный блог
  • Сообщество uCoz
  • FAQ по системе
  • Инструкции для uCoz

  • Статистика

    Онлайн всего: 1
    Гостей: 1
    Пользователей: 0

    Copyright MyCorp © 2021     Created by Alex Kalinin