Несмотря на годы ожиданий, гарнитуры виртуальной реальности еще не сменили экраны телевизоров или компьютеров в качестве устройств для просмотра видео. Одна из причин: VR может заставить пользователей чувствовать себя больными. Тошнота и напряжение глаз могут привести к тому, что VR создает иллюзию 3D-просмотра, хотя на самом деле пользователь смотрит на 2D-дисплей с фиксированным расстоянием. Помочь улучшению 3D-визуализации может технология, которой уже 60 лет, переделанная для цифрового мира: голограммы.

Голограммы обеспечивают исключительное представление окружающего нас трехмерного мира. К тому же они очень красивые. (Посмотрите на голографического голубя на вашей карточке Visa.) Голограммы предлагают смещающуюся перспективу, основанную на положении зрителя, и они позволяют глазу регулировать фокальную глубину, чтобы попеременно фокусироваться на переднем плане и фоне.

Исследователи уже давно стремятся создавать компьютерные голограммы, но этот процесс традиционно требует суперкомпьютера для обработки физических симуляций, много времени и может дать менее фотореалистичные результаты. Теперь исследователи MIT разработали новый способ получения голограмм почти мгновенно — и метод глубокого обучения настолько эффективен, что он может работать на ноутбуке в мгновение ока.

“Раньше люди думали, что с существующим оборудованием потребительского класса невозможно выполнять вычисления 3D-голографии в реальном времени, — говорит Лян Ши (Liang Shi), ведущий автор исследования и аспирант кафедры электротехники и компьютерных наук Массачусетского технологического института (EECS). — Часто говорят, что коммерчески доступные голографические дисплеи появятся примерно через 10 лет, но это утверждение звучит уже несколько десятилетий”.

Г-н Ши считает, что новый подход, который его команда называет «тензорной голографией», наконец-то приблизит эту неуловимую 10-летнюю цель. Продвижение может подпитывать распространение голографии в таких областях, как VR и 3D-печать.

Ши работал над исследованием, опубликованным сегодня в журнале Nature, вместе со своим советником и соавтором Войцехом Матусиком (Wojciech Matusik). Среди других соавторов — Бейчен Ли (Beichen Li) из EECS и Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института, а также бывшие исследователи Массачусетского технологического института Чангил Ким (ныне в Facebook) и Петр Келнхофер (ныне в Стэнфордском университете).

В поисках лучшего 3D

Типичная фотография на основе объектива кодирует яркость каждой световой волны — она может точно воспроизводить цвета, но в конечном итоге дает плоское изображение.

Напротив, голограмма кодирует как яркость, так и фазу каждой световой волны. Эта комбинация обеспечивает более точное изображение параллакса и глубины сцены. Таким образом, в то время как фотография “Водяных лилий” Моне может подчеркнуть цветовую палитру картин, голограмма может оживить работу, передавая уникальную трехмерную текстуру каждого мазка кисти. Но, несмотря на свою реалистичность, голограммы — это вызов, с которым еще предстоит справиться.

Впервые разработанные в середине прошлого века, ранние голограммы были записаны оптически. Для этого требовалось расщепить лазерный луч, причем половина луча использовалась для освещения объекта, а другая половина — в качестве эталона фазы световых волн. Эта ссылка создает уникальное чувство глубины голограммы. Полученные изображения были статичными, поэтому не могли уловить движение. И они были только печатными копиями, что затрудняло их воспроизведение и распространение.

Компьютерная голография обходит эти проблемы, имитируя оптическую установку. Но этот процесс может оказаться весьма трудоемким. “Поскольку каждая точка в сцене имеет разную глубину, вы не можете применять одни и те же операции для всех, — говорит Ши. — Это значительно увеличивает сложность.” Управление кластеризованным суперкомпьютером для выполнения этих физических симуляций может занять секунды или минуты для одного голографического изображения. Кроме того, существующие алгоритмы не моделируют окклюзию с фотореалистичной точностью. Поэтому команда Ши выбрала другой подход: позволить компьютеру учить физику самому.

Они использовали глубокое обучение для ускорения компьютерной голографии, что позволяет в режиме реального времени генерировать голограммы. Команда разработала сверточную нейронную сеть — метод обработки, который использует цепочку обучаемых тензоров, чтобы примерно имитировать, как люди обрабатывают визуальную информацию. Обучение нейронной сети обычно требует большого, высококачественного набора данных, который ранее не существовал для 3D-голограмм.

Команда создала пользовательскую базу данных из 4000 пар компьютерных изображений. Каждая пара соответствовала изображению — включая информацию о цвете и глубине для каждого пикселя — с соответствующей голограммой. Для создания голограмм в новой базе данных исследователи использовали сцены со сложными и переменными формами и цветами, с глубиной пикселей, равномерно распределенных от фона до переднего плана, и с новым набором физических расчетов для обработки окклюзии. Этот подход привел к получению фотореалистичных обучающих данных. Затем алгоритм приступил к работе.

Изучая каждую пару изображений, тензорная сеть корректировала параметры собственных вычислений, последовательно повышая свою способность создавать голограммы. Полностью оптимизированная сеть работала на порядки быстрее, чем физические расчеты. Такая оперативность удивила и саму команду.

“Мы поражены тем, как хорошо он работает”, — говорит Матусик. Всего за несколько миллисекунд тензорная голография может создавать голограммы из изображений с информацией о глубине, которая обеспечивается типичными компьютерными изображениями и может быть вычислена с помощью многокамерной установки или лидарного датчика (оба имеются на некоторых новых смартфонах). Это прокладывает путь для 3D-голографии в реальном времени. Более того, компактная тензорная сеть требует менее 1 МБ памяти. “Это незначительно, учитывая десятки и сотни гигабайт, доступных на последнем сотовом телефоне”, — говорит разработчик.

“Исследование показывает, что настоящие 3D-голографические дисплеи практичны только при умеренных вычислительных требованиях”, — говорит Джоэл Коллин (Joel Kollin), главный оптический архитектор Microsoft, который не принимал участия в этом исследовании. Он добавляет, что “эта работа демонстрирует заметное улучшение качества изображения по сравнению с предыдущими попытками”, что “добавит реализма и комфорта зрителю.” Коллин также намекает на возможность того, что голографические дисплеи, подобные этому, могут быть даже настроены под офтальмологические рецепторы зрителя. «Голографические дисплеи могут корректировать аберрации в глазу. Это делает возможным отображение изображения более резким, чем то, что пользователь мог бы видеть с помощью контактных линз или очков, которые только исправляют аберрации низкого порядка, такие как фокус и астигматизм”.

«Значительный скачок”

3D-голография в реальном времени позволит усовершенствовать множество систем — от виртуальной реальности до 3D-печати. Команда говорит, что новая система поможет погрузить зрителей виртуальной реальности в более реалистичные пейзажи, одновременно устраняя напряжение глаз и другие побочные эффекты длительного использования виртуальной реальности. Эту технологию можно было бы легко развернуть на дисплеях, модулирующих фазу световых волн. В настоящее время большинство доступных дисплеев потребительского класса модулируют только яркость, хотя стоимость дисплеев с фазовой модуляцией упала бы, если бы они получили широкое распространение.

Трехмерная голография также стимулирует развитие объемной 3D-печати, говорят исследователи. Эта технология может оказаться более быстрой и точной, чем традиционная послойная 3D-печать, поскольку объемная 3D-печать позволяет одновременно проецировать весь 3D-узор. Другие области применения включают микроскопию, визуализацию медицинских данных и проектирование поверхностей с уникальными оптическими свойствами.

“Это значительный скачок, который может полностью изменить отношение людей к голографии, — говорит Матусик. — Мы чувствуем, что нейронные сети были рождены для этой задачи”.

Источник: https://news.mit.edu/2021/3d-holograms-vr-0310

от AI_NEWS

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *