Времяпролетный объектив что это такое в смартфоне
Знаете, меня порой удивляет причудливая структура общественного мнения. Взять к примеру технологию 3D-визуализации. Огромный общественный резонанс вызывают в последнее время технологии очков виртуальной реальности: Oculus Rift, Google Glass. Но ведь ничего нового тут нет, первые шлемы виртуальной реальности появились ещё в конце 90-х. Да, они были сложны, они опередили своё время, но почему тогда это не вызывало такого WOW-эффекта? Или 3D-принтеры. Статьи о том, как они круты или как быстро они захватят мир появляются в информационном поле два раза в неделю последние года три. Я не спорю, это круто и мир они таки захватят. Но ведь эта технология была создана ещё в 80х и с тех пор вяло прогрессирует. 3D-телевидение? 1915 год…
Технологии все эти хороши и любопытны, но откуда столько шумихи из-за каждого чиха?
Что, если я скажу, что в последние 10 лет была изобретена, разработана и внедрена в массовое производство технология 3D съёмки, очень сильно отличающаяся от любой другой? При этом технология уже повсеместно используемая. Отлаженная и доступная простым людям в магазинах. Вы слышали про неё? (наверное только специалисты по робототехнике и сопутствующим областям науки уже догадались, что я говорю про ToF-камеры).
Что такое ToF камера? В русской Википедии (англ) вы не найдёте даже коротенького упоминания о том, что это такое. «Time of flight camera» переводится как «Времяпролётная камера». Камера определяет дальность через скорость света, измеряя время пролёта светового сигнала, испускаемого камерой, и отражённого каждой точкой получаемого изображения. Сегодняшним стандартом является матрица 320*240 пикселей (следующее поколение будет 640*480). Камера обеспечивает точность измерения глубины порядка 1 сантиметра. Да-да. Матрица из 76800 сенсоров, обеспечивающих точность измерения времени порядка 1/10,000,000,000 (10^-10) секунды. В продаже. За 150 баксов. А может вы ею даже пользуетесь.
А теперь чуть подробнее про физику, принцип работы, и где вы встречали эту прелесть.
Существуют три основных типа ToF-камер. Для каждого из типов используется своя технология измерения дальности положения точки. Самая простая и понятная — «Pulsed Modulation» она же «Direct Time-of-Flight imagers ». Даётся импульс и в каждой точке матрицы измеряется точное время его возвращения:
По сути матрица состоит из триггеров, срабатывающих по фронту волны. Такой же способ используется в оптических синхронах для вспышек. Только тут на порядки точнее. В этом-то и основная сложность этого метода. Требуется очень точное детектирование времени срабатывания, что требует специфических технических решений (каких — я не смог найти). Сейчас такие сенсоры тестирует NASA для посадочных модулей своих кораблей.
А вот картинки которые она выдаёт:
Подсветки на них хватает, чтобы триггеры срабатывали на оптический поток отражённый с расстояния порядка 1 километра. На графике приведено число сработавших в матрице пикселя в зависимости от расстояния 90% работают на расстоянии в 1км:
Второй способ — постоянная модуляция сигнала. Излучатель посылает некоторую модулированную волну. Приёмник находит максимум корреляции того, что он видит с этой волной. Это определяет время, которое сигнал потратил на то, чтобы отразиться и прийти на приёмник.
Пусть излучается сигнал:
где w — модулирующая частота. Тогда принятый сигнал будет выглядеть как:
где b-некий сдвиг, a-амплитуда. Корреляция входящего и исходящего сигнала:
Но полную корреляцию со всеми возможными сдвигами по времени произвести достаточно сложно за реальное время в каждом пикселе. Поэтому используется хитрый финт ушами. Полученный сигнал принимается в 4 соседних пикселя со сдвигом в 90⁰ по фазе и коррелируется сам с собой:
Тогда сдвиг по фазе определяется как:
Зная полученный сдвиг по фазе и скорость света получаем дальность до объекта:
Эти камеры чуть попроще, чем те, что построены по первой технологии, но всё равно сложны и дороги. Делает их вот эта компания. И стоят они порядка 4килобаксов. Зато симпатишные и футуристичные:
Третья технология — " Range gated imagers ". По сути затворная камера. Идея тут до ужаса проста и не требует ни высокоточных приёмников, ни сложной корреляции. Перед матрицей стоит затвор. Предположим, что он у нас идеальный и работает моментально. В момент времени 0 включается освещение сцены. Затвор закрывается в момент времени t. Тогда объекты, расположенные дальше, чем t/(2∙c), где с — скорость света видны не будут. Свет просто не успеет долететь до них и вернуться назад. Точка, расположенная вплотную к камере будет освещаться всё время экспозиции t и иметь яркость I. Значит любая точка экспозиции будет иметь яркость от 0 до I, и эта яркость будет репрезентацией расстояния до точки. Чем ярче — тем ближе.
Осталось сделать всего пару мелочей: ввести в модель время закрытия затвора и поведение матрицы при этом событии, неидеальность источника освещения (для точечного источника света зависимость дальности и яркости не будет линейной), разную отражающую способность материалов. Это очень большие и сложные задачи, которые авторы устройств решили.
Такие камеры самые неточные, но зато самые простые и дешёвые: всю сложность в них составляет алгоритм. Хотите пример того как выглядит такая камера? Вот он:
Да-да, во втором Kinect стоит именно такая камера. Только не стоит путать второй Kinect с первым (на хабре когда-то давно была хорошая и подробная статья где всё же перепутали). В первом Kinect используется структурированная подсветка. Это куда более старая, менее надёжная и более медленная технология:
Там используется обычная инфракрасная камера, которая смотрит на проектируемый паттерн. Его искажения определяют дальность (сравнение методов можно посмотреть вот тут).
Но Kinect далеко не единственный представитель на рынке. Например Intel выпускает камеру за 150 долларов, которая выдаёт 3д карту изображения. Она ориентирована на более ближнюю зону, но у них есть SDK для анализа жестов в кадре. Вот ещё один вариант от SoftKinetic (у них тоже есть SDK, плюс они как-то завязаны на texas instruments).
Сам я, правда до сих пор не сталкивался ни с одной из этих камер, что жалко и досадно. Но, думаю и надеюсь, что через пяток лет они войдут в обиход и моя очередь настанет. Насколько я знаю, их активно используют при ориентации роботов, внедряют в системы распознавания по лицам. Круг задач и применений очень широк.
Компании Oppo и Vivo, принадлежащие китайской корпорации BBK, в 2018 году представили первые свои смартфоны, оборудованные тройными камерами . В отличии от большинства таких моделей, в этих аппаратах третья камера базируется на ToF матрице с разрешением 0,3 Мп. Многие не в курсе, что это вообще такое, но технология не самая новая и при этом может оказаться очень полезной на практике.
ToF камера (Time of Flight – время полета с англ.) или времяпролетная камера – это специальный сенсор, способный излучать свет и регистрировать скорость его отражения от объекта. Зная время, он на основе скорости света (а она стабильна и в воздухе составляет около 300 тыс. км/с) способен вычислить точное расстояние до объекта, подобно лазерному дальномеру.
Комбинируя данные с десятков или сотен тысяч миниатюрных сенсоров, ToF камера фиксирует не цвет, попадающий на них (как обычная камера), а расстояние. Зная расстояния до каждой из массива точек, на выходе мы получим трехмерную картинку объекта. А с ней можно сделать очень много интересного.
Первые ToF 3D камеры в смартфонах
Первым смартфоном, получившим ToF камеру, стал iPhone X, вышедший осенью 2017. В нем она является ключевым элементом системы FaceID, сканирующей лицо пользователя. Разрешающая способность этой 3D-камеры составляет 30 тысяч точек или 0,03 мегапикселя. Не очень много, но достаточно, чтобы запечатлеть уникальный рельеф на лице.
Следующими устройствами (кроме нового поколения Apple) с ToF камерой стали Oppo RX17 Pro и Vivo NEX Dual Display, вышедшие на рынок в конце 2018 года. Они, в отличие от яблочных устройств, обзавелись 3D-камерой, расположенной сзади, параллельно основной. Разрешение этой камеры в 10 раз выше, чем у Apple. Китайцы используют VGA модули, распознающие 300 тыс. точек (0,3 Мп).
Зачем нужна ToF камера в смартфонах
Пока что использование ToF матриц весьма ограничено. Штатные средства смартфонов позволяют применять их разве что для разблокировки с помощью лица и создания анимации, повторяющей мимику пользователя (Animoji и т.п. технологии). Точность 3D-камер еще относительно невысока, погрешность составляет порядка 5-10 мм. Но в будущем, по мере развития, перспективы у ToF просто огромны.
Новое слово в создании видеоконтента
Говорящая какашка Animoji – это забавно, но бесполезно. Однако возможности 3D-камер в реальности куда шире. Сейчас в кинематографе, чтобы смоделировать какого-нибудь монстра или инопланетянина на основе движений человека, каскадера увешивают кучей специальных датчиков. На основе их изображения движения актера совмещают с моделью компьютерного персонажа, процесс этот весьма трудоемкий.
Использование датчиков в кинематографе
Наличие ToF камеры позволит создавать видеоконтент с гораздо меньшими затратами, сделает комбинированные съемки доступными любителям. Если пока что дело ограничивается только анимированными смайлами, то в будущем станет возможным создание полноценных моделей каких-то вымышленных персонажей прямо на смартфоне.
Создание 3D-моделей
Используя снимки с ToF камеры смартфона, можно создавать трехмерные модели различных объектов. Это может быть человек, сооружение, техническое изделие – не важно. Комбинация изображений с обычной фотокамеры и 3D-сенсора позволяет создавать объемные 3D-модели объектов съемки в натуральных цветах.
Модели, созданные с помощью ToF камер, могут иметь множество применений, начиная от развлечений и заканчивая серьезными научно-техническими задачами. Сейчас, чтобы смоделировать в 3D какую-то вещь, ее нужно отснять специальным оборудованием из многих ракурсов. Затем следуют склейка кадров, формирование модели на их основе.
С ToF камерами задача будет сводиться к съемке моделируемого объекта из всех ракурсов (спереди/сзади, снизу/сверху, слева/справа) и последующей их склейке. Согласитесь, отснять десяток кадров на телефон, после чего склеить их в 3D-рендер – это намного проще, чем заморачиваться со спецоборудованием и обработкой сотен снимков.
Моделирование изделий для производства
На основе трехмерных моделей, полученных ToF камерой смартфона, можно создавать вполне материальные объекты. Достаточно 3D-принтера, чтобы взять модель и распечатать ее в пластике. Ради забавы можно сделать, например, скульптуру себя любимого. Делаем селфи из разных ракурсов, создаем модель, задаем масштабы, запускаем в печать – и «памятник нерукотворный» готов.
Можно использовать модели и в практических целях. Например, отснять какую-то сломанную деталь (тот же корпус устройства), чтобы напечатать новую. Никаких кропотливых замеров штангенциркулем, нудной работы с цифрами в приложении для проектирования. Просто на основе нескольких снимков делаем трехмерную модельку, задаем несколько основных величин, а остальное электроника сделает уже сама.
Дополненная реальность
При работе с AR трехмерная камера смартфона позволяет более точно снимать окружающие объекты. Благодаря ей можно отснять в деталях интерьер помещения, чтобы потом «примерить» к нему тот или иной дизайн, мебель.
Не уверены, впишется ли в стиль комнаты новый диван? Просто отснимите ее, а в магазине сфотографируйте диван и совместите полученные модели. Не знаете, какой цвет обоев лучше выбрать? Точно так же отснимите комнату на камеру, чтобы накладывать на стены разные текстуры отделочных материалов прямо со смартфона. И таких примеров множество.
Перечисленные сферы применения ToF камер – самые очевидные и осуществимые уже в ближайшем будущем. Но полный их список может оказаться еще шире, так как 3D-камеры развиваются. Уже скоро они могут появиться во многих смартфонах, а программистами будет создано много полезных приложений для взаимодействия с ними. Это произойдет не через полгода, но технология уже выглядит перспективно.
А как считаете вы, нужна ли эта технология? Какое применение нашли бы ей вы? Делитесь своим мнением в комментариях.
В смартфонах последних лет в дополнение к куче обычных камер начинает появляться еще одна с непривычным названием «времяпролетная камера» (time-of-flight, ToF). Она уже есть у iPhone X, Huawei Honor View 20, Oppo RX17 Pro, Huawei P30 Pro, скоро появится у Samsung Galaxy S10 5G. Попробуем разобраться, что такое «времяпролетная камера» и какие преимущества она дает.
TOF-камера – это как сонар для телефонов, но вместо звука он использует свет. Она излучает свет и регистрирует время задержки, когда свет поступает обратно в камеру после отражения от объекта. Благодаря этому можно точно рассчитать расстояние до предмета, на который наведена камера. Чаще всего для работы используется инфракрасный свет. Разрешение такой камеры крошечное по сравнению с обычными фотосенсорами – оно составляет 0,03-0,3 мегапикселя.
Зная точное расстояние до объектов, можно построить виртуальную 3D-карту пространства перед объективом смартфона. Также ToF можно использовать как сенсор глубины пространства.
Идея времяпролетных камер не нова, и ее уже много лет используют в электронике. Одним из наиболее известных примеров является Microsoft Kinect 2 для приставки Xbox One. Именно благодаря этой технологии у iPhone X появились анимоджи – эмоджи, воспроизводящие выражения лица пользователя.
Прорывом является то, что эту технологию начали использовать в смартфонах. На мобильниках ToF-камера может выполнять две функции. Во-первых, она позволит выделить предмет съемки от фона. Это в дальнейшем облегчит обработку кадра, например, можно точнее добавить эффект боке – размытие фона.
Второй опцией ToF-камеры на смартфоне является дополненная реальность. С ней мобильник будет знать, как размещаются предметы вокруг него. Точное знание размеров объектов и расстояния до них позволяет получить качественную работу дополненной реальности.
В последнее время ToF-камеры стали неотъемлемой составляющей набора камер современного флагманского смартфона. Но как они работают, зачем вообще нужны и где их можно использовать?
“Они есть, ну и пусть”, — скажет большинство пользователей. Дело в том, что о ToF-датчиках публикуется очень мало информации. Разве что мои коллеги-журналисты, и то не все, да еще профильные эксперты могут внятно объяснить потребность в нем. Давайте внесем некую ясность в данном вопросе. Возможно, часть текста будет содержать много терминов, но я попробую максимально просто объяснить, что из себя представляет ToF-камера, куда можно применить ее возможности и как увидеть ее в действии. Ну что же, поехали!
Что такое камера ToF?
Помните эти фильмы о подводных лодках во время Второй мировой войны? Там фигурировало сонарное оборудование, используемое для обнаружения суден противника. Устройство посылает звуковой «пинг» в водное пространство и ждет отражения сигнала. В зависимости от времени, которое требовалось, чтобы звуковая волна вернулась назад, специалист пытался определить местоположение вражеской подводной лодки.
Точно так же, как сонар, камера ToF измеряет время, необходимое для того, чтобы свет отразился от объекта. Затем камера использует данные задержки для определения расстояния. Таким образом, датчик ToF создает трехмерную карту мира.
Поэтому камеры ToF также иногда называют «камерой глубины». ToF-камера (Time of Flight – «время полета» с англ.) представляет собой сенсор, который способен излучать некий свет в инфракрасном спектре и затем фиксировать скорость его отражения от объекта. Сам датчик состоит из двух частей: первая — это диод, излучающий инфракрасный свет, а вторая — это специальная светочувствительная матрица.
Камера измеряет время, после которого отраженный от объекта свет возвращается к нему. На основании расчетов, выполненных с точностью до наносекунды, устройство способно не только точно оценить расстояние отдельных объектов от датчика, но и определить их форму. Правда, очень похоже на сонар гидролокатора. Только в данном случае мы запускаем к объекту свет вместо звука.
Датчики, работающие по аналогичному принципу, также используются в автономных автомобилях или даже космических зондах, построенных NASA. Прогрессирующая миниатюризация и относительно низкие производственные затраты означают, что эта технология может появиться в вашем кармане уже сегодня. Дело в том, что ToF- датчики уже есть во многих топовых смартфонах. Вот некоторые мобильные устройства, укомплектованные ToF-камерами:
Уверен, что с каждым годом этот список будет только расширяться, ведь потенциал данного датчика просто огромен. Возможно, вскоре Google в своих Pixel тоже установит такую камеру. Есть также надежда, что и Apple обратит внимание на датчик ToF и внесет свой вклад в большую популяризацию этой технологии, а также в полной мере использует его возможности. Не зря же подобный датчик появился в новом iPad Pro.
Ну что же, с теорией понятно, давайте теперь более подробно рассмотрим, на что способна ToF-камера на практике. Нужно понимать, что просто так взять и включить данный сенсор нельзя, но использовать его в некоторых приложениях, даже при съемке камерой все же можно.
Как можно применять камеру ToF?
Измеряем расстояние
На некоторых смартфонах Samsung (включая Note10+ , S20+ и S20 Ultra ) и Huawei (включая P30 Pro, Mate 30 Pro, Huawei P40 Pro ) вы можете установить приложение для измерения расстояния, которое называется Measure.
Что за TOF камера в смартфонах? Это именно объектив или датчик? Для чего нужен?
И датчик, и объектив :-). Если обратиться к терминологии, то объектив это оптическая система, являющаяся частью оптического прибора, обращённая к объекту наблюдения или съёмки.
ToF-датчик (расшифровывается как Time of Flight, он же датчик глубины или времяпролетная камера) — это специальный сенсор, который излучает свет и регистрирует скорость его отражения от объекта. Зная время отражения, на основе скорости света (она постоянна в воздухе) можно вычислить точное расстояние до объекта, как это делает лазерный дальномер.
Таким образом, ToF-сенсор фиксирует не свет (как это делают обычные камеры для фотосъемки), а расстояние. Если измерить расстояние до разных точек, можно получить трехмерную картинку наблюдаемого объекта. И все это в реальном времени.
Сейчас датчики глубины популярны в смартфонах хуавей, хонор, оппо, самсунг и так далее. А первым смартфоном с такой камерой стал iPhone X в 2017 году. Именно для этого у него такая объемная «челка» — дополнительная ToF-камера стала ключевым элементом системы распознавания лица FaceID.
Для чего нужны датчики глубины? Пока что их применение ограничено, но перспективы большие. Реальное применение на данный момент — разблокировка по лицу, создание анимированный эмодзи на основе лица владельца телефона. В теории с такими камерами можно создавать вымышленных персонажей, которые будут похожи на своих «человеческих» прототипов и иметь живую мимику.
Также это позволит кому угодно делать комбинированные видеосъемки с «левыми» объектами, которые будут вести себя и располагаться в пространстве как реальные. Это полезно и для технологий дополненной реальности. Используется уже сейчас — например, можно онлайн примерить мебель к своей квартире. Или пририсовать виртуальные стикеры к каким-то вещам. Или играть в сетевую игру с виртуальными объектами, глядя на них через камеры ваших смартфонов. Вот ролик по теме от Sony с милым саундтреком:
Также ToF-камеры позволят создавать трехмерные модели объектов (например, для 3D-печати). Человек, сооружение, прибор — неважно. А комбинация обычной камеры и ToF позволяет получать такие модели в реальных цветах.
Читайте также: