Tof сенсор в каких телефонах
В связи со стагнацией продаж смартфонов на рынке производители начали привлекать к себе клиентов с помощью таких нововведений, как несколько датчиков задней камеры, камеры, встроенные в экран и выдвижные камеры.
Термин «ToF-камера» попал в заголовки новостей еще в 2019 году. Но что она собой представляет? Я сейчас все детально вам объясню.
Что такое ToF-камера?
- Излучает инфракрасный световой сигнал
- Измеряет период, за который этот сигнал возвращается
- На основе полученных данных определяет глубину изображения
ToF-камера – это датчик, который измеряет глубину изображения. Чтобы получить информацию о глубине, он использует инфракрасный свет (лазер, невидимый для человеческого глаза). Датчик излучает световой сигнал, который попадает на объект и возвращается обратно. Затем датчик измеряет время, которое прошло с момента излучения сигнала до момента его возвращения, и таким образом получает информацию о глубине. Такой подход дает огромное преимущество перед другими технологиями, так как позволяет точно измерять расстояния с помощью одного лазерного импульса.
По сравнению с другими доступными технологиями «сканирования диапазона 3D-глубины» (теми же сканерами или камерами с источником структурированных световых лучей), технология ToF считается относительно дешевой. Излучаемый световой сигнал может достигать скорости до 160 кадров в секунду, что означает, что такие камеры отлично подходят для работы в режиме реального времени (эффект боке или фона в видео на ходу). Еще одно преимущество – такие камеры потребляют мало энергии.
Примечание: ToF – это один из многих методов, который подпадает под категорию диапазонного отображения. Иногда ToF-камеры еще называют дальномером или 3D-датчиком.
Для чего нужна ToF-камера?
- Сканирование объектов, навигация в помещении, распознавание жестов
- Также помогает с 3D-визуализацией и улучшением AR-опыта
- Теоретически, с её помощью лучше реализуется эффект боке в портретном режиме.
Датчик ToF-камеры можно использовать для измерения расстояния, а также для сканирования объектов, навигации в помещении, обхода препятствий, распознавания жестов и отслеживания объектов. Данные, полученные с помощью этого датчика, могут также помочь с 3D-визуализацией и улучшением опыта при использовании дополненной реальности (AR). В телефонах ToF-камеры могут быть использованы для 3D-съемки, AR и, в частности, для съемки в портретном режиме.
Теоретически, ToF-камеры позволяют лучше размывать фон в портретном режиме. Я говорю «теоретически», потому что этот процесс все еще требует и программной составляющей. Да и от производителя зависит то, как будут использоваться данные, собранные с ToF-камеры.
ToF-камеры также могут помочь в условиях низкой освещенности – поскольку датчик использует инфракрасный свет для определения «расстояния до объекта», он может помочь смартфонам сфокусироваться даже в темноте.
ToF-камеры – это какое-то нововведение?
- Microsoft использовала ToF-камеры в Kinect второго поколения
- ToF-камеры используются в лидарах
- Одним из первых смартфонов с ToF-камерой является Huawei Honor View 20
Технология ToF не очень нова – на протяжении последнего десятилетия с ней уже успели поэкспериментировать различные компании. Microsoft, например, использовала ToF-камеры в своих устройствах Kinect второго поколения. Лидары, которые часто используются в автомобилях с автопилотом, также обычно оснащены ToF-датчиками. Их приняли на вооружение даже компании, выпускающие беспилотники – так, дрон Chouette в видео выше использует камеру TeraRanger ToF для наблюдения за виноградниками.
Поэтому, хоть технология ToF и не была изобретена вчера, она все еще считается передовой, и, благодаря своей эффективности и доступности, она быстро набирает популярность.
Одним из первых смартфонов, использующих эту технологию, был Huawei Honor View 20, который вышел в конце 2018 года. После него появилось много других флагманских смартфонов с ToF-датчиками.
Смартфоны с ToF-камерой?
Представляю вам список смартфонов с установленной ToF камерой. Не буду вдаваться в их характеристики, можете посмотреть их сами по ссылкам на Яндекс Маркет.
Huawei P30 Pro
Четверная камера этого смартфона разработана в сотрудничестве с Leica. Здесь не только реализован первый на рынке 5-кратный оптический зум – смартфон также может похвастаться стандартной и широкоугольной оптикой наряду с ToF-датчиком. Это самая «продвинутая» установка камеры, которую я видел на сегодняшний день.
Samsung Galaxy Note 10+
Oppo RX17 Pro
Oppo RX17 Pro оснащен 25-мегапиксельной селфи-камерой с диафрагмой f/2.0, в то время как основная камера состоит из трех датчик, один из которых – ToF.
Honor View 20
LG G8S ThinQ
Основная камера LG G8S ThinQ, анонсированного на Mobile World Congress 2019, также использует технологию ToF.
Кто занимается производством ToF-камер?
Производством ToF-камер занимается Sony, и, очевидно, сейчас эта технология японской компании начинает пользоваться большим спросом.
Кроме Sony производством ToF-камер также занимаются AMS/Heptagon, ASC TigerCub, TeraRanger One, Riegl, Lucid/Helios, и AdaFruit.
Компании Oppo и Vivo, принадлежащие китайской корпорации BBK, в 2018 году представили первые свои смартфоны, оборудованные тройными камерами . В отличии от большинства таких моделей, в этих аппаратах третья камера базируется на ToF матрице с разрешением 0,3 Мп. Многие не в курсе, что это вообще такое, но технология не самая новая и при этом может оказаться очень полезной на практике.
ToF камера (Time of Flight – время полета с англ.) или времяпролетная камера – это специальный сенсор, способный излучать свет и регистрировать скорость его отражения от объекта. Зная время, он на основе скорости света (а она стабильна и в воздухе составляет около 300 тыс. км/с) способен вычислить точное расстояние до объекта, подобно лазерному дальномеру.
Комбинируя данные с десятков или сотен тысяч миниатюрных сенсоров, ToF камера фиксирует не цвет, попадающий на них (как обычная камера), а расстояние. Зная расстояния до каждой из массива точек, на выходе мы получим трехмерную картинку объекта. А с ней можно сделать очень много интересного.
Первые ToF 3D камеры в смартфонах
Первым смартфоном, получившим ToF камеру, стал iPhone X, вышедший осенью 2017. В нем она является ключевым элементом системы FaceID, сканирующей лицо пользователя. Разрешающая способность этой 3D-камеры составляет 30 тысяч точек или 0,03 мегапикселя. Не очень много, но достаточно, чтобы запечатлеть уникальный рельеф на лице.
Следующими устройствами (кроме нового поколения Apple) с ToF камерой стали Oppo RX17 Pro и Vivo NEX Dual Display, вышедшие на рынок в конце 2018 года. Они, в отличие от яблочных устройств, обзавелись 3D-камерой, расположенной сзади, параллельно основной. Разрешение этой камеры в 10 раз выше, чем у Apple. Китайцы используют VGA модули, распознающие 300 тыс. точек (0,3 Мп).
Зачем нужна ToF камера в смартфонах
Пока что использование ToF матриц весьма ограничено. Штатные средства смартфонов позволяют применять их разве что для разблокировки с помощью лица и создания анимации, повторяющей мимику пользователя (Animoji и т.п. технологии). Точность 3D-камер еще относительно невысока, погрешность составляет порядка 5-10 мм. Но в будущем, по мере развития, перспективы у ToF просто огромны.
Новое слово в создании видеоконтента
Говорящая какашка Animoji – это забавно, но бесполезно. Однако возможности 3D-камер в реальности куда шире. Сейчас в кинематографе, чтобы смоделировать какого-нибудь монстра или инопланетянина на основе движений человека, каскадера увешивают кучей специальных датчиков. На основе их изображения движения актера совмещают с моделью компьютерного персонажа, процесс этот весьма трудоемкий.
Использование датчиков в кинематографе
Наличие ToF камеры позволит создавать видеоконтент с гораздо меньшими затратами, сделает комбинированные съемки доступными любителям. Если пока что дело ограничивается только анимированными смайлами, то в будущем станет возможным создание полноценных моделей каких-то вымышленных персонажей прямо на смартфоне.
Создание 3D-моделей
Используя снимки с ToF камеры смартфона, можно создавать трехмерные модели различных объектов. Это может быть человек, сооружение, техническое изделие – не важно. Комбинация изображений с обычной фотокамеры и 3D-сенсора позволяет создавать объемные 3D-модели объектов съемки в натуральных цветах.
Модели, созданные с помощью ToF камер, могут иметь множество применений, начиная от развлечений и заканчивая серьезными научно-техническими задачами. Сейчас, чтобы смоделировать в 3D какую-то вещь, ее нужно отснять специальным оборудованием из многих ракурсов. Затем следуют склейка кадров, формирование модели на их основе.
С ToF камерами задача будет сводиться к съемке моделируемого объекта из всех ракурсов (спереди/сзади, снизу/сверху, слева/справа) и последующей их склейке. Согласитесь, отснять десяток кадров на телефон, после чего склеить их в 3D-рендер – это намного проще, чем заморачиваться со спецоборудованием и обработкой сотен снимков.
Моделирование изделий для производства
На основе трехмерных моделей, полученных ToF камерой смартфона, можно создавать вполне материальные объекты. Достаточно 3D-принтера, чтобы взять модель и распечатать ее в пластике. Ради забавы можно сделать, например, скульптуру себя любимого. Делаем селфи из разных ракурсов, создаем модель, задаем масштабы, запускаем в печать – и «памятник нерукотворный» готов.
Можно использовать модели и в практических целях. Например, отснять какую-то сломанную деталь (тот же корпус устройства), чтобы напечатать новую. Никаких кропотливых замеров штангенциркулем, нудной работы с цифрами в приложении для проектирования. Просто на основе нескольких снимков делаем трехмерную модельку, задаем несколько основных величин, а остальное электроника сделает уже сама.
Дополненная реальность
При работе с AR трехмерная камера смартфона позволяет более точно снимать окружающие объекты. Благодаря ей можно отснять в деталях интерьер помещения, чтобы потом «примерить» к нему тот или иной дизайн, мебель.
Не уверены, впишется ли в стиль комнаты новый диван? Просто отснимите ее, а в магазине сфотографируйте диван и совместите полученные модели. Не знаете, какой цвет обоев лучше выбрать? Точно так же отснимите комнату на камеру, чтобы накладывать на стены разные текстуры отделочных материалов прямо со смартфона. И таких примеров множество.
Перечисленные сферы применения ToF камер – самые очевидные и осуществимые уже в ближайшем будущем. Но полный их список может оказаться еще шире, так как 3D-камеры развиваются. Уже скоро они могут появиться во многих смартфонах, а программистами будет создано много полезных приложений для взаимодействия с ними. Это произойдет не через полгода, но технология уже выглядит перспективно.
А как считаете вы, нужна ли эта технология? Какое применение нашли бы ей вы? Делитесь своим мнением в комментариях.
В последнее время ToF-камеры стали неотъемлемой составляющей набора камер современного флагманского смартфона. Но как они работают, зачем вообще нужны и где их можно использовать?
“Они есть, ну и пусть”, — скажет большинство пользователей. Дело в том, что о ToF-датчиках публикуется очень мало информации. Разве что мои коллеги-журналисты, и то не все, да еще профильные эксперты могут внятно объяснить потребность в нем. Давайте внесем некую ясность в данном вопросе. Возможно, часть текста будет содержать много терминов, но я попробую максимально просто объяснить, что из себя представляет ToF-камера, куда можно применить ее возможности и как увидеть ее в действии. Ну что же, поехали!
Что такое камера ToF?
Помните эти фильмы о подводных лодках во время Второй мировой войны? Там фигурировало сонарное оборудование, используемое для обнаружения суден противника. Устройство посылает звуковой «пинг» в водное пространство и ждет отражения сигнала. В зависимости от времени, которое требовалось, чтобы звуковая волна вернулась назад, специалист пытался определить местоположение вражеской подводной лодки.
Точно так же, как сонар, камера ToF измеряет время, необходимое для того, чтобы свет отразился от объекта. Затем камера использует данные задержки для определения расстояния. Таким образом, датчик ToF создает трехмерную карту мира.
Поэтому камеры ToF также иногда называют «камерой глубины». ToF-камера (Time of Flight – «время полета» с англ.) представляет собой сенсор, который способен излучать некий свет в инфракрасном спектре и затем фиксировать скорость его отражения от объекта. Сам датчик состоит из двух частей: первая — это диод, излучающий инфракрасный свет, а вторая — это специальная светочувствительная матрица.
Камера измеряет время, после которого отраженный от объекта свет возвращается к нему. На основании расчетов, выполненных с точностью до наносекунды, устройство способно не только точно оценить расстояние отдельных объектов от датчика, но и определить их форму. Правда, очень похоже на сонар гидролокатора. Только в данном случае мы запускаем к объекту свет вместо звука.
Датчики, работающие по аналогичному принципу, также используются в автономных автомобилях или даже космических зондах, построенных NASA. Прогрессирующая миниатюризация и относительно низкие производственные затраты означают, что эта технология может появиться в вашем кармане уже сегодня. Дело в том, что ToF- датчики уже есть во многих топовых смартфонах. Вот некоторые мобильные устройства, укомплектованные ToF-камерами:
Уверен, что с каждым годом этот список будет только расширяться, ведь потенциал данного датчика просто огромен. Возможно, вскоре Google в своих Pixel тоже установит такую камеру. Есть также надежда, что и Apple обратит внимание на датчик ToF и внесет свой вклад в большую популяризацию этой технологии, а также в полной мере использует его возможности. Не зря же подобный датчик появился в новом iPad Pro.
Ну что же, с теорией понятно, давайте теперь более подробно рассмотрим, на что способна ToF-камера на практике. Нужно понимать, что просто так взять и включить данный сенсор нельзя, но использовать его в некоторых приложениях, даже при съемке камерой все же можно.
Как можно применять камеру ToF?
Измеряем расстояние
На некоторых смартфонах Samsung (включая Note10+ , S20+ и S20 Ultra ) и Huawei (включая P30 Pro, Mate 30 Pro, Huawei P40 Pro ) вы можете установить приложение для измерения расстояния, которое называется Measure.
В этой заметке мы разберемся, какие устройства для 3D сканирования доступны рядовому пользователю, и на что способны мобильные камеры глубины. Обзор инструментов, подходящих для сканирования помещений.
Часть 1 \ Часть 2
Есть отрасли, где геометрия объекта и понимание того, насколько далеко объекты расположены от зрителя и относительно друг друга, играет ключевую роль: протезирование, инженерия, связанные с проектированием деталей задачи, беспилотные автомобили и даже криминалистика — сканирование места преступлений. Для маркетинга и мультимедиа представление объектов в 3D расширяет границы возможностей — пример тому набравшие популярность 3D туры по музеям, оцифровка экспонатов и достопримечательностей.
Перед нами стояла задача — быстрое и качественное сканирование помещений. Необходимо:
— иметь возможность зайти в помещение и быстро, не более чем за пару минут, получить 3D модель комнаты;
— осуществить доступ к полученной 3D модели для редактирования и отображения каких-либо данных, связанных с объектами внутри комнаты.
Задача не новая, но для нас был особенно важен следующий ее аспект — как добиться цели, не приобретая дорогой производственный 3D cканер, с наилучшим соотношением цены и качества?
Для того, чтобы построить 3D модель, нам необходимо как-то получить карту глубины. То есть помимо цветной картинки с обычной камеры, нам понадобится камера глубины, благодаря которой каждому пикселю изображения будет ставиться в соответствие число — расстояние до этого пикселя.
Чтобы получить 3D модель, необходимо провести множество сканирований с разных сторон, а затем привести результаты к общей системе координат (сделать выравнивание).
Подробно про получение данных с камер, механизм сопоставления кадров, совмещение значений цвета и глубины, а также про другие нюансы при построении непосредственно 3D модели, вы сможете прочитать во второй части статьи.
А сейчас разберемся с тем, откуда брать глубину, какие технологии и устройства доступны сейчас на рынке.
Основные направления развития камер глубины, с обзором принципа их работы и современного применения, хорошо описаны тут. Поэтому не будем повторяться, лишь перечислим устройства, использующие наиболее активно развивающиеся технологии датчиков глубины.
Очевидно, что RGB-D камеры становятся важной частью современного рынка устройств. Есть даже приложение в Google Play для 3D сканирования.
Structured Light камеры
Structured Light камеры основаны на сканировании структурированным светом — с помощью проектора (обычно инфракрасного) формируется проекция световой сетки на объекте, и с помощью камеры фиксируются искажения сетки.
Примеры устройств:
- Компания Apple внедрила RGB-D камеру во фронтальную камеру iPhone и iPad Pro и назвала их TrueDepth. Камера обладает небольшим разрешением, и использовать её для полноценного сканирования пока нельзя, но уже можно применять в некоторых других задачах.
- Модель Huawei Mate 20 Pro обладает похожей системой, как iPhone. Камера также используется для распознавания лиц и не подходит для полноценного сканирования помещений, но может быть использована для сканирования небольших объектов.
Time of Flight камеры (ToF)
ToF основаны на измерении времени отклика лучей от поверхности объекта.
Примеры устройств:
-
. . Более подробно про TOF камеры от Samsung. . Аналогично устройствам от Apple, используется для разблокировки телефона. Не очень подходит для задачи сканирования помещений. , у которого RGB камера (3) дополнена ToF камерой глубины (1).
- Совсем недавно на рынке появился бюджетный и компактный ToF лидар Intel RealSense LiDAR Camera L515
Depth from Stereo камеры
Depth from Stereo камеры схожи с принципом работы стереоскопического зрения человека — на основании различия в снимках двух камер, направленных в одном направлении, определяется расстояние до каждой точки изображения.
Примеры устройств:
- Смартфоны с двойной (тройной, четверной и т.д.) камерой сейчас производит практически каждый бренд.
С помощью стереоскопии на смартфоне не удастся сканировать помещения, но можно заметно увеличивать качество фотографий и менять глубину резкости, благодаря возможности выделения объектов на переднем плане.
- Камеры Intel RealSence оснащены инфракрасной стереокамерой и RGB камерой.
Light Field камеры
С помощью массива микролинз, расположенных перед сенсором камеры, в каждой точке фиксируется двумерный массив световых лучей, в результате чего получается четырехмерный кадр. Подробнее можно прочитать здесь. Мы не будем останавливаться на этой технологии, так как на данный момент из мобильных устройств она применяется только в Google Pixel 2, для выделения объектов на переднем плане и получения стереофото.
Мы сделали таблицу по рассмотренным камерам глубины, которая заполнялась в ходе экспериментов и изучения технических спецификаций устройств.
В таблицу входят некоторые устройства, которые не удалось протестировать или узнать достаточно характеристик, чтобы включить в обзор: Matterport Pro2 3D Cammera, Leica Geosystems BLK360, THE DPI-8S HANDHELD 3D SCANNER. “Нет информации” в ячейках означает, что в открытых источниках информация по этому пункту недостаточно полная.
Далее мы рассмотрим каждое устройство более подробно.
В наш обзор войдут устройства, оснащенные камерой для получения цвета, и камерой глубины, которые будут давать возможность в риал-тайм получать облако точек (point cloud) или полигональную модель с расстояния 1–4 метра в движении.
Для дальнейшей работы нам так же необходимо выбрать SDK или приложение для выгрузки полученной модели. На основании этих требований для ряда устройств, рассмотрим следующие характеристики:
- Стоимость
- Возможности SDK (получение облака точек, готовые реализации сканирования)
- Ограничение по дальности сканирования
- Максимальное разрешение depth сенсора
- Наличие ИК передатчика-приёмника (наличие камер чувствительных к инфракрасному свету и инфракрасный излучатель), чувствительность к освещению
- Возможность модификации используемых в SDK алгоритмов
Мы отдельно обращаем внимание на наличие инфракрасного передатчика-приемника —качество построения облака точек на устройствах без этого датчика сильно зависит от качества освещения сканируемого помещения.
Хотелось бы обратить внимание на то, что выбор 3D редактора, алгоритмов постобработки и анализа сцены (например, для автоматической расстановки меток с дополнительной информацией или для выделения плоскостей стен и пола) — это тоже отдельная и важная задача, которую мы не затрагиваем в этой статье.
Внимание! Указанные цены и сравнение результатов сканирования актуальны на момент написания статьи.
От 399$. Цена зависит от комплектации.
- Рекомендуемый диапазон сканирования - не ближе 40 см, не дальше 3.5 метра (см. спецификацию).
- Максимальное разрешение 640x480.
- Есть ИК передатчик-приёмник, получает хорошие depth кадры при плохом освещении. Structure Sensor не предназначен для сканирования в уличных условиях.
- Есть возможность модифицировать алгоритмы, доступные в исходных кодах Occipital SDK. Нет доступа к исходным кодам Canvas (продуктовое решение).
Сам сенсор не имеет встроенной RGB камеры. Он использует камеру устройства.
Программное обеспечение
Canvas by occipital — продуктовое решение от Оccipital, позволяет сканировать помещения и получать меш без текстур (получение облака точек не предусмотрено).
Occipital SDK доступно при покупке structure sensor. Дает доступ к высокоуровневому SLAM алгоритму, который строит 3D сцену.
- В самом SDK нет готовых функций или достаточно простого способа получить облако точек — это нужно реализовывать самостоятельно.
- На наш взгляд, качество сканирования хуже, чем у Сanvas, хотя сенсор один и тот же.
- Достаточно хорошее качество трекинга, сканирует быстро.
- Есть ограничение пространства при использовании дефолтных настроек (нативно 10m x 6m x 10m) на тестовом приложении из SDK Room Capture.
Согласно характеристикам сенсора:
- Для модели D435 рекомендуемый диапазон: не менее 10 см, не более 10 м (на практике лучше не более 4–5м).
- Максимальное разрешение 1280x720.
- Есть ИК передатчик-приёмник, получает хорошие depth кадры при плохом освещении.
- Есть возможность модифицировать алгоритмы, доступные в исходных кодах Realsence SDK 2.0.
Программное обеспечение
В RealSense SDK 2.0 есть возможности для работы с RGB и depth кадрами. SDK открыто.
- Есть возможность получения облака точек с текущего depth кадра, но готовое решение для сканирования помещений в SDK не предусмотрено.
- Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.
- Рекомендуемый диапазон: минимальный 15 см, максимально заявленный 12м (на практике — лучше до 4–5 метров).
- Максимальное разрешение 2K.
- Нет ИК передатчика-приёмника. При использовании в плохо освещенном помещении качество падает. Хорошо подходит для сканирования в уличных условиях.
- Есть встроенный гироскоп и акселерометр.
- Нет возможности модифицировать используемые в ZED SDK алгоритмы.
Программное обеспечение
ZED SDK от Stereolabs дает доступ к широким возможностям по работе как с самими камерами, так и с различными алгоритмами обработки. В частности, реализован алгоритм построения 3D сцены, предусмотрены методы для получения облака точек и текстурированного меша.
Мы тестировали SDK, используя имеющуюся камеру ZED mini и тестовое приложение для 3D сканирования, написанное разработчиками SDK для С++. Результаты сканирования получились неудовлетворительными:
- Меш и облако точек получаются довольно бесформенными при сканировании сложного окружения.
- Заметны геометрические искажения.
- В меше присутствуют дырки, а облако точек получается слишком разрезанным, даже с настройкой для высокой плотности.
Такие результаты, по всей видимости, связаны с отсутствием ИК модуля на самом устройстве — информация о глубине со стереокамер выходит весьма условной. Такое решение подойдет скорее для сканирования относительно простых сред, например, фасадов домов.
Устройство сканирует медленнее, чем решения от Occipital, иногда теряет сцену, после чего уже довольно сложно продолжать сканирование. При резких движениях можно потерять позицию. Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.
Нет доступа к исходным кодам SDK.
- Есть ИК передатчик-приёмник.
- Есть возможность модифицировать алгоритмы, доступные в исходных кодах SDK.
Программное обеспечение
RTAB-Map — SDK и автономное приложение, которое можно использовать в построении 3D скана помещения. Полностью открытый код. Можно выбирать SLAM алгоритмы, множество настроек.
- Позволяет сканировать большие помещения.
- Используется визуальная одометрия для отслеживания перемещения камеры. Из каждого кадра RGB изображения извлекаются признаки для определения смещения.
- Есть возможность оптимизации итогового скана и его фильтрации в приложении, при экспорте в распространённые форматы. Итоговые сканы без фильтрации могут занимать достаточно большой объём на жёстком диске.
Приложение возможно использовать на устройствах project Tango. Тестировали RTAB-Map Tango на Lenovo Phab 2 Pro.
- Качество сканирования и трекинга хорошее, так как используются датчики с устройства, работает плавно, позиция не теряется.
- Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.
На Lenovo Phab 2 Pro удалось просканировать довольно большое помещение (
150 м²). Так же существует возможность склеить отсканированные на мобильном устройстве части помещения через RTAB-Map на компьютере, но требуется соблюдать предложенные рекомендации по сканированию.
К сожалению, в нашем распоряжении не было всех устройств, заслуживающих внимания. Выше мы описали результаты сканирования на основе наших собственных тестов, с имеющихся в распоряжении камер. Ниже перечислим ещё несколько устройств, потенциально пригодных для решения нашей задачи, исходя из примеров с сайтов производителей, технической спецификации и документации.
От 419$ (для iPad Pro)
Улучшенная версия Structure Sensor.
- Рекомендуемый диапазон: не ближе 30 см, не дальше 5 метра. (см. спецификацию).
- Максимальное разрешение 1280x960
- Есть ИК передатчик-приёмник, получает хорошие depth кадры при плохом освещении. Согласно официальной спецификации, Structure Sensor Mark II можно использовать на улице.
- Есть встроенный гироскоп и акселерометр.
- Есть возможность модифицировать алгоритмы, доступные в исходных кодах Occipital SDK. Нет доступа к исходным кодам Canvas (продуктовое решение).
Программное обеспечение
Используются те же SDK, что и для Structure Sensor.
- 0.25–5 м. Ограничения по расстоянию разные, и зависят от режима работы.
- Максимальное разрешение 1024x1024.
- Есть ИК передатчик-приёмник.
- Имеется акселерометр, гироскоп, микрофон.
- Базовая часть SDK доступна для модификации. Некоторые дополнения распространяются в виде скомпилированных файлов.
Программное обеспечение
Неизвестно, будет ли в Azure Kinect Sensor SDK решение для сканирования помещений. Согласно описанию, есть возможность использовать инструменты Azure. Примеры отсутствуют, но в SDK есть функционал получения облака точек каждого кадра. Исходный код открыт.
Из обзора можно сделать вывод, что при использовании дешевых открытых решений, качество сканирования в основном оставляет желать лучшего — для его проведения требуется соблюдение особых условий (объем сканирования, условия освещения) или доработка алгоритмов. Например, доработав алгоритм позиционирования с помощью RTAB-Map в Occipital SDK, теоретически можно добиться такого же качества, что и в закрытом решении Сanvas для того же устройства. Нам показалось, что этот вариант даст наилучший результат.
Если вы не хотите тратить время и силы на переписывание исходных кодов под свои задачи, и в приоритете использование готового решения, то Lenovo Phab 2 Pro + RTAB-Map — приемлемый вариант. Хоть Project Tango это уже давно закрытый проект, качество скана в процессе тестирования у нас получилось лучше, чем во многих других современных решениях из нашего обзора. А если сделать связку с какой-либо современной моделью телефона и RTAB-Map, качество может получиться еще лучше, но будет необходим разбор вопроса с интеграцией RTAB-Map.
В заключении хотелось бы еще раз отметить, что помимо сканирования объектов и помещений, камеры глубины активно используются в AR, распознавании жестов, распознавании лица, построении скелетной анимации. Если вам интересно почитать про другие кейсы использования устройств—ознакомьтесь с нашей статьей о создании 2.5D видео (ссылка будет добавлена немного позже).
Читайте также: