Между производителями смартфонов идет постоянное соперничество. Чтобы как-то выделиться среди конкурентов и переманить покупателей на свою сторону, компании наделяют мобильники все новыми и новыми фишками. Кто-то развивается в плане дизайна, предлагая то вырезы, то изогнутые дисплеи, а кто-то разрабатывает новые форм-факторы вроде слайдеров, выдвижных элементов и гибких дисплеев.
Один из распространенных рецептов по созданию уникального и интересного смартфона касается камеры. Поле для экспериментов в этой области широкое: в современных мобильниках используются несколько объективов. Производителю остается только выбрать, какую комбинацию установить.
Последним нововведением в мобильных камерах стал датчик ToF, или времяпролетная камера. Давайте разберемся, что это и какую пользу от нее может получить простой обыватель.
Содержание
Что такое ToF-камера
Времяпролетная камера, как подсказывает ее название, измеряет время, затраченное на движение импульса света от датчика до объекта съемки и обратно. Полученные данные используются камерой для построения карты глубины, то есть объемной картинки.
Этот метод построения изображения существует давно. У него есть свои особенности, которые до недавних пор не позволяли использовать его в коммерческих целях в таких малогабаритных устройствах, как смартфон. Свет перемещается с невероятной скоростью – 299 792 458 метров в секунду, поэтому ToF-камера должна обладать технологией, способной улавливать мельчайшую разницу в показателях времени, и иметь компактный размер, чтобы уместиться в корпусе смартфона.
ToF-камера состоит из 4 основных компонентов:
- сенсор;
- излучатель;
- процессор;
- линза.
Сенсор и линза – обязательные компоненты любой камеры. У времяпролетного датчика есть еще излучатель и процессор. Первый испускает поток света, второй отвечает за измерение времени. На работу ToF-камеры уходят доли секунды.
Как работает ToF-камера
Луч света, испускаемый датчиком, возвращается быстро, если объект съемки находится близко к объективу. Чем дальше расположен объект или его часть, тем больше времени уйдет на то, чтобы луч достиг его, отразился и вернулся. Показатель расстояния измеряется для каждого пикселя. Это дает подробное представление о том, как выглядит объект, какие особенности формы имеет и как далеко находится. В качестве импульса используется инфракрасный свет, невидимый для человеческого глаза.
Аналогичный подход использует Apple в камере TrueDepth для разблокировки по лицу: там тоже создается трехмерное изображение лица пользователя по точкам, только за основу взята лазерная технология LIDAR.
У мобильной ToF-камеры есть свои недостатки. Первый связан с тем, что яркое освещение может мешать работе датчика: отраженные лучи теряются в окружающем пространстве, а камере не хватает чувствительности, чтобы распознать их и не перепутать с посторонними бликами. Второй недостаток – относительно низкое разрешение по сравнению с основными камерами.
Для чего нужна ToF-камера в смартфоне
В смартфонах времяпролетные камеры используются для сбора информации о глубине кадра, которая в свою очередь нужна для построения трехмерных изображений, отделения фона от объекта съемки в портретном режиме и распознавания жестов.
До недавнего времени смартфоны могли создавать 3D-изображения с помощью программных алгоритмов или специально выделенной камеры, исполняющей роль датчика глубины (стереовидение). ToF-камера – это новая ступень в развитии мобильной фотографии, так как она способна работать в темноте, обладает более высокой точностью и сниженным энергопотреблением.
В каких смартфонах есть ToF-камера
Времпролетная камера – инновационный элемент в мобильной индустрии. Пока она доступна лишь во флагманском сегменте, но в будущем наверняка станет встречаться и в аппаратах среднеценового класса. Пока что обладателями ToF-датчика являются:
- Nokia 9 Pureview (читать обзор);
- Samsung Galaxy S10 5G (читать обзор);
- LG G8 ThinQ (читать обзор);
- Huawei P30 Pro (читать обзор);
- Sony Xperia XZ4;
- Vivo NEX Dual Display (читать обзор);
- Honor View 20 (читать обзор);
- Oppo RX17 Pro.
По слухам, времяпролетная камера будет включена в фотомодуль iPhone 2019.
26.03.2019
Наращиванием мощностей железа смартфонов уже никого не удивишь. Прошли те времена, когда дополнительными «гигабайтами и гигагерцами» можно было заинтересовать новую аудиторию. И поэтому производители смартфонов вкладываются в разработку инновационных технологий. Но если тренды на складные или безрамочные смартфоны, что называется, видны без дополнительных пояснений, то другие технологии не всегда понятны конкретному пользователю. Одна из таких носит название Тime-Of-Flight (ToF), и она способна поднять качество работы фотокамеры телефонов до невероятных высот. Но что это такое и как это работает? Давайте разбираться.
Дословно Тime-Of-Flight переводится как «время полета» и, на самом деле, это не далеко от истины. За тем лишь исключением, что ваш смартфон никуда не лететь не должен. Работа ToF основана на работе ряда датчиков. Особый сенсор испускает свет инфракрасного диапазона. Этот свет, грубо говоря, «летит» и, отражаясь от ряда поверхностей и объектов на своем пути, возвращается обратно. Это время фиксируется для каждой конкретной точки и после этого происходит анализ полученных данных.
Время, полученное в результате работы камеры с ToF-датчиком, обеспечивает крайне точное определение глубины снимка и позволяет очень хорошо измерять расстояние от всех объектов, находящихся в кадре. Благодаря этому достигается невероятная четкость и глубина снимков, которую невозможно получить, используя любые другие технологии, представленные на рынке сегодня.
Помимо этого, по сравнению с другими технологиями сканирования, ToF является относительно дешевой. Датчики ToF могут работать с частотой до 160fps, а это означает, что они отлично подходят для работы в реальном времени и обработки «на лету» не только фотографий, но и видео.
На что способна камера с датчиком ToF?
На самом деле, применений у технологии масса. ToF не ограничивается только лишь размытием фона в портретном режиме. ToF может проводить 3D-сканирование объектов, улучшать алгоритмы навигации в помещении и на открытом пространстве, позволяет улучшить распознавание жестов. Можно использовать ToF для отслеживания перемещения объектов, для улучшенной работы автофокуса камеры, для создания 3D-фотографий и еще много другого. Если технология «зайдет» покупателю, новые фичи не заставят себя долго ждать.
Где применяется ToF?
На самом деле, технология совсем не нова. Еще Microsoft использовала первые версии датчиков ToF во втором поколении игровых устройств Kinect. Но сейчас ToF начинает свой путь на рынке мобильных телефонов и используют ее далеко не самые последние компании в индустрии. Среди них:
- и Honor View 20
- Samsung Galaxy S10 5G / Ultimate Edition
- Oppo Rx17 Pro
- LG ThinQ G8
И это лишь модели, известные на данный момент. К ним, наверняка, присоединятся и другие производители Android-смартфонов и даже, как недавно сообщало издание Bloomberg, возможно один из следующих смартфонов от Apple. Также ToF является крайне перспективной для гарнитур смешанной и дополненной реальности, так что совсем скоро нас ждет настоящий поток инновационных устройств.
Еще больше новостей из мира мобильных технологий вы можете узнать в нашем новостном канале в Телеграм.
Все больше производителей хвастаются тем, что их телефоны оснащены камерами Time of Flight (ToF). Но что такое камеры ToF, как они работают и зачем она в смартфоне?
Общее описание
На самом базовом уровне камеры ToF — это обычные HD-камеры с увеличенным разрешением по глубине. На самом деле, такие телефоны, как Huawei P30 Pro 2019 года, имеют разрешение по глубине, которое в четыре раза лучше, чем у обычных камер. Хотя «разрешение по глубине» может звучать как запутанный жаргон фотографов, на самом деле все очень просто. Камера с высоким разрешением по глубине может различать объекты, находящиеся рядом (на переднем плане) и далеко (на заднем плане).
Глубина резкости
В фотографии, идея разделения объектов переднего плана и фона называется глубиной резкости. Это то, что создает ощущение реалистичности картинки. Объекты, которые находятся вблизи, выглядят четкими, с резко очерченными контурами, в то время как удаленные объекты выглядят слегка размытыми.
С камерой ToF, фотографы имеют больше возможностей для контроля глубины резкости. Для этого совсем не обязательно быть профессиональным фотографом, воспользоваться увеличенным разрешением камеры ToF может практически каждый. Автоматические настройки камеры, в сочетании с камерой ToF, позволяют создавать потрясающие изображения, где четко разграничен передний план и фон. Камера ToF, также служит для создания потрясающего видео, с улучшенной стабилизацией изображения или для повышения точности ваших фильтров Instagram.
Кроме того, камера ToF в смартфоне (и не только) может использоваться для расширенного распознавания лиц, жестов и видеоигр AR. Помните, как Pokemon Go использует вашу камеру для размещения покемонов в вашей среде? Камеры ToF могут сделать эту функцию намного более убедительной.
История создания
Эта технология не нова. Как ни странно, камеры ToF появились в конце 70-х годов. Тогда это была очень дорогая фишка, и как следствие, не получила широкого распространения. Потребовалось определенное время, чтобы технология стала достаточно дешевой и удобной для потребительских приложений.
Раньше, ToF камеры использовались при топографическом картографировании, автоматизации промышленных машин и в качестве датчиков для автоматических дверей. На западе, эта технология проникла во многие дома еще в 2014 году. В Kinect Xbox One используется камера ToF, для точного распознавания лиц и отслеживания жестов рук.
По состоянию на апрель 2019 года, только несколько телефонов имеют встроенные камеры ToF. Это: LG G8 ThinQ, Honor View 20, Huawei P30 Pro и Oppo RX17 Pro. Эти смартфоны предназначены для фотографов и фанатов, но, они задают стандарты развития для будущих телефонов, включая Samsung и Apple, на 2019 и 2020 годах.
Хорошо, камеры ToF очень крутые, и они существуют с момента выхода фильма Звездные Войны. Но как они работают? Почему у них такое большое разрешение по глубине?
Лидар в камерах ToF
Знаете ли вы, как летучие мыши и дельфины используют звук, чтобы «видеть» свое окружение? Люди украли этот трюк, засунули его в подводные лодки и назвали его гидролокатором. В камерах ToF применяется аналогичная методика для измерения расстояния, но, она называется лидаром и основана на импульсах инфракрасного света вместо звука.
Когда вы фотографируете с помощью камеры ToF телефона, она излучает импульс невидимого инфракрасного света, который отражается от окружающих объектов. Часть этого света рассеивается, но большая часть попадает обратно в камеру ToF телефона.
Как волна гидролокатора летучей мыши, лидарная волна возвращается на датчики. Инфракрасный свет, который отражается от близлежащих объектов, быстро возвращается в камеру ToF, в то время как свет, отраженный от удаленных объектов, займет немного больше времени. Ваш телефон измеряет время, необходимое для возвращения каждого луча света, обрабатывает эту информацию и создает подробную трехмерную карту глубины пространства.
Конечно, отражение ИК-света дает вашему смартфону только информацию о глубине. Вот почему камеры ToF объединяют ИК-функциональность с обычной камерой высокого разрешения. Ваш телефон использует программное обеспечение для смешивания обычной фотографии с трехмерной 3D-картой глубины, и в результате вы получаете изображение с четко определенным передним планом и фоном.
Будущие области применения камер ToF
В ближайшие несколько лет камеры ToF произведут революцию в фотографии и видео, сделанных с помощью смартфонов. Но, фото и видео эффекты далеко не единственная цель. Мы говорим о технологии, способной создать карту глубины окружающей среды со скоростью света. Ее применение выйдет далеко за пределы фотографии.
Фактически, ваше первое знакомство с ToF-камерой телефона, вероятно, будет связано не только с фотографией. Samsung Galaxy S10 5G будет включать в себя камеры ToF, как спереди, так и сзади. Apple, как известно, крайне осторожно относится к планам на будущее своих новых моделей, но ходят слухи, что iPhone-2019 может включать в себя камеры ToF. Да, это обновление сделает селфи потрясающими, при этом повысится точность идентификации лица, повысятся другие меры безопасности. Если вы включите распознавание лиц, при настройке телефона, он прежде всего сделает снимок 3D-карты вашего лица, и только потом селфи.
Управление жестами — еще одно увлекательное (но, возможно, глупое) приложение для камер ToF. Да, система жестов Kinect заслуживает огромного внимания, но в ближайшие несколько лет вы, вероятно, обнаружите, что используете аналогичную технологию для управления телефоном, компьютером, умным помощником или умными часами. В настоящее время такие компании, как Inmotion, работают над приложениями ToF для настольных компьютеров, в то время как Google, использует радарные и лидарные системы для создания умных часов с ручным управлением и жестами.
Наряду с управлением жестами, камеры ToF также идеально подходят для приложений VR и AR. На базовом уровне такие вещи, как Instagram Filters и Pokemon Go, будут казаться намного более «реальными» при использовании с камерой ToF. Но для более сложных приложений, таких как VR, камеры ToF можно использовать для регистрации жестов и шагов игрока. Они также могут быть использованы для быстрого отображения физической среды и преобразования их в виртуальные миры, что может ускорить профессиональную разработку игр или открыть рынок виртуальной реальности для разработчиков инди-игр.
Применение камер ToF будет обязательно иметь практическую ценность. В прошлом, они использовались для автоматизации процессов на фабриках. Этот вектор развития не изменится. По мере того, как камеры ToF становятся лучше (и дешевле), они найдут свою нишу, в еще большем количестве индустриальных и потребительских продуктов AI. Большинство умных автомобилей уже используют форму технологии лидара, чтобы «видеть» окружающее пространство (достаточно интересно, что автомобили Tesla не используют лидар).
Пока камеры ToF в вашем новом мобильном телефоне ограничены приложениями для фотографирования, AR и распознавания лиц, самое время освоиться с этой технологией. Ведь уже в ближайшем будущем, камеры ToF будут везде.
Знаете, меня порой удивляет причудливая структура общественного мнения. Взять к примеру технологию 3D-визуализации. Огромный общественный резонанс вызывают в последнее время технологии очков виртуальной реальности: Oculus Rift, Google Glass. Но ведь ничего нового тут нет, первые шлемы виртуальной реальности появились ещё в конце 90-х. Да, они были сложны, они опередили своё время, но почему тогда это не вызывало такого WOW-эффекта? Или 3D-принтеры. Статьи о том, как они круты или как быстро они захватят мир появляются в информационном поле два раза в неделю последние года три. Я не спорю, это круто и мир они таки захватят. Но ведь эта технология была создана ещё в 80х и с тех пор вяло прогрессирует. 3D-телевидение? 1915 год… Технологии все эти хороши и любопытны, но откуда столько шумихи из-за каждого чиха? Что, если я скажу, что в последние 10 лет была изобретена, разработана и внедрена в массовое производство технология 3D съёмки, очень сильно отличающаяся от любой другой? При этом технология уже повсеместно используемая. Отлаженная и доступная простым людям в магазинах. Вы слышали про неё? (наверное только специалисты по робототехнике и сопутствующим областям науки уже догадались, что я говорю про ToF-камеры). Что такое ToF камера? В русской Википедии (англ) вы не найдёте даже коротенького упоминания о том, что это такое. «Time of flight camera» переводится как «Времяпролётная камера». Камера определяет дальность через скорость света, измеряя время пролёта светового сигнала, испускаемого камерой, и отражённого каждой точкой получаемого изображения. Сегодняшним стандартом является матрица 320*240 пикселей (следующее поколение будет 640*480). Камера обеспечивает точность измерения глубины порядка 1 сантиметра. Да-да. Матрица из 76800 сенсоров, обеспечивающих точность измерения времени порядка 1/10,000,000,000 (10^-10) секунды. В продаже. За 150 баксов. А может вы ею даже пользуетесь. А теперь чуть подробнее про физику, принцип работы, и где вы встречали эту прелесть. Существуют три основных типа ToF-камер. Для каждого из типов используется своя технология измерения дальности положения точки. Самая простая и понятная — «Pulsed Modulation» она же «Direct Time-of-Flight imagers ». Даётся импульс и в каждой точке матрицы измеряется точное время его возвращения: По сути матрица состоит из триггеров, срабатывающих по фронту волны. Такой же способ используется в оптических синхронах для вспышек. Только тут на порядки точнее. В этом-то и основная сложность этого метода. Требуется очень точное детектирование времени срабатывания, что требует специфических технических решений (каких — я не смог найти). Сейчас такие сенсоры тестирует NASA для посадочных модулей своих кораблей. А вот картинки которые она выдаёт: Подсветки на них хватает, чтобы триггеры срабатывали на оптический поток отражённый с расстояния порядка 1 километра. На графике приведено число сработавших в матрице пикселя в зависимости от расстояния 90% работают на расстоянии в 1км: Второй способ — постоянная модуляция сигнала. Излучатель посылает некоторую модулированную волну. Приёмник находит максимум корреляции того, что он видит с этой волной. Это определяет время, которое сигнал потратил на то, чтобы отразиться и прийти на приёмник. Пусть излучается сигнал: где w — модулирующая частота. Тогда принятый сигнал будет выглядеть как: где b-некий сдвиг, a-амплитуда. Корреляция входящего и исходящего сигнала:
- https://dronreview.ru/chto-takoe-tof-kamera-v-smartfone/
- https://androidinsider.ru/polezno-znat/time-of-flight-tehnologiya-kotoraya-mozhet-sovershit-revolyutsiyu-v-mobilnoj-fotografii.html
- https://androidios.org/kamera-time-flight-tof/
- https://habr.com/post/224605/
