Что такое PDAF и Dual Pixel? Или как работает автофокус на смартфонах

Оценка этой статьи по мнению читателей:

5

(126)

В первой части статьи мы подробно рассмотрели базовые понятия о том, что такое матрица, каким образом она формирует изображение. В частности, было рассказано о популярных технологиях Quad Bayer и Tetracell, которые используются на современных смартфонах в матрицах с высоким разрешением (от 48 мегапикселей).

В этой части мы затронем еще несколько интересных технологий, связанных с процессом фокусировки и получения изображения. Понимание этих вещей не только удовлетворит праздное любопытство, но и принесет практический смысл, позволяя вам более осознанно подходить к выбору смартфона с хорошей камерой даже в средне-бюджетном ценовом сегменте.

Перед тем, как приступить к основной теме, хочу предупредить, что многое, о чем будет говорится ниже я привожу лишь в качестве иллюстрации. Принцип работы некоторых систем я буду сильно упрощать, чтобы статья была понятной и доступной широкому кругу читателей.

Как смартфоны научились фокусироваться и делать изображение резким

Вы задумывались над тем, как смартфон понимает, какую часть изображения необходимо сделать резкой и как именно он это делает?

Аналогия с нашими глазами здесь не совсем уместна, так как глаза делают резким то изображение, которое мы хотим разглядеть. В отличие от смартфона мы отлично распознаем то, что видим, фокусируясь на желаемом предмете. А вот для смартфона наша фотография — это бессмысленный набор цветных точек. И камера не понимает, на чём ей следовало фокусироваться, чтобы не испортить очередной кадр.

Конечно, существует такое понятие, как семантическая сегментация. Но несмотря на активное развитие машинного обучения и нейронных сетей, современные смартфоны еще не научились определять предметы на фото так же хорошо, как это делают люди, чтобы использовать для фокусировки искусственный интеллект.

Четкая или размытая фотография?

Для того, чтобы фотография получилась четкой, необходимо соблюсти всего одно условие — лучи света, отраженные от снимаемого объекта, должны пересекаться в точке на матрице.

Чтобы лучше это понять, вспомним, как вообще свет попадает на матрицу и формирует там изображение. Представим, что мы хотим сфотографировать цветок. Внутри камеры смартфона вначале располагается объектив с линзами, а затем матрица:

Лучи света, отраженные от каждой точки этого цветка, попадают на матрицу смартфона, проходя через линзы объектива. И когда лучи света проходят через объектив, они преломляются, пересекаясь в одной точке. В этой точке изображение и будет максимально резким и четким.

К примеру, вот как свет, отраженный от красного лепестка, оказался на матрице смартфона:

Не обращайте внимание на то, что картинка на матрице получилась перевернутой. Ведь текст, который вы сейчас читаете (как и весь окружающий мир), вы точно также видите перевернутыми. Просто мозг скрывает это от вас, «на лету» переворачивая обратно сформированное на сетчатке глаза изображение.

Хрусталики наших глаз напоминают по форме линзу, выпуклую с двух сторон — как та, что используется в объективе камеры смартфона и показана на наших картинках. А когда через такую линзу проходят лучи света, они, как уже было сказано, преломляются под определенными углами, из-за чего изображение получается перевернутым. Эти углы подчиняются определенным правилам (законам физики). Они очень просты для понимания, но в рамках этой статьи мы не будем их рассматривать, чтобы сэкономить время.

Ровно таким же образом на матрице формируются и другие части нашего цветка, например, зеленый стебель:

В рассмотренном примере цветок на матрице получился четким, то есть, в фокусе. Но если бы наш цветок находился чуть дальше, лучи проходили бы через линзу немножко под другим углом, соответственно, угол преломления также слегка бы отличался и пересекались бы эти лучи еще до попадания на матрицу. А на матрицу вместо одной точки падало бы множество лучей, накладываясь друг на друга с небольшим смещением, что делало бы общую картинку размытой (не в фокусе):

В реальной жизни, когда объект отдаляется от нашего глаза, мозг просто слегка изменяет форму хрусталика, растягивая его или, наоборот, сжимая. Из-за этого меняется угол преломления лучей, которые в итоге пересекаются в одной точке прямо на сетчатке. А те объекты, что находятся ближе или дальше, оказываются размытыми, так как лучи света, отраженные от них, пересекаются еще до сетчатки или в условной точке за нею.

Но смартфон не может изменять форму линзы, растягивая ее, как хрусталик, ведь она сделана из стекла. Вместо этого смартфон перемещает линзу внутри объектива вперед или назад таким образом, чтобы лучи снова пересеклись в одной точке — на матрице. Проблема со смартфоном заключается лишь в том, как определить, в какую сторону двигать эти линзы и как понять, что нужный объект уже в фокусе.

Контрастный автофокус (CDAF). Или определяем резкость «на глаз»

Еще недавно смартфоны вообще не умели фокусироваться. К примеру, первые два поколения iPhone не имели системы автофокусировки. Она появилась лишь в 2009 году с выпуском iPhone 3GS.

Сегодня все бюджетные и многие средне-бюджетные смартфоны используют самый старый, простой и надежный метод фокусировки под названием контрастный автофокус.

Суть его работы очень проста. Вы выбираете пальцем на экране смартфона нужную область фокусировки или смартфон самостоятельно выбирает центральную часть кадра, после чего камера пытается сделать так, чтобы объект в этой части кадра был в фокусе.

Но делает он это не так как люди. Мы понимаем, что цветок находится в фокусе, когда отчетливо видим его очертание, смартфон же просто оценивает гистограмму изображения (график распределения яркости). Ведь, как уже было сказано ранее, для смартфона все предметы — это просто пятна различной яркости.

Лучше всего это понять на следующем примере. Ниже вы можете увидеть изображение одного и того же цветка с разной степенью резкости, а под каждым цветком — его гистограмму (график распределения яркости), с которой и работает смартфон:

По горизонтали на маленьких гистограммах представлены уровни яркости изображения — от ее полного отсутствия слева (черный цвет) до самого яркого участка справа (белый цвет). А по вертикали отображается количество пикселей в кадре соответствующей яркости.

А теперь обратите внимание на закономерность — чем более размыта картинка, тем меньше здесь контрастных четких контуров темного цвета. На самом размытом цветке (первый слева) вообще отсутствуют черные/темные цвета, то есть, контуров нет вообще и график очень сильно смещен вправо.

Что же делает смартфон? Он берет небольшой участок изображения (на котором мы хотим сфокусироваться или же центральную часть кадра) и оценивает его гистограмму. Затем смартфон начинает передвигать лизну внутри объектива вперед и анализирует, как меняется распределение яркости. Если контраст падает (то есть, разброс по яркости уменьшается), смартфон начинает передвигать линзу в обратную сторону, пока не найдет самый высокий контраст. А в конце, чтобы наверняка не промахнуться, передвигает линзу еще немножко дальше. Если контраст снова начинает падать — возвращается обратно в ту позицию, где контраст был максимальным.

Что не так с контрастным автофокусом и почему он используется только на дешевых смартфонах?

Я думаю, вы уже догадались по описанию работы контрастного автофокуса, что с ним не так. Смартфон понятия не имеет, четкая ли сейчас картинка и в каком направлении нужно переместить объектив, чтобы еще увеличить резкость.

Для этого он начинает просто передвигать линзу вперед-назад, чтобы оценить, меняется ли контраст сцены. А в это время мы видим на экране «прыгающий» автофокус. То есть, изображение на доли секунды становится то размытым, то снова резким.

Если при съемке фотографий это не является проблемой, то при записи видео контрастный автофокус может хорошенько подпортить результат. Вероятно, вы не раз замечали, как картинка на видео периодически «дергается» и фокус то пропадает на мгновение, то снова появляется. Когда вы снимаете видео на смартфоне с контрастным автофокусом и вся сцена идеально сфокусирована, смартфон все равно будет периодически передвигать линзу, чтобы убедиться, что в данный момент времени картинка максимально резкая. И это будет хорошо заметно на записи.

Другими словами, контрастный автофокус очень плохо справляется с видеозаписью и вам следует об этом помнить, если вы любите снимать видео на смартфоне.

А продолжают его использовать по той причине, что это самый простой и дешевый метод фокусировки, не требующий никакого дополнительного оборудования. Но если вы хотите иметь более быстрый и качественный автофокус, необходимо при выборе смартфона искать в его характеристиках аббревиатуру PDAF.

Что такое PDAF (или фазовый автофокус) на современных смартфонах?

Сам термин PDAF (Phase-Detection Autofocus) переводится с английского, как фазовый автофокус. Впервые этот метод фокусировки появился на зеркальных фотоаппаратах достаточно давно. Но первым в мире смартфоном с PDAF автофокусом, если мне не изменяет память, стал Samsung Galaxy S4, вышедший в 2014 году. Затем последовал iPhone 6 от компании Apple и с тех пор все флагманские смартфоны стали выпускаться с PDAF.

Принцип работы фазового автофокуса выглядит следующим образом. Когда объект находится в фокусе, отраженные от него лучи света будут в равной степени освещать противоположные стороны объектива. Если объект не в фокусе, лучи света по-разному проходят через края линзы.

Другими словами, чтобы сфокусироваться, камера должна получить два изображения одного и того же кусочка кадра — одно изображение с левой половины линзы, а другое — с правой. Если изображения будут немного смещены относительно друг друга, значит, снимаемый объект не в фокусе.

Рассмотрим простой пример:

Здесь мы видим изображение, полученное с одной стороны линзы (A) и с противоположной (B). Если эти сигналы сравнить, то мы увидим небольшое смещение (C). Так как камера хорошо знает свои параметры (размер объектива и линз, фокусное расстояние), ей не составляет труда определить расстояние, на которое нужно переместить линзу, чтобы сигналы с противоположных сторон объектива совпадали.

В этом и заключается главное преимущество фазового автофокуса над контрастным. При фазовом автофокусе камере достаточно одного кадра, чтобы рассчитать, в какую сторону и как далеко нужно переместить линзу. А при контрастном автофокусе, каким бы идеальным он ни был, приходится проверять множество кадров при разных положениях линзы, чтобы поймать самый высокий контраст.

Неужели у смартфона две матрицы!?

Действительно, каким образом смартфон получает две картинки с противоположных сторон линзы? Ведь, когда свет проходит через объектив, он освещает всю матрицу сразу. Все верно, но здесь есть один небольшой трюк.

В типичной матрице с PDAF автофокусом не все пиксели используются для получения картинки. Среди «обычных» пикселей встречаются пиксели PDAF, которые не участвуют в построении изображения, а служат лишь для фокусировки. Чтобы понять, в чем разница между этими пикселями, давайте посмотрим на их схематическое изображение:

Обычный пиксель (слева) и PDAF-пиксель (справа)

Слева изображен обычный пиксель. Здесь мы видим, как лучи света с противоположных сторон объектива (A и B) падают на микролинзу (C), прикрывающую сам фотодиод (E). Затем идет цветной фильтр (D), который пропускает только свет определенного цвета (в данном случае, красного). Если все это кажется вам немного сложным, почитайте первую часть статьи.

Справа изображен PDAF-пиксель, который имеет ряд отличий. Прежде всего, здесь нет цветного фильтра по нескольким причинам. Во-первых, цвет совершенно не играет никакой роли при оценке смещения изображения, а во-вторых, цветной фильтр пропускает только треть света, падающего на микролинзу.

Черная область на картинке справа (D) — это перекрытие половины фотодиода, которое блокирует весь свет, падающий с левой половины линзы объектива. То есть, этот пиксель содержит только те лучи света, что прошли через правую половину объектива. Если мы возьмем еще один PDAF-пиксель и перекроем другую половину его фотодиода, он будет содержать только те лучи, что прошли также через другую половину объектива. Такая пара PDAF-пикселей и содержит информацию с противоположных сторон объектива, которую мы можем теперь сравнивать.

Таких пар PDAF-пикселей на самом деле достаточно много «разбросано» по всей матрице — десятки тысяч. И каждый из них не содержит никакой информации о фотографии. Если ничего не предпринимать, на любом снимке со смартфона при детальном рассмотрении можно было бы отыскать десятки тысяч маленьких черных точек.

Но, к счастью, вы их не найдете. Смартфон прекрасно «знает» позицию каждого PDAF-пикселя и после съемки «зарисовывает» черные точки, примерно подбирая нужный цвет. Если на готовой фотографии PDAF-пиксель окружают зеленые точки, смартфон предполагает, что и на месте PDAF-пикселя должна была быть зеленая точка.

Что такое Dual Pixel от компании Samsung?

Это маленькая революция в области фокусировки камер. Правда, придуманная не компанией Samsung и не для смартфонов.

Впервые автофокус Dual Pixel был представлен компанией Canon в 2013 году с анонсом зеркальной камеры Canon EOS 70D. А спустя 3 года ту же технологию компания Samsung принесла в мир мобильных камер. Первым в мире смартфоном с Dual Pixel PDAF стал Samsung Galaxy S7.

Что интересно, на iPhone этой технологии до сих пор нет. Там используется гибридный автофокус — вначале смартфон примерно «прицеливается» с помощью PDAF, а затем доводит резкость контрастным автофокусом. Дело в том, что точность PDAF-автофокуса при столь редком «вкраплении» PDAF-пикселей ниже точности контрастного автофокуса, хотя он и быстрее. Поэтому, PDAF используется на iPhone лишь для того, чтобы понять, в какую сторону двигать линзы, чтобы фокус не прыгал туда-сюда, как на дешевых бюджетных камерах.

Такой же принцип используется и на других средне-бюджетных аппаратах с PDAF, но без Dual Pixel.

Каждый пиксель — это и PDAF, и обычный пиксель одновременно!

При использовании технологии Dual Pixel, каждый пиксель на матрице (или 80-90% всех пикселей) используется для работы фазового автофокуса. Но в таком случае, кто же тогда будет делать снимок, если все пиксели используются для фокусировки?

Давайте схематически изобразим Dual Pixel и все вопросы сами отпадут:

Здесь мы видим те же лучи света с противоположных сторон объектива (A и B), микролинзу (C) и цветной фильтр (D). Однако дальше картина немного отличается. Вместо одного фотодиода, собирающего весь свет, размещаются 2 отдельных фотодиода (E и F). А микролинза спроектирована так, чтобы на каждый отдельный фотодиод конкретного пикселя попадала только часть лучей с одной из сторон объектива.

Таким образом, каждый пиксель содержит информацию о фазе световых лучей. Здесь больше нет никаких перекрытий фотодиодов, блокирующих 50% всего света. Для фокусировки камера использует информацию с каждого фотодиода по отдельности (левая и правая стороны объектива), а во время съемки, сигналы с двух фотодиодов объединяются в один.

Камера не теряет информацию, так как здесь нет отдельных PDAF-пикселей, не захватывающих изображение. Также областью фокусировки является вся матрица, а не 5% ее пикселей.

В реальности, на матрице Samsung Galaxy S10 или Note10 с разрешением 12 мегапикселей используется 24 миллиона фотодиодов. Но работают они по отдельности только при фокусировке, а во время съемки сигнал обрабатывается совместно, да и линз с цветными фильтрами на такой матрице 12 миллионов.

Получается, на 108-Мп матрице в реальности используется 216 мегапикселей?

Нет. Размер одного пикселя на любой современной матрице с высоким разрешением (48/64/108 Мп) составляет рекордные 0.8 мкм. Если предположить, что каждый пиксель содержит еще по 2 отдельных фотодиода, мы получим размер каждого из них по 0.4 мкм. Но до этого технологии еще не дошли.

Чтобы ответить на этот вопрос, предлагаю взглянуть на реальную фотографию небольшого участка матрицы от Sony под микроскопом:

Матрица Sony

То, что вы видите — это реальные микролинзы, прикрывающие пиксели. Под ними расположены цветные фильтры и фотодиоды. Обратите внимание на крупный пузырек в центре кадра. Это микролинза PDAF-пикселя, скрывающая под собою два фотодиода.

Если мы посмотрим под микроскопом на матрицу Samsung, то увидим немножко другую картину:

Матрица Samsung, вид сверху

Здесь уже показан вид сверху. Но мы не видим никаких больших пузырьков, как у Sony, а вместо этого в центре находятся половинки пикселей. Это и есть «классические» PDAF-пиксели, у которых просто одна половина перекрыта, чтобы на них попадали только те лучи света, что прошли через одну половину объектива.

И пусть вас не смущает то, что на этой матрице идут подряд 4 пикселя, у которых перекрыта правая половина. Все дело в том, что перед вам — Tetracell матрица, у которой 4 пикселя объединяются в один. Соответственно, и PDAF-пиксели размещаются по такому же принципу. Подробно о Tetracell-матрицах было рассказано в первой части статьи.

Вместо заключения…

Надеюсь, эта часть не была слишком перегруженной и дала базовое понимание того, как устроен автофокус на современных смартфонах.

Dual Pixel — это логическое продолжение и развитие технологии PDAF-автофокуса. Если выбирать между смартфоном с PDAF и Dual Pixel, предпочтение следует однозначно отдавать Dual Pixel. К слову, такие матрицы используются далеко не только на флагманах от Samsung. Вы можете встретить технологию Dual Pixel на таких аппаратах, как:

• Asus ROG Phone
• Google Pixel 3a
• Google Pixel 3
• Google Pixel 2
• HTC Exodus 1
• HTC U12+
• LG V50
• LG G8 ThinQ
• Meizu 16X
• Motorola Moto Z3 Play
• Motorola Moto G6 Plus
• Nokia 8. 1 aka Nokia X7
• Sony Xperia 1
• Vivo V15
• Xiaomi Mi 8 Pro
• и многих других

Если вы хотите более детально погрузиться в то, как устроены и работают камеры смартфонов, тогда рекомендую почитать мой цикл статей «Камера смартфонов для чайников«. Там вы найдете ответы на все вопросы, связанные с камерами и узнаете много всего нового и интересного.

Автор статьи: Алексей Сало, главный редактор Deep-Review; Фото на обложке (c) Thor Alvis, все иллюстрации в статье принадлежат Deep-Review.

P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!

Если вам понравилась эта статья, присоединяйтесь к нам на Patreon — там еще интересней!

Как бы вы оценили эту статью?

Нажмите на звездочку для оценки

Внизу страницы есть комментарии…

Напишите свое мнение там, чтобы его увидели все читатели!

Если Вы хотите только поставить оценку, укажите, что именно не так?

Dual Pixel RAW — Canon EOS 5D Mark IV

Dual Pixel RAW — Canon EOS 5D Mark IV — Canon Russia

Что такое Dual Pixel RAW?

Dual Pixel RAW – это инновационная технология компании Canon, задействующая все фотодиоды 30,4-магапиксельного датчика изображения камеры EOS 5D Mark IV, созданного с использованием технологии Dual Pixel CMOS AF.

Принцип работы

Каждый пиксель датчика изображения, использующего технологию Dual Pixel, состоит из двух фотодиодов. Подобное строение датчика изображения позволяет регистрировать сигналы А и Б от объекта съемки и обнаруживать разность фаз между ними, обеспечивая тем самым фокусировку по технологии Dual Pixel CMOS AF. При формировании снимка датчик изображения камеры задействует объединенную информацию об изображении, полученную по А и Б каналам. Данная технология позволяет фокусироваться и формировать снимок, используя один и тот же датчик изображения. 

При использовании формата Dual Pixel RAW в полученном RAW-файле будет содержаться информация о двух изображениях. Одно изображение состоит из комбинированных данных, полученных по каналам А и Б, а второе учитывает только данные канала А. Это означает, что файл, созданный в формате Dual Pixel Raw, содержит в себе не только стандартное изображение, но и параллактическую информацию, которую можно измерить, а также экстраполированные данные о расстоянии до объекта съемки. Поскольку снимок, сделанный в формате Dual Pixel RAW содержит в себе два изображения, его размер будет вдвое больше, чем у стандартного RAW-файла. 

Используя специальный инструмент Dual Pixel Raw Optimizer в программе Digital Photo Professional, пользователь сможет применить данные, содержащиеся в файле формата Dual Pixel RAW, для микронастройки положения зоны максимальной резкости.

Точная настройка изображения

Если какой-либо определенной части изображения не хватает резкости, (например, в области глаз объекта при портретной съемке) это можно легко исправить, внеся изменения в изображение и перенеся зону резкости в нужное место.

Сдвиг боке

Формат Dual Pixel RAW также позволяет настроить положение расфокусированных областей («боке») и улучшить тем самым композицию кадра. Например, можно размыть предмет, отвлекающий внимание от основного объекта съемки.

Уменьшение паразитной засветки

В отличие от бликов, которые могут стать креативным украшением фотографии, например, сделать ее менее контрастной и более атмосферной, эффект паразитной засветки, вызванный переотражением света внутри объектива, зачастую крайне нежелателен. Использование формата Dual Pixel RAW позволит свести к минимуму проявление этого эффекта на этапе пост-обработки.

Для лучших результатов

Чтобы по максимуму использовать все возможности режима Dual Pixel RAW, потребуется точная настройка параметров съемки камеры EOS 5D Mark IV. Для получения наилучших результатов снимайте с фокусным расстоянием не менее 50 мм и диафрагменным числом не более 5.6. Значение параметра ISO при этом не должно превышать 1600.

Полученный эффект может различаться, в зависимости от ориентации кадра (горизонтальная или вертикальная). Для максимальной эффективности придерживайтесь следующих параметров:

Фокусное расстояние

Расстояние до объекта

50 мм

1–10 м (3,3–32,8 фт)

100 мм

2–20 м (6,6–65,6 фт)

200 мм

4–40 м (13,1–131,2 фт)

или

Основы двухпиксельного изображения. Вы видели новейший смартфон… | Винсент Табора | High-Definition Pro

Цифровой сенсор Фотосайты

Вы видели новейшие камеры смартфонов? Они создают потрясающие изображения, которые соперничают с камерами DSLR. Они выглядят так, будто сняты профессионалом, но снято обычным человеком. Технология, лежащая в основе современных камер смартфонов, сочетает в себе традиционную оптику с программными алгоритмами. Это новая форма изображения, называемая вычислительной фотографией. Одним из наиболее известных примеров является технология двойного пикселя, о которой будет рассказано далее.

Пример фотографии, сделанной с помощью двухпиксельных сенсоров Pixel 3. Посмотрите на эффект боке, созданный на этой фотографии. (Источник фотографии Google Pixel Gallery)

Традиционные камеры всегда были оптическими. У вас есть объектив для фокусировки и создания композиции изображения, а затем вы записываете его на пленку, чтобы создать экспозицию. Внедрение цифровых камер заменило пленку электронным датчиком, но по-прежнему использует оптическое изображение для получения конечного результата. Компьютерная фотография расширяет возможности улучшения изображения с помощью встроенных в камеру возможностей. Это так же просто, как цифровая камера «наведи-снимай-щелкни», но для создания конечного изображения требуется больше времени на обработку изображения.

Краткая иллюстрация сенсоров с двумя пикселями

Сенсор с двумя пикселями решает проблему, с которой сталкиваются разработчики камер для смартфонов, связанные с размером сенсора. Меньший датчик был необходим на смартфонах, чтобы поместиться в корпус меньшего размера. Цифровые зеркальные или беззеркальные камеры имеют больший размер корпуса, чтобы соответствовать большим датчикам. Датчики большего размера могут улавливать больше света и, таким образом, создавать изображения более высокого качества. Как это можно сделать на смартфоне, где у вас не будет достаточно места для установки качественного датчика изображения? Ответ от некоторых производителей смартфонов заключается в использовании сенсоров с двумя пикселями. Эти цифровые датчики не просто захватывают изображения от света, но и фиксируют значения, которые затем обрабатываются и уточняются программным обеспечением камеры.

На этой диаграмме показано, как создается пиксель из двух фотодиодов с фотосайта. Датчики

состоят из фотосайтов, которые представляют пикселей или элемент изображения в изображении. Это светоулавливающие устройства, называемые фотодиодами, и они покрывают поверхность сенсора. Чем больше света захватывают фотосайты, тем выше качество разрешения изображения. В двухпиксельном датчике смартфона фотосайты намного меньше, поэтому по умолчанию они не захватывают столько света, сколько полноразмерный датчик камеры, например. КМОП-сенсор 35 мм. Вместо этого датчики с двумя пикселями делят фотосайт на два отдельных фотодиода. Когда линза начинает фокусироваться на изображении, каждый фотодиод улавливает свет под разными углами и также получает разные входные данные изображения. Это действует аналогично автофокусировке с определением фазы на цифровой зеркальной камере. Два фотодиода на фотосайте теперь объединяют свои значения для создания одного пикселя. Затем значения фотосайта обрабатываются сложными алгоритмами для создания окончательного изображения.

Объединяя значения от двух фотодиодов в фотосайте пикселя сенсора, вы получаете результат большей детализации при объединении в один пиксель. Это было снято с помощью Pixel 3 (фото предоставлено Android Authority)

. Сочетая двухпиксельный сенсор с объективом, вы получаете камеру, способную снимать потрясающие изображения в различных режимах и условиях освещения. С помощью методов искусственного интеллекта, используемых в машинном обучении, фотоэффекты создаются с использованием обучающих данных из миллионов фотографий для создания наилучшего изображения. Именно так неподготовленный пользователь, не имеющий знаний и опыта в фотографии, может сделать отличное фото. Не нужно беспокоиться об диафрагме, выдержке, балансе белого или даже о настройках ISO. Композиция и творчество находятся в ведении пользователя, но финальное изображение было создано системой камеры смартфона.

В портретных режимах некоторых смартфонов получаются действительно отличные селфи благодаря сенсорам с двумя пикселями. Google действительно хорошо использовал это в линейке смартфонов Pixel 2. Несмотря на наличие только одной основной камеры, он смог показать лучшие результаты, чем его конкуренты с двумя камерами, такие как Samsung Galaxy и Apple iPhone. Датчики с двумя пикселями измеряют разницу с одной стороны пикселя и с другой вместо использования двух линз. Это доказывает, что на самом деле вам не нужно более 1 камеры на смартфоне, чтобы делать отличные снимки. Google делает это с помощью технологий искусственного интеллекта в программном обеспечении и двухпиксельных сенсорах. Одной из особенностей, которая позволяет камерам смартфонов Google делать отличные фотографии, является фокусировка, и это связано с автофокусировкой с двумя пикселями, используемой в линейке Pixel 3.

Производители камер для смартфонов позаимствовали двухпиксельную технологию у цифровых зеркальных фотокамер. Canon считается первой компанией, производящей камеры, которая представила в своей Canon EOS 70D функцию Dual Pixel Autofocus. В EOS 70D по-прежнему используется фазовый автофокус, но он не будет полагаться на зеркала камеры. Вместо этого датчик будет обрабатывать автофокусировку света без необходимости в других модулях. Это именно то, что нужно беззеркальной системе, такой как камера смартфона. Не полагаясь на зеркала, которые требуют механического движения для регулировки и, следовательно, требуют больше времени для фокусировки, датчик с двумя пикселями более точен и может быстрее фокусироваться на изображении.

Проиллюстрировано, как Canon реализует свой двухпиксельный сенсор (источник Canon)

Теперь ясно, что основными преимуществами двухпиксельных сенсоров являются быстрая автофокусировка и более четкое изображение. Камера может точно сфокусироваться на изображении независимо от его положения. Даже в зеркальных и беззеркальных камерах используются датчики с двумя пикселями, но встроить их в камеру смартфона очень практично из-за того, как они улучшают изображения, несмотря на меньший размер. Производители смартфонов наверняка придумают вариации этой техники в сочетании со своим программным обеспечением искусственного интеллекта, чтобы пользователи могли делать свои лучшие фотографии и потрясающие изображения.

Что такое двухпиксельный автофокус? Объяснение технологии камеры

Эрик Земан / Android Authority

Автофокусировка Dual Pixel становится все более популярной функцией камеры смартфона, особенно на флагманском сегменте рынка. Технология обещает гораздо более быструю фокусировку для динамичных снимков и превосходную фокусировку в условиях низкой освещенности. Но как это работает?

Автофокусировка Dual Pixel — это расширение автофокусировки с определением фазы (PDAF), которая уже много лет используется в камерах смартфонов. По сути, PDAF использует выделенные левые и правые пиксели на датчике изображения, чтобы определить, находится ли изображение в фокусе.

Прежде чем мы начнем: Узнайте об этих условиях фотографии, прежде чем двигаться дальше

Что это такое и как оно работает?

PDAF является предшественником автофокуса Dual Pixel, поэтому важно понимать, как работает первый. PDAF основан на немного различающихся изображениях, созданных с помощью замаскированных фотодиодов «правого и левого взгляда», встроенных в пиксели датчика изображения. Сравнение разности фаз между этими пикселями позволяет вычислить необходимое фокусное расстояние. Эти пиксели обнаружения фазы обычно составляют около 5-10% всех пикселей датчика изображения. Использование большего количества выделенных пар пикселей для определения фазы делает PDAF более надежным и точным.

Краткий обзор: Объяснение фазовой автофокусировки (PDAF)

При переходе на двухпиксельную автофокусировку каждый пиксель на датчике используется для PDAF и помогает в расчете разности фаз и фокусировке. Это повышает точность и скорость по сравнению со стандартным PDAF. Каждый пиксель разделен на два фотодиода; один левый и правый взгляд. Использование микролинз, размещенных поверх пикселей, делает это возможным. При съемке фотографии процессор сначала анализирует данные фокусировки от каждого фотодиода, а затем объединяет сигналы для записи полного пикселя, используемого в конечном изображении.

Samsung

На приведенной выше диаграмме, разработанной командой разработчиков датчиков изображения Samsung, показаны различия между традиционной технологией автофокусировки PDAF и технологией автофокусировки Dual Pixel. Единственным реальным недостатком является то, что внедрение этих крошечных фотодиодов и микролинз с определением фазы не является простым или дешевым, что становится важным фактором в датчиках с очень высоким разрешением.

Например, 108-мегапиксельный датчик в Galaxy S22 Ultra не использует технологию Dual Pixel, в то время как 50-мегапиксельные камеры с более низким разрешением в моделях Galaxy S22 и Galaxy S22 Plus используют ее. В результате автофокус Ultra хуже, но дополнительные камеры телефона имеют автофокус Dual Pixel.

Подробнее: Galaxy S21 Ultra: как новый 108-мегапиксельный сенсор Samsung улучшает камеру

Как автофокус Dual Pixel улучшает автофокус PDAF

Несмотря на общие принципы, технология Dual Pixel обеспечивает гораздо более быструю фокусировку и большую способность поддерживать сосредоточиться на быстро движущихся объектах, чем базовый PDAF. Это особенно полезно для создания идеального кадра в движении. Не говоря уже о том, чтобы быстро поднять камеру, зная, что она всегда будет в фокусе. Huawei P40, например, благодаря этой технологии может похвастаться временем фокусировки всего в миллисекунды. Вы можете увидеть это в действии на GIF ниже.