Каким образом функционирует определение лиц в смартфонах

Зачем мы останавливаемся на разлочивание по лицу

В недавние годы определение лиц превратилось в одной из самых популярных функций для деблокировки умных телефонов. Всего некоторые годков тому назад большинство использующих довольствовались PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает эту функцию такой востребованной? Прежде всего, это практично: не нужно помнить сложные пароли или отыскивать нужный палец в тьме. Во-вторых, это оперативно: современные алгоритмы распознают лицо практически за мгновение. В-третьих, это чувство будущего — как будто в кинофильмах про адмирал х агентов.

Тем не менее за данной кажущейся простотой таится целый универсум сложных методов и инженерных разработок. Попробуем разобраться, как точно действует идентификация по лицу в актуальных смартфонах, какие существуют методы, насколько они надёжны и что нас предстоит.

Короткая хроника эволюции инноваций

Идентификация лиц как методика имеется уже более 50 годов. Изначальные пробы автоматического исследования лица были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины способны были лишь обозначать контуры головы и вычислять промежутки между зрачками и устами на черно-белых изображениях.

Первые коммерческие установки появились в 90-х, но они были неидеальны: действовали неспешно и нередко ошибались. Только с прогрессом искусственных сетей и таких площадок, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать личные решения.

Основные этапы действия механизма определения

Процесс распознавания лица можно ориентировочно сегментировать на несколько важных этапов:

1. Обнаружение лиц — камера выявляет существование гуманного лица в кадре.
2. Извлечение особенностей — система исследует черты лица: конфигурацию глаз, обонятельного органа, уст, положение бровей.
3. Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с стандартом — сформированный образец сравнивается со сохранённой при регистрации биометрической сведениями владельца.
5. Принятие решения — если сходство достаточно значительное, смартфон разблокируется.

Каждый из данных этапов требует специальных процедур и улучшений для скорой работы прямо на устройстве.

Железные компоненты: что скрыто в их недрах

Стандартная селфи камера.

Наиболее легкий способ идентификации облика применяет лишь лицевую видеокамеру смартфона. Данный метод осуществлён во многочисленных доступных версиях Android-девайсов.

Сильные стороны:

• Не требует внешних сенсоров.
• Оперативно действует при хорошем свете.

Недостатки:

• Легко обмануть изображением или видеозаписью.
• Неудачно работает при низком свете или непривычных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс составляет базу Face ID от Apple.

Как это функционирует:

• Точечный проекционный прибор показывает на облик использующего невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство записывает изменение формы данной сетки по поверхности физиономии.
• Формируется 3D карта глубины, что почти неподвластна для фальсификации стандартной фото или маскировкой.

Плюсы

• Надёжная функционирование даже в полной темноте.
• Сильная устойчивость к имитациям.
• Точность определения более 99%.

Добавочные сенсоры

В отдельных девайсах задействуются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время прохождения света до цели и обратно; Трехцветные-датчики дальности; специальные световые лидары для построения более аккуратной 3D-модели лица.

Эти технологии встречаются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный разум в работе

Современные механизмы распознавания лиц неосуществимы при отсутствии эксплуатации artificial intelligence и машинного обучения. Именно вследствие таким инновациям, как адмирал х, гаджет может узнавать пользователя даже при изменениях внешнего вида: новая укладка, щетина, очки или косметика не становятся барьером для открытия.

Обнаружение лица

В первом шаге система обязана быстро распознать ликовое изображение внутри полного кадра с камеры. Для этого задействуются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать облик даже при неполном перекрытии (например, шалью или ладонью).

Идентификация основных точек

После идентификации лица система, такая как адмирал х, вычисляет местоположение главных точек: края глаз, конец носа, контуры губ и так далее. Обычно используется от 68 до 128 главных маркеров на лице.

Это действие требуется для выравнивания изображения: если человек удерживает телефон под наклоненным, или наклонил головку, программа корректирует картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора модели

Далее нейросеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой образец весьма затруднительно сфальсифицировать: он не сохраняет непосредственно фото пользователя, а лишь особенные черты его вида, что делает его идеальным для таких площадок, как admiral-x.

Сравнение и осуществление решения

Когда пользователь хочет открыть мобильник взором, механизм воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Привыкание к метаморфозам внешности

Интересная характеристика нынешних систем — возможность самообучения. Если вы часто разблокируете смартфон с новой стрижкой или оптикой, система постепенно модернизирует эталонный шаблон вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрических данных данных.

Большинство юзеры беспокоятся держать свои биометрические идентификационные данные на телефоне из-за риска утечки информации или взлома устройства. Определенные компании, такие как admiral-x, предлагают методы для улучшения безопасности данных пользователей.

• Локальное сбережение: Большинство девайсов хранит биометрические образцы лишь в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не выходят из гаджет и не доступны включая изготовителю.

• Шифрование: Все данные сохраняются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих девелоперов не обладают прямого доступа к биометрическим; они могут лишь требовать факт подтверждения личности через системный API.

Необходимо подчеркнуть важную особенность: если какой-то человек сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют меры безопасности от автоматического разблокирования — в частности, просят открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории распознавания лиц на изображениях?

В настоящее время можно различить 3 главных метода к осуществлению этой функции:

Софтверное двухмерное идентификация

Эксплуатируется только фронтальная видеокамера без дополнительных датчиков дистанции. Этот метод встречается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; низкая цена; оперативная деятельность при качественном освещении.
Минусы: легко обмануть фотографией; неустойчивая деятельность ночью; низкая охрана.

Техническое объёмное сканирование

Использует инфракрасную камеру + проекционный модуль пикселей + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: значительная достоверность; невозможно исказить фото/видео; постоянная деятельность при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с дополнением ИИ

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock последних версий, сочетают фронтальную камеру c ИК датчиком движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Образцы эксплуатации различных техник

• iPhone модели X/11/12/13/14 задействуют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз представил аналог Face ID в числе Android.
• Samsung Galaxy S10/S20 поддерживают как софтверное двухмерное идентификацию по фото фронталкой, так и сенсор ириса глаза.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-датчик

Проблемы безопасности и ложные срабатывания

Несмотря на впечатляющий успехи инноваций за последние лет, совершенных системы пока не существует:

1. Вероятность мошенничества: Доступные телефоны легко “разблокируются” четкой изображением пользователя или роликом с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные устройства могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы внешности: Внезапное похудение/набор веса, хирургические вмешательства или повреждения в некоторых случаях требуют перерегистрации биометрических данных.
4. Условия съёмки: Сильная засветка солнцем либо плотная темнота могут понизить аккуратность определения признаков.

Здесь пара советов по безопасному применению:

• Для критически важных операций всегда применяйте дополнительную аутентификацию;
• Не включайте опцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически апгрейдите прошивку мобильного устройства для защиты от актуальных атак;
• Включайте функцию “Требовать распахнутых глаз” в тех местах, где она доступна.

В каких областях ещё применяется технология за исключением мобильных телефонов?

Несмотря на то, что предмет нашей работы касается в частности мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль входа в деловых центрах и многоквартирных зданиях;
• Платёжные терминалы банков (“Face Pay”);
• Электронные удостоверения личности последнего типа;
• Установки видеоконтроля городских служб;
• Автоматизирование отслеживания присутствия образовательных учреждений/институтов;
• Аутентификация участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Аналогичные проекты реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется техпроцесс в нынешнее время?

Любой годочек проявляются свежие идеи для улучшения стандарта работы систем идентификации лиц:

1. Увеличивается чёткость сенсоров — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность ошибки;
2. Развиваются нейросети — передовые структуры модели MobileNetV3 дают возможность оперативно обучаться дополнительным особенностям внешности обладателя непосредственно на девайсе без отправки данных в облако.
3. Улучшаются способы антиспуфинга — теперь телефоны могут распознавать настоящие анимированные лица от статичных фотографий/масок по незаметным микродвижениям.
4. Взаимодействие со умными устройствами — умные часы могут авто закрыть доступ к телефон, если обладатель ушёл далеко.
5. Возникают комбинированные устройства — в частности комбинирующие голосовую опознание + лицо + отпечаток пальца.

Вот, какие тренды в особенности популярны сейчас:

1) Сокращение деталей

Производители намереваются минимизировать габариты прорези (“чёлки”) для сенсоры на экране за счёт интеграции компактных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения приватности всё более расчётов выполняется локально без передачи информации во сторонний облачный услугу.

3) Стандартизация регламентов

Гугл энергично продвигает норму BiometricPrompt API, для того чтобы такие системы, вроде admiral x, и каждые Android-программы могли взаимодействовать с различными типами биометрии унифицированно.

Что выбрать сегодня?

Если вам всем необходима максимальная сохранность информации, выбирайте передовые аппараты с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone каждого последних поколений
• Huawei Mate/Series P ряда
• Mix Professional
• Vivo X модели
• Oppo Найти Икс линейки.

Если финансы невелик – лучше выбирать обычным средствам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность комфорта.

Каким образом увеличить комфорт использования опции?

Есть несколько советов для тех, кто уже применяет разблокировку по лицу:

1. Периодически меняйте свою изображение-шаблон, если сильно изменяется внешний вид.
2. Не упускайте из виду очищать линзу фронтальной камеры – пятна могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает фотоаппарат если вы поднимаете его.
4. Во время регистрации старайтесь сохранять лицо прямо напротив камеры не допуская резкого наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвели взгляд от экрана.

Будущее развития инноваций

В предстоящие годы можно ожидать возникновения полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + шаги + манипуляции руками!

Также возможно развитие свежих подходов охраны личной информации – к примеру, динамическое изменение электронного паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее интересных техник нашего эпохи! Она обеспечивает взаимодействие со смартфоном комфортнее чем раньше, и такие приложения, как admiral-x, могут существенно повысить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как работает эта система внутри, – сможете осознаннее выбирать свой будущий девайс!