Как работает распознавание лиц в смартфонах

Зачем мы останавливаемся на разлочивание по фейсу

В прошлые годы идентификация лиц является одной из самых популярных функций для деблокировки смартфонов. Еще пару годов тому назад основная масса пользователей удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает данную возможность настолько популярной? Прежде всего, это удобно: не нужно удерживать в памяти замысловатые пароли или отыскивать нужный палец в темноте. Кроме того, это оперативно: современные программы узнают лицо буквально за мгновение. В-третьем пункте, это впечатление будущего — словно в фильмах про admiral x зеркало агентов.

Тем не менее за данной видимой легкостью скрывается полный универсум комплексных техник и инженерных концепций. Давайте понять, как точно действует распознавание лиц в современных гаджетах, какие существуют способы, насколько они безопасны и что нас ждёт впереди.

Краткая хроника прогресса технологии

Распознавание лиц как методика присутствует уже более 50 лет. Изначальные попытки автоматического исследования лиц были сделаны еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ могли лишь обозначать очертания лица и определять дистанции между зрачками и губами на черно-белых фотографиях.

Первые бизнес платформы стали доступны в девяностых годах, но они были далеки от совершенства: действовали неспешно и нередко ошибались. Только с эволюцией нейронных сетей и таких платформ, как адмирал х, сильных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять свои разработки.

Ключевые шаги действия устройства определения

Процесс распознавания лица можно примерно разделить на несколько ключевых этапов:

1. Распознавание лиц — аппарат распознает наличие человеческого образа в кадре.
2. Выделение признаков — алгоритм исследует черты лица: форму зрительных органов, носа, губ, позицию бровей.
3. Построение модели — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — полученный модель сопоставляется со записанной при регистрации биометрической информацией владельца.
5. Принятие решения — если сходство достаточно существенное, смартфон разблокируется.

Любой из указанных стадий требует индивидуальных процедур и улучшений для оперативной работы непосредственно на девайсе.

Технические компоненты: что прячется в их недрах

Стандартная селфи камера.

Самый простой способ идентификации физиономии задействует лишь переднюю камеру смартфона мобильного устройства. Подобный метод внедрён во многочисленных доступных моделях Android-девайсов.

Сильные стороны:

• Необходимо нуждается в внешних датчиков.
• Оперативно функционирует при качественном освещении.

Минусы:

• Несложно обмануть снимком или видео.
• Неудачно функционирует при слабом свете или нестандартных ракурсах.

Инфракрасная фотокамера и точечный проектор

Более совершенные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким способом это работает:

• Точечный устройство проекции отображает на лицо пользователя невидимую структуру из тысяч инфракрасных точек (например, Face ID задействует около 30 000 меток).
• ИК камера записывает искривление данной решетки по плоскости лица.
• Формируется 3D карта глубины глубины, которая практически неподвластна для имитации стандартной фото или маскировкой.

Выигрыши

• Надёжная деятельность даже в полной неосвещённости.
• Большая сопротивляемость к фальсификациям.
• Точность определения более 99%.

Дополнительные сенсорные устройства

В отдельных девайсах используются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые измеряют период движения света до объекта и обратно; Цветные-датчики глубины; специальные лазерные дальномеры для создания более аккуратной 3D-модели лица.

Эти разработки применяются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искуственный ум в исполнении

Текущие устройства распознавания физиономий немыслимы без применения ИИ и machine learning. Именно из-за таким инновациям, как адмирал х, гаджет способно узнавать юзера даже при изменениях внешнего вида: новая причёска, щетина, очки или макияж не становятся помехой для деблокировки.

Детектирование физиономии

При стартовом стадии алгоритм должна мгновенно найти образ лица внутри целого изображения с камеры. Для этой задачи применяются каскадные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: метод MTCNN способен находить лицо даже при частичном перекрытии (например, шалью или рукой).

Идентификация важных моментов

После идентификации лица система, такая как адмирал х, устанавливает местоположение главных точек: кончики глаз, кончик носа, контуры губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лицевой поверхности.

Данное необходимо для стабилизации картинки: если человек держит мобильник под углом, или повернул голову, программа корректирует картинку до стандартного положения для дальнейшего анализа.

Формирование биометрии модели

Далее нейросеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный образец очень затруднительно сфальсифицировать: он не сохраняет непосредственно картинку юзера, а лишь уникальные черты его внешности, что делает его идеальным для таких платформ, как admiral-x.

Сопоставление и вынесение заключения

В случае, когда пользователь желает разблокировать телефон взглядом, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Приспособление к изменениям облика

Интересная особенность современных систем — способность самообучения. Если ты постоянно доступаете к телефон с новой прической или очками, система постепенно освежает основной шаблон вашего облика для повышения точности работы без снижения уровня безопасности.

Охрана биометрических данных информации.

Множество юзеры беспокоятся держать свои био-идентификационные данные на телефоне из-за угрозы утечки данных или взлома устройства. Некоторые организации, например admiral-x, предлагают варианты для увеличения защиты сведений юзеров.

• Локальное хранение: Большинство аппаратов записывает биометрические шаблоны только внутри безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают устройство и закрыты даже изготовителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт подтверждения личности через системный API.

Стоит отметить существенную подробность: если какой-то человек получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют систему защиты от “слепого” разблокирования — в частности, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды определения лиц на изображениях?

На сегодняшний день можно выделить определить три главных подхода к осуществлению этой задачи:

Программное двухмерное идентификация

Эксплуатируется только фронтальная камера без дополнительных датчиков дистанции. Такой метод наблюдается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; низкая стоимость; скоростная деятельность при хорошем свете.
Минусы: легко ввести в заблуждение снимком; нестабильная деятельность ночью; недостаточная защищенность.

Оборудование для объёмное сканирование

Применяет инфракрасную камеру + проекционный модуль пикселей + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надежность; нельзя обмануть фото/видео; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Используют комбинацию софтверных методов + аппаратно-техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронталку c ИК сенсором мобильности Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Образцы применения разных методов

• iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное двухмерное распознавание по фото фронталкой, так и датчик радужки глаза.
• Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-датчик

Трудности охраны и неверные сигналы

Несмотря на впечатляющий развитие инноваций за последние годы, совершенных системы пока не имеется:

1. Вероятность мошенничества: Бюджетные мобильники легко доступны четкой снимком пользователя или видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
3. Трансформации облика: Резкое утрата веса/набор веса, хирургические вмешательства либо повреждения порой требуют обновления данных биометрии.
4. Условия записи: Интенсивная освещённость солнцем или интенсивная затенение могут уменьшить точность распознавания признаков.

Ниже пара подсказок для защищённому использованию:

• Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Систематически апгрейдите прошивку мобильного устройства для обеспечения безопасности от новых видов атак;
• Включайте опцию “Требовать раскрытых глаз” везде, где она есть.

Где также применяется технологии за исключением мобильных телефонов?

Хотя основная мысль этой работы посвящена конкретно мобильным устройствам, стоит упомянуть о альтернативных областях использования технологии:

• Мониторинг доступа в рабочих помещениях и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые паспорта нового поколения;
• Системы видеомониторинга городских сервисов;
• Автоматизирование отслеживания явки учебных заведений/вузов;
• Авторизация пользователей ПК/ноутбуков.

Например: В городском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Похожие инициативы осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется техпроцесс в нынешнее время?

Каждый год возникают новые концепции для улучшения стандарта деятельности систем идентификации лиц:

1. Увеличивается чёткость сенсоров — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Развиваются искусственные интеллекты — передовые структуры типа MobileNetV3 обеспечивают возможность скоростно осваивать свежим особенностям вида пользователя прямо на устройстве без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь мобильные устройства способны отличать подлинные анимированные лица от неподвижных снимков/масок по незаметным движениям кожи.
4. Взаимодействие со умными устройствами — интеллектуальные часы могут самостоятельно заблокировать телефон, если владелец отошёл далеко.
5. Появляются смешанные системы — в частности объединяющие речевую идентификацию + лицо + дактилоскопический след.

Итак, которые тренды очень востребованы сейчас:

1) Миниатюризация компонентов

Изготовители пытаются уменьшить габариты выреза (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на девайсе

Для увеличения личной безопасности всё более вычислений происходит локально без передачи данных во сторонний облачный услугу.

3) Стандартизация стандартов

Google энергично продвигает эталон BiometricPrompt API, чтобы аналогичные платформы, например как admiral x, и все Android-программы могли работать с всеми формами биометрии стандартизированно.

Что подобрать сегодня?

Когда вам необходима максимальная сохранность данных, выбирайте передовые модели с вмонтированным ИК-проектором или же ToF-сенсором глубины.

• iPhone каждого новейших моделей
• Huawei Partner/Series P серии
• Mix Pro
• Vivo X модели
• Oppo Обнаружить X серии.

Если средства невелик – лучше выбирать традиционным методам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную возможность удобства.

Как повысить комфорт работы функции?

Есть несколько советов для людей, кто уже применяет функцию распознавания лица:

1. Часто меняйте свою фото-шаблон, если значительно трансформируется облик.
2. Не упускайте из виду протирать объектив передней камеры – разводы могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает камеру если вы поднимаете его.
4. В процессе регистрационного процесса постарайтесь удерживать лицо прямо напротив видеоустройства исключая сильного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от дисплея.

Будущее развития инноваций

В предстоящие времена можно ожидать возникновения полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + речь + манера ходьбы + движения рук!

Также вероятно развитие современных способов обеспечения приватности – скажем, переменное корректировка цифрового шаблона после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из самых интересных техник нашего эпохи! Она делает общение со мобильным устройством проще чем раньше, и такие программы, как admiral-x, могут в разы улучшить ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы знаете, как устроена эта технология изнутри, – сможете более осмысленно определять свой будущий устройство!