Het Chinese Huami komt met een speciaal coronamasker waarmee je alsnog via gezichtsherkenning je smartphone kunt ontgrendelen. Voor welk probleem is dit een oplossing, zou je denken, maar het roept wel de vraag op: hoe werkt gezichtsherkenning op de smartphone eigenlijk?

Gezichtsherkenning is niet alleen een hot topic voor dit genoemde Chinese bedrijf in coronatijd, maar natuurlijk ook voor overheden en bedrijven die burgers willen bespioneren. Hier beperken we ons echter even tot een kleiner onderwerp: het ontgrendelen van telefoons.

Eén op de miljoen
Gezichtsherkenning op de smartphone is al een paar jaar mogelijk. Apple kwam er in 2017 mee op de iPhone X. Sinds 2018 hebben de nieuwste iPhone-topmodellen zelfs alleen Face-ID en geen Touch-ID vingerafdrukscanner meer. Apple stelt dat de kans dat een willekeurig persoon jouw smartphone kan ontgrendelen bij een vingerafdrukscanner één op de 50.000 is en bij een gezichtsscanner één op een miljoen.

Maar Apple is uiteraard niet het enige merk dat ontgrendeling via gezichtsherkenning levert. In 2011 zat er in Android 4.0 al een - niet heel betrouwbare - Trusted Face-optie die in verschillende vormen tot aan Android 10 meeging. Samsung introduceerde in 2017 een nieuwe versie van het Face Unlock-ontgrendelingssysteem op zijn Galaxy S8 en Google vorig jaar bij de Pixel 4. Ook een aantal Android-telefoons van andere fabrikanten, zoals Huawei, Oppo en Motorola zijn ermee uitgerust. De diverse besturingssystemen gebruiken deels andere technieken die we hier kort benoemen.

Wat is een gezicht?
De basis is bij alle technieken hetzelfde: bij het instellen scant de camera (of camera’s) het gezicht en legt de biometrische kenmerken daarvan vast: de stand van de ogen en de afstand ertussen, de neusbrug, de kaaklijn, contouren van de lippen, oren, kin, etc. De software moet dus 1. weten wat een gezicht is – de basisvorm daarvan herkennen - en dit loskoppelen van de achtergrond, 2. de analoge informatie (het gezicht) omzetten in digitale informatie met betrekking tot de kenmerken van dat gezicht en 3. bij elke volgende scan kijken of er match is tussen deze twee datasets.

De 2D- of 3D-sensor laat een algoritme los op de gezichtsscan voordat het beeld wordt vergeleken met de database. Daarin moet ruimte zijn voor een enorme hoeveelheid variaties op de opgeslagen data, vanwege andere gezichtsuitdrukkingen, kapsel, wel of geen bril en ga zo maar door. Maar te veel variatie mag ook weer niet, anders zou je het systeem voor de gek kunnen houden.

De processor vergelijkt dus het aangeboden beeld met het opgeslagen beeld en geeft daar een score aan die tussen 0 en de 1. Ligt de uitkomst dichter bij de 1, dan gaat het om dezelfde persoon. Ligt de score dichter bij 0, dan is het die persoon niet.

apple face id scan

Apple Face-ID
Apple maakt voor zijn Face-ID gebruik van ‘TrueDepth’, een combinatie van camera’s en sensoren waaronder een ‘proximity sensor’. Dit 3D-systeem legt de gezichtskenmerken vast door 30.000 stipjes op het gezicht te projecteren en te analyseren om zo het reliëf van het gezicht in kaart te brengen. Tegelijkertijd maakt de camera een infrarood-afbeelding van het gezicht die onafhankelijk werkt van de lichtomstandigheden. De projectie (die Apple ‘Romeo’ noemt) en de analyse daarvan (‘Juliette’, natuurlijk) levert een plaatje op dat vervolgens in een beveiligde omgeving wordt gematcht met de opgeslagen informatie. Hierdoor kan ook Apple zelf niet bij de gegevens. Het systeem werkt om veiligheidsredenen niet als de ogen gesloten zijn. Maar het houdt wel rekening met bijvoorbeeld kleding, kapsel, zonnebril en make-up.
Apple’s Face-ID is behoorlijk geavanceerd. Het systeem trapt niet in trucs zoals foto’s of 3D-afbeeldingen. In het begin kreeg Apple er wel uit China van langs, omdat de software Chinese gezichten niet uit elkaar kon houden.

soli

Google’s ‘Project Soli’
Face Unlock, de techniek die Google op zijn Pixel-telefoons gebruikt voor gezichtsherkenning, lijkt sterk op die van Apple’s Face-ID. Verdacht veel, zeggen sommigen. Maar Google heeft er iets aan toegevoegd. Waar je een iPhone voor je gezicht moet houden om hem te ontgrendelen, begint de Pixel 4-smartphone je al te scannen zodra je ook maar in de buurt komt of wanneer de telefoon plat op tafel ligt. Dit met dank aan bewegingssensoren die zijn ontwikkeld in het 'Project Soli', waarvoor het niet uitmaakt hoe je de telefoon vasthoudt. Zelfs als je hem op de kop houdt, herkent de telefoon – nou ja, specifiek: de Soli-radarchip - je gezicht. In eerste instantie kon dat zelfs met gesloten ogen, maar daar heeft Google dit jaar een update voor uitgebracht, zodat de telefoon niet geopend kan worden terwijl je slaapt en iemand hem onder je neus houdt.

Android-toestellen
Android-telefoons van andere fabrikanten beschikken niet over dezelfde hardware als de iPhone en de Google Pixel en moeten het hebben van alleen de camera en softwarematige oplossingen. Regelmatig zijn deze systemen gekraakt, onder andere door een foto voor de camera te houden of door personen die enigszins op elkaar lijken. Vandaar dat deze smartphonemerken zelf ook stellen dat gezichtsherkenning minder betrouwbaar is dan ontgrendeling via de vingerafdruksensor of een pincode. Samsungs topmodel, de Galaxy S20-serie, heeft zelfs helemaal afgezien van gezichtsherkenning.

Tot slot
Nog steeds geïnteresseerd in een transparant coronamasker, dat mond en neus bedekt, niet beslaat, zichzelf desinfecteert met uv-licht en wordt opgeladen via usb-c? Dan moet je nog even geduld hebben, want de Huami Amazfit Aeri bevindt zich nog in de conceptfase.

aeri 2