Nästa upp för AI: Lär dig hur du läser dina läppar

En patient sitter i en sjukhussäng, ett bandage som täcker hans hals med en liten öppning för trakeostomiröret som förser honom med syre.

På grund av sin nyligen genomförda operation presenterade mannen det här marknadsföringsvideo kan inte stämma. Så en läkare håller upp en smartphone och registrerar patienten när han munar en kort fras. En app som heter SRAVI analyserar läpprörelserna och återger sin tolkning på cirka två sekunder - ”Jag behöver suga.”

Det verkar som en enkel interaktion, och i vissa avseenden är SRAVI (App för taligenkänning för rösthämmade) fortfarande ganska enkel. Det kan bara känna igen några dussin fraser, och det gör det med cirka 90 procents noggrannhet. Men appen, som är skapad av den irländska startupen Liopa, representerar ett massivt genombrott inom området för visuell taligenkänning (VSR), vilket innebär att AI tränas för att läsa läppar utan någon ljudingång. Det kommer troligen att vara den första läppläsande AI-appen som är tillgänglig för offentligt köp.

Forskare har arbetat i årtionden för att lära datorer att läppläsa, men det har visat sig vara en utmanande uppgift även med framstegen inom djupinlärningssystem som har hjälpt till att knäcka andra landmärke problem. Forskningen har drivits av ett brett utbud av möjliga kommersiella applikationer - från övervakningsverktyg till tysta kommunikationsappar och förbättrad prestanda för virtuell assistent.

Liopa håller på att certifiera SRAVI som medicinsk utrustning av klass I i Europa, och företaget hoppas kunna slutföra certifieringen senast i augusti, vilket gör det möjligt att börja sälja till vårdgivare.

Medan deras avsikter för tekniken inte är klara, arbetar många av tekniska jättar också med läppläsning av AI. Forskare som är anslutna till eller arbetar direkt för Google, Huawei, Samsung och Sony forskar alla på VSR-system och verkar göra snabba framsteg, enligt intervjuer och Motherboards granskning av nyligen publicerade forsknings- och patentansökningar. Företagen svarade antingen inte eller avvisade intervjuer för den här berättelsen.

Då läppläsande AI framträder som en livskraftig kommersiell produkt, är tekniker och vakthundar för integritet alltmer oroliga för hur den utvecklas och hur den en dag kan användas. SRAVI är till exempel inte den enda tillämpningen av läppläsande AI som Liopa arbetar med. Företaget är också i fas två av ett projekt med en brittisk försvarsforskningsbyrå för att utveckla ett verktyg som gör det möjligt för brottsbekämpande myndigheter att söka igenom tysta CCTV-bilder och identifiera när människor säger vissa nyckelord.

Övervakningsföretag Motorola Solutions har patent på ett läppavläsningssystem utformad för att hjälpa polisen. Skylark Labs, en start vars grundare har anknytning till US Defense Advanced Research Projects Agency (DARPA), berättade för moderkortet att dess läppavläsningssystem för närvarande används i privata hem och ett statligt styrt kraftföretag i Indien för att upptäcka foul och kränkande språk. .

"Detta är ett av dessa områden, ur mitt perspektiv, vilket är ett bra exempel på" bara för att vi kan göra det, betyder inte att vi borde ", säger Fraser Sampson, Storbritanniens kommissionär för biometri och övervakningskamera, till Motherboard. ”Min främsta oro inom detta område skulle inte nödvändigtvis vara vad tekniken kunde göra och vad den inte kunde göra, det skulle vara den kyliga effekten av att människor tror att den kan göra vad den säger. Om det då avskräckt dem från att tala offentligt, är vi i ett mycket större område än helt enkelt integritet, och integriteten är tillräckligt stor. ”

Framväxten av läppläsande AI påminner om ansiktsigenkänningsteknik, som var ett nischområde för forskning i årtionden innan det tyst men snabbt kommersialiserades som ett övervakningsverktyg som började i början av 2000-talet.