Naukowiec z Cornell University zbudował okulary, które śledzą mimikę i umożliwiają cichą komunikację

Naukowiec z Cornell University opracował okulary, które „usłyszą” cię bez mówienia. Przystawka do okularów wykorzystuje maleńkie mikrofony i głośniki do odczytywania słów wypowiadanych przez użytkownika, który bezgłośnie może wydawać polecenia wstrzymania lub pominięcia utworu muzycznego, wprowadzenia kodu dostępu bez dotykania telefonu lub pracować nad modelami CAD bez użycia klawiatury.

Ruidong Zhang, doktorant z Cornell, opracował system, który opiera się na podobnym projekcie bezprzewodowej wkładki dousznej i wcześniejszych, które funkcjonowały w oparciu o kamery. Okulary usuwają potrzebę stosowania kamer lub wkładania czegoś do ucha.

Większość technologii do rozpoznawania cichej mowy jest ograniczona do wybranego zestawu z góry określonych poleceń i wymaga od użytkownika, aby stanął przed kamerą lub nosił ją na głowie, co nie jest ani praktyczne, ani wygodne – powiedział Cheng Zhang, asystent profesora nauk informacyjnych w Cornell.

Naukowcy twierdzą, że system wymaga jedynie kilku minut danych treningowych (na przykład odczytania serii liczb), aby nauczyć się wzorców mowy użytkownika. Następnie, gdy jest już gotowy do pracy, wysyła i odbiera fale dźwiękowe, wyczuwając ruchy ust i jednocześnie wykorzystując algorytm głębokiego uczenia do analizy danych w czasie rzeczywistym „z dokładnością około 95 procent”.

System robi to jednocześnie przerzucając przetwarzanie danych (bezprzewodowo) na smartfona, co pozwala na ekstremalne zmniejszenie urządzenia, a aktualna wersja oferuje około 10 godzin pracy na jednym ładowaniu. Dodatkowo, żadne dane nie opuszczają telefonu, co eliminuje obawy o prywatność.

Naukowcy z Cornell University już dziś widzą wiele zastosowań urządzenia

Jesteśmy bardzo podekscytowani tym systemem … Jest mały, ma niski pobór mocy i zapewnia prywatność, co jest ważną cechą przy wdrażaniu nowych technologii „wereables” – mówi Cheng Zhang.

Prywatność ma znaczenie, gdy patrzy się na potencjalne zastosowania w świecie rzeczywistym. Na przykład Ruidong Zhang sugeruje użycie urządzenia do sterowania odtwarzaniem muzyki w bibliotece lub dyktowania wiadomości na głośnym koncercie, gdzie standardowe opcje zawiodłyby. Najbardziej ekscytującą perspektywą jest jednak wykorzystanie go przez osoby z niektórymi rodzajami zaburzeń mowy – system przekazywałby dialogi do syntezatora mowy.

Źródło: Cornell University