Czy system Facebook AI Ego4D i okulary AR zastąpią smartfony?

Od lat dział Facebook AI pracuje nad systemami sztucznej inteligencji, ale dopiero system Ego4D pokazuje, co będzie mógł zrobić gigant ze swoimi okularami AR (augmented reality – rzeczywistość rozszerzona) opracowywanymi z firmą RayBan. System będzie w stanie widzieć, słyszeć i zapamiętywać wszystko, co robi człowiek i przetwarzać te dane według uznania.

„Systemy AI nowej generacji będą musiały uczyć się z zupełnie innego rodzaju danych — filmów, które pokazują świat z centrum akcji, a nie z boku” – powiedziała Kristen Grauman, główny naukowiec projektu.

Facebook AI tworzy system Ego4D

Sztuczna inteligencja, która będzie w stanie postrzegać świat z perspektywy pierwszej osoby, może pomagać nam lepiej, niż taka, która obserwuje świat z boku. Perspektywa sporo zmienia, co pokazało wiele doświadczeń i eksperymentów.

„Chodzi o to, że jeśli chcemy zbudować tego typu nowe technologie, musimy nauczyć sztuczną inteligencję rozumienia świata i interakcji z nim, w taki sposób jak odbieramy to my, czyli z perspektywy pierwszej osoby. Jest ona powszechnie określana w społeczności naukowej jako percepcja egocentryczna. Dzisiejsze systemy widzenia komputerowego (CV) zazwyczaj jednak uczą się z milionów zdjęć i filmów uchwyconych z perspektywy trzeciej osoby, gdzie kamera jest tylko widzem akcji” – podkreśliła Ritika Trikha, członek zespołu Facebook AI.

Ego4D jest projektem, który poprawi percepcję otoczenia użytkownika systemów AR. Facebook zaprosił do współpracy nad systemem 13 uniwersytetów i laboratoriów z dziewięciu krajów.

ego4d-facebook-ai-okulary-ar-smartfony-konsorcjum
Konsorcjum laboratoriów i uniwersytetów.

Pomogły one zebrać i przeanalizować ponad 3000 godzin materiału wideo i audio pozyskanego z perspektywy pierwszej osoby. Udział w gromadzeniu danych wzięło ponad 700 ludzi. Całość została sfinansowana przez Facebooka.

ego4d-facebook-ai-okulary-ar-smartfony-dane
Dane wideo pozyskiwano na całym świecie i w różnych sytuacjach.

W czym może nam pomagać tak zaawansowana rzeczywistość rozszerzona?

Uniwersytety, laboratoria, Facebook Reality Labs Research (FRL Research) i Facebook AI skupiły się na pięciu podstawowych działaniach systemu Ego4D.

Są nimi:

  • Pamięć epizodyczna: Co się stało, kiedy? Sztuczna inteligencja może odpowiadać na dowolne pytania i poszerzać pamięć osobistą, odzyskując kluczowe momenty ze zgromadzonych filmów. Aby to zrobić, model musi zlokalizować odpowiedź na zapytanie w zapisanych klatkach filmu i przekazać informacje przydatne w trójwymiarowym środowisku. Możesz zadać swojemu asystentowi AI lub robotowi domowemu pytania, takie jak „Gdzie zostawiłem ulubionego misia mojego dziecka?”
  • Prognozowanie: Co zrobię dalej? Sztuczna inteligencja może zrozumieć, w jaki sposób działania użytkownika mogą wpłynąć na przyszły stan świata, pod względem tego, gdzie dana osoba może się poruszać, jakich przedmiotów prawdopodobnie dotknie, lub jaką aktywność prawdopodobnie podejmie w następnej kolejności. Prognozowanie działań wymaga nie tylko rozpoznania tego, co się wydarzyło, ale także wybiegania w przyszłość, aby przewidzieć kolejne ruchy. Umożliwi to przyszłym systemom sztucznej inteligencji, które w danej chwili będą dostarczać pomocne wskazówki. Na przykład, gdy masz zamiar chwycić solniczkę, Twój asystent AI może wysłać powiadomienie typu „Czekaj, już dodałeś sól.”
  • Interakcja ręka-obiekt: Co robię i jak? Nauka interakcji rąk z przedmiotami ma kluczowe znaczenie dla treningów i instruowania przy codziennych zadaniach. Sztuczna inteligencja musi wykrywać pierwszoosobowe interakcje człowiek-obiekt, rozpoznawać manipulację dłońmi i wykrywać zmiany stanu obiektów. Może się to przydać, gdy ktoś przygotowuje potrawę, a asystent AI może poinstruować użytkownika, jakich składników potrzebuje i co musisz z nimi zrobić najpierw, zrozumieć, co już zrobił, i poprowadzić przez całość procesu dosłownie za rękę.
  • Dziennik audiowizualny: Kto, co i kiedy powiedział? Ludzie używają dźwięku, aby zrozumieć świat i określić, kto, co i kiedy powiedział. Jeśli uczestniczymy w dyskusji, ale ciągle coś lub ktoś nas rozprasza, to można później zapytać asystenta AI: „Jakie były główne tematy podczas dzisiejszej dyskusji?”
  • Interakcje społeczne: Jak wchodzimy w interakcje? Poza rozpoznawaniem sygnałów wizualnych i dźwiękowych, zrozumienie interakcji społecznych jest podstawą każdego inteligentnego asystenta AI. Inteligentna społecznie sztuczna inteligencja rozumiałaby, kto do kogo mówi, a kto na kogo zwraca uwagę. Tak więc następnym razem, gdy będziesz na przyjęciu, asystent AI może pomóc ci lepiej skoncentrować się na tym, co mówi osoba rozmawiająca z tobą przy stole w hałaśliwym środowisku.

Okulary AR rozszerzą znacznie możliwości lub wręcz zastąpią nasze smartfony

Facebook AI twierdzi, że wkrótce okulary AR (augmented reality – rzeczywistość rozszerzona) będą dla nas tym, czym stały się smartfony. Wspomogą nas w bardzo zaawansowany sposób. Specjalne przezierne wyświetlacze są w stanie wyświetlić nam wirtualne wskazówki dotarcia do celu niezależnie od tego, czy jedziemy rowerem, samochodem, czy idziemy pieszo. W innym przypadku system dzięki wbudowanej w okulary kamerze rozpoznaje obiekty i podaje opis – może to być budynek, dzieło sztuki, owoc lub przedmiot. Jeszcze inny scenariusz przewiduje prowadzenie niejako za rękę podczas przygotowywania potrawy, naprawy jakiegoś urządzenia itp.

ego4d-facebook-ai-okulary-ar-smartfony-gotowanie
Pomoc przy gotowaniu potraw.

Dzięki AI znacznie łatwiej będzie uczyć się nowych czynności, skupiać w rozpraszającym uwagę środowisku, lepiej wykonywać wiele czynności, a także być znacznie efektywniejszym w pracy. Co więcej, systemy te wspomogą naszą pamięć, która może być zawodna.

Czy taka wizja wywołuje w Was entuzjazm, czy obawy o „permanentną inwigilację” życia naszego ludzi wokół?

Źródło: Ego4D, Facebook

0 0 votes
Article Rating
Powiadomienia
Powiadom o
0 komentarzy
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x