Китайските разработчици създадоха приложение за смартфон, което разпознава думи по движение на устните. За разлика от обикновените гласови асистенти приложението може да се използва на обществени места, без да се влияе от реч на други хора, съобщиха разработчиците на конференцията UIST 2018.

Почти всички съвременни смартфони са оборудвани с гласови асистенти, които разпознават и изпълняват потребителски команди. През последните години нивото на разпознаване на говора се подобри значително. Изследванията обаче показват, че повечето хора не използват гласови асистенти на обществени места, защото се чувстват неудобно.

Yuanchun Shi и колегите му от университета Tsinghua са разработили софтуера, с който потребителят може да командва смартфона си без звук - само с движение на устните. Средната точност на разпознаване е 95.5%.

По време на работа приложението сканира лицето и проследява позицията на 20 контролни точки на устните. Определя и степента на отвореност на устата. Данните се предават на алгоритъм, който практически разпознава движението на устните като реч.

Засега приложението разпознава 44 команди, които може да даде потребителят. Примерно: отвори пощата, отвори камерата, отвори notepad, включи на wi-fi...