Городская волна
Настрой город для себя

Без коронавируса

Город Локтя

Город в лицах

Городская история

Сделано в Новосибирске

Полезный город

Городской треш

Сбросить
Новосибирские
новости
Настрой город для себя

Без коронавируса

Город Локтя

Город в лицах

Городская история

Сделано в Новосибирске

Полезный город

Городской треш

Сбросить
Городская волна
Все материалы
Подписывайтесь:

Новосибирец научил компьютер понимать жесты глухих

Он создал программу, не имеющую аналогов. Машина читает движения рук без специальных перчаток и браслетов.

Новосибирские новости
Новосибирские новости
12:28, 06 сентября 2019

Программист НГТУ НЭТИ Алексей Приходько обучил систему переводить жесты на звуковой язык и управлять компьютером без мыши. Он — единственный глухой айтишник в мире, разработавший прототип такой программы, сообщает пресс-служба вуза.

Отсутствие слуха не помешало Алексею окончить аспирантуру, пройти стажировку в Германии, получить грант фонда Владимира Потанина и стать экспертом в IT-сфере.

Система работает по аналогии с мозгом человека. При помощи камеры распознаёт жесты, переводит картинку в модели и обрабатывает, сопоставляя с данными в нейронной сети, после чего компьютер выводит на монитор перевод.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель. Каждым числам из неё присваивается система координат, и на экране мы видим, какой это жест», — рассказал Алексей Приходько.

Кроме того, программа способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и двигать курсор на экране без мыши.

По словам новосибирца, сегодня существует много компаний, которые рекламируют переводчики для глухих: Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие, однако качество работы их приложений оставляет желать лучшего.

1567742653.jpg
Фото: пресс-служба НГТУ

Проблема связана с главной особенностью жестового языка — его грамматикой. Перевод зависит не только от конфигурации рук, но и от их расположения и немануального компонента (выражение лица, движение губ и другие знаки артикуляции).

Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Первый — когда надеты специальные перчатки, приборы на запястья, браслеты и агрегаты.

Переводчик айтишника из НГТУ — безмаркерный и не потребует от пользователя затрат на дополнительное оборудование. Сейчас Алексей ищет инвесторов, которые захотят профинансировать разработку.

Не упускайте важное — подписывайтесь на наш канал в Telegram.

Прошлой осенью новосибирец Алексей Соколов получил миллионный грант за создание музейного гида для глухих.

Что происходит

Голос новосибирского метро Иван Проскурин зовёт горожан на субботник

«Если кто-то без маски, да ещё чихает, то я злюсь и становлюсь нервной»

Автобус №46 пустили в объезд кольца на Снегирях с 20 апреля

Грязная бомба Чернобыля. Интервью с ликвидатором Александром Юдаковым

На субботнике в пойме Каменки уберут мусор и развешают скворечники

Какие улицы избавили от ям в Новосибирске за минувшие сутки

Сводка по COVID-19 на 21 апреля: умерли четверо новосибирцев

Депутаты предложили чипировать всех собак и кошек в Новосибирске

«Чалдоны» и Росгвардия готовят совместный концерт в Новосибирске

Однажды в Новосибирске: печуга, мордушка и дубина для налима

Срок подачи деклараций по форме 3-НДФЛ истекает 30 апреля

Показать ещё