Глухой айтишник получил президентский грант на переводчик с языка жестов

Разговоры руками и мимикой: как научиться жестовому языку

Инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько получил 10 млн рублей на создание компьютерного переводчика со своего родного языка — языка жестов. Единственный глухой программист в мире, который работает над автоматическим переводчиком жестов на письменный язык, стал победителем конкурса грантов президента Российской Федерации. А в октябре прошлого года Алексей Приходько лично встречался с президентом Владимиром Путиным и рассказывал ему о своём проекте.

Евгений Ющенко

18:10, 26 февраля 2020

Как сообщает пресс-служба Новосибирского государственного технического университета, Алексей Приходько уже создал прототип системы, которая переводит на уровне азбуки глухих. На деньги президентского гранта программист из НЭТИ планирует обучить систему другим компонентам грамматики русского жестового языка. Тогда программа станет готовым продуктом для широкого использования среди глухих. Системой смогут пользоваться и иностранцы.

Алексей Приходько. Фото: nstu.ru

Эта система работает по аналогии с мозгом человека. При помощи камеры программа распознаёт картинку и фиксирует жесты, переводит изображение в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети. После этого компьютер выводит на монитор уже соответствующий жестам перевод. Кроме того, программа способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и двигать курсор на экране без мыши.

«Я — исполнитель, я же и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — цитирует Алексея Приходько пресс-служба НГТУ.

На первом этапе программу протестируют в Институте социальных технологий Новосибирского государственного технического университета НЭТИ. Реализовать проект нужно до 28 февраля 2022 года.