Российские учёные разработали программу, которая переводит язык жестов в звук
В Новосибирском государственном техническом университете (НГТУ НЭТИ) создали систему, которая умеет распознавать и объяснять русский жестовый язык. Профессор Михаил Гриф рассказал, что система может использовать камеру, например, смартфона, чтобы распознавать жесты в реальном времени. Это мобильное приложение сможет переводить человеческую речь на язык жестов и наоборот. Ожидается, что такой переводчик появится в конце 2024-го или в начале 2025 года.
Чтобы система работала с высокой точностью, она должна распознавать около 5 тыс. жестов, но на данный момент она обучена только 400 жестам. Профессор отметил, что в различных словарях есть около 8,5 тыс. жестов, и они оценивают, что всего может быть около 10 тыс. жестов. Однако разработчики работают над улучшением системы.
Одной из сложностей при переводе с голоса на жесты является двусмысленность некоторых слов и омонимы, что может создавать трудности в точном понимании контекста.
Источник: Ferra