Команда разработчиков из США и Китая создала технологию для смартфонов, которая позволяет взаимодействовать с виртуальным объектом в дополненной реальности напрямую с помощью рук, а не через сенсорный экран.

Свою разработку авторы представили на конференции UIST 2019. Напомним, дополненная реальность позволяет встраивать в реальный мир различные виртуальные предметы с помощью экрана и камеры смартфона. По такому принципу работает, например, игра Pokémon Go.

К сожалению, до сих пор пользователь не мог взаимодействовать с этими виртуальными объектами иначе как через экран устройства. Эту проблему и решили разработчики.

Они дополнили смартфон устройством Leap Motion, которое позволило “захватывать» движения рук. Этот датчик вообще-то предназначен для работы с компьютером, поэтому учёным пришлось дополнить устройство небольшой рабочей станцией в форм-факторе “флешки».

В итоге разработчики научили систему распознавать несколько жестов по данным с камеры глубины. Разработку проверили на двух задачах: манипуляции бытовыми объектами и строительстве небольшого дома.

Источник: Ferra