Инженеры Массачусетского технологического института разработали умный браслет, который в режиме реального времени точно отслеживает движения руки владельца.

В настоящее время существует несколько подходов к воспроизведению и имитации ловкости человеческой руки в роботах. В некоторых подходах используются камеры, которые фиксируют движения руки человека, когда он манипулирует предметами или выполняет какие-либо действия. В другом подходе человек надевает перчатку с датчиками, которая фиксирует движения руки и передает данные принимающему роботу. Однако создание сложной системы камер для различных целей нецелесообразно и сопряжено с трудностями. А перчатки с датчиками могут ограничивать естественные движения и ощущения человека.

Третий подход основан на использовании электрических сигналов от мышц запястья или предплечья, которые ученые затем сопоставляют с конкретными движениями руки. Исследователи добились значительных успехов в применении этого подхода, однако на эти сигналы легко влияют внешние шумы. Кроме того, они недостаточно чувствительны, чтобы различать едва заметные изменения в движениях. Например, они могут определить, соприкасаются ли большой и указательный пальцы или разведены в стороны, но не могут отследить промежуточные положения.

Разработанный учеными браслет делает ультразвуковые снимки мышц, сухожилий и связок запястья при движении руки и работает в паре с алгоритмом искусственного интеллекта, который непрерывно сопоставляет изображения с положением пяти пальцев и ладони.

Исследователи могут научить браслет распознавать движения рук владельца, чтобы устройство могло передавать эту информацию роботу или виртуальной среде.

В ходе демонстраций команда показала, что человек, на котором надет браслет, может дистанционно управлять роботизированной рукой. Когда человек жестикулирует или указывает на что-то, робот повторяет его движения. Это похоже на управление марионеткой на расстоянии: человек может заставить робота сыграть простую мелодию на пианино или забросить маленький баскетбольный мяч в настольное кольцо. С помощью того же браслета можно управлять объектами на экране компьютера, например сжать пальцы, чтобы увеличить или уменьшить виртуальный объект.

С помощью браслета исследователи собирают данные о движениях рук множества пользователей с разным размером ладоней, формой пальцев и жестами. Они планируют создать большой набор данных о движениях рук, которые можно будет использовать, например, для обучения человекоподобных роботов выполнению сложных задач, таких как проведение определенных хирургических операций. Ультразвуковой браслет также можно использовать для захвата, манипулирования и взаимодействия с объектами в видеоиграх, приложениях для проектирования и других виртуальных средах.