«Калибровщик» моделей жестов позволит создать аппараты «безмолвной речи»

Электромиография, объяснили специалисты, — это регистрация электрической активности мышц в момент сокращения. Ее проводят с помощью датчиков и электродов. К примеру, когда человек шевелит пальцами, мышцы предплечья генерируют сигнал, сенсоры улавливают его, а программа переводит их в команды для специальных устройств. Технологии такого рода позволяют оперировать протезами, дронами, виртуальной или дополненной реальностью.

«Преимущества метода в том, что регистрирующие датчики вплотную прилегают к телу. Поэтому, в отличие от камер, лидаров, систем отслеживания взгляда и т. п., ЭМГ-устройства успешно работают в темноте, не требуют прямой видимости, не страдают от перекрытий одеждой или другими предметами. Также они дают высокую разрешающую способность, что позволяет улавливать мельчайшие движения мышц», — объяснил один из создателей бенчмарка, студент 6-го курса МФТИ Кирилл Головань.

Сегодня, отметил он, в распознавании важную роль играют нейросетевые алгоритмы. Они превращают мышечную активность в понятные команды. Однако предложенный бенчмарк показал, что современные нейросети не могут без предварительной калибровки одинаково точно распознавать жесты разных людей. Причина этого ограничения кроется в биологии каждого человека.

В ходе эксперимента, рассказали исследователи, было протестировано больше десяти нейросетевых архитектур. Модели обучали на данных группы, а затем программы проверяли на незнакомом испытуемом. При этом ни одна из программ не показала приемлемого качества распознавания. Лучшие модели продемонстрировали точность около 35%. Также ученые не обнаружили статистически значимой разницы между нейросетевыми и классическими подходами. Работа опубликована в сборнике 2026 28th International Conference on Digital Signal Processing and its Applications (DSPA).

Главным «камнем преткновения» для моделей оказалась межсубъектная вариативность. Она выражается в том, что сигнал одного и того же жеста отличается от человека к человеку сильнее, чем модель их может обобщить. 

Например, согласно результатам научных исследований, при одинаковых задачах у женщин активность мышц предплечья в 1,3–2,8 раза выше, а из-за усталости точность распознавания снижается в среднем на 7%. Вместе с тем на спектр влияет и температура тела — остывание руки меняет сигнал на 2,8 Гц на каждый градус Цельсия.

«Исследование показало, что даже самые мощные нейросети бессильны перед индивидуальными различиями. Мышечный почерк каждого человека уникален настолько, что его теоретически можно использовать как пароль. Поэтому ни одна из протестированных моделей не смогла с первого раза его правильно распознать. Следовательно, на первый план выходят адаптивные алгоритмы», — поделился Кирилл Головань.

По его мнению, путь к универсальным ЭМГ-устройствам, наиболее востребованным в массовом сегменте, — в комбинации базовых моделей, которые уже многому обучены, и алгоритмов мини-калибровки, которые за несколько секунд усваивают основные жесты пользователя и дообучаются в дальнейшем. 

Сейчас, отметили разработчики, наиболее зрелые ЭМГ-технологии сосредоточены в сфере «умных» протезов и телеуправлении роботами, а главные коммерческие приложения — девайсы дополненной и виртуальной реальности и носимая электроника. В перспективе ЭМГ-приборы могут быть востребованы в медицине. Например, для восстановления пациентов после инсульта, диагностики нейромышечных заболеваний или контроля эффективности упражнений у спортсменов. 

Также интересные разработки ученые ведут в области создания устройств «безмолвной речи». Они смогут регистрировать активность артикуляционных мышц на лице и шее, преобразуя их в слова.