Электронные кольца и ИИ переводят знаковые слова в текст без проводов

Команда исследователей представила рабочую систему, в которой набор беспроводных электронных колец вместе с моделью глубокого обучения распознаёт знаковые слова и выводит их в текст — важный шаг к лёгким, практичным и полевым системам перевода жестового языка, как отметил один из авторов работы, Ки Джун Юн (Yonsei University). Система освобождает пользователя от проводов и камер: каждое кольцо содержит инерционные датчики и по радиоканалу передаёт показания на локальный процессор, где модель формирует текстовый вывод.

Инженерное решение основано на семи кольцах, поскольку исследователи выявили, что вклада семи пальцев достаточно для основного формирования знаков; это позволяет сократить аппаратную сложность, сохранив ключевые сигналы для классификации. В каждом кольце стоят акселерометры, а стек беспроводной связи и управления питанием реализованы на базе Bluetooth Low Energy SoC, который помещает коммуникационный стек, схемы питания и модуль сенсоров на гибкой подложке, компактной для ношения в виде кольца. При проектировании учли механические ограничения носимой электроники: вместо жёстких медных дорожек применили зигзагообразные (серпентинные) межсоединения, устойчивые к многократным изгибам. Команда сознательно отказалась от использования биоэлектрических сигналов мышц — авторы отмечают, что такие сигналы сильно индивидуальны и требуют длительной калибровки, что снижает практичность устройства для массового применения.

Модель глубокого обучения обучали на данных двух участников и затем тестировали на пяти людях, не входивших в обучающую выборку; в экспериментах система распознавала по 100 распространённых слов Американского жестового языка и 100 слов Международного знакового языка с точностью 88.3% и 88.5% соответственно. Авторы подчёркивают, что многие ранние решения работали со словарями менее чем из 50 знаков, поэтому их тест охватывает заметно более широкий набор лексики в рамках беспроводного подхода.

Разработчики также сравнили своё решение с камерами и «умными» перчатками: компьютерное зрение требует фиксированных условий и чувствительно к освещению, а перчатки порождают проблемы с теплом, влагой и несоответствием размеров рук. В то же время профессор Досик Хванг (Yonsei) предупреждает об ограничениях: суммарный вокабуляр в 200 слов — важный, но начальный этап, учитывая, что полный лексикон жестовых языков насчитывает тысячи знаков, и до надёжного перевода в открытых диалогах ещё далеко.