Впервые в мире парализованная женщина начала "говорить" через цифровой аватар

Тяжело парализованная женщина смогла говорить с помощью аватара, используя технологию, которая переводит сигналы ее мозга в речь и мимику, сообщает Zakon.kz.

Это достижение позволяет надеяться, что интерфейсы "мозг-компьютер" (BCI) могут изменить жизнь людей, потерявших способность говорить в результате таких заболеваний, как инсульт и боковой амиотрофический склероз, сообщает The Guardian.

До сих пор пациенты вынуждены были полагаться на удручающе медленные синтезаторы речи, которые произносили слова, следя за глазами или небольшими движениями лица, что делало естественный разговор сложным.

Новейшая технология использует крошечные электроды, имплантированные на поверхность мозга, для обнаружения электрической активности в той части мозга, которая управляет речью и движениями лица. Эти сигналы напрямую транслируются в речь и мимику цифрового аватара, включая улыбку, хмурый взгляд или удивление.

"Наша цель – восстановить полноценный, воплощенный способ общения, который является наиболее естественным для нас. Эти достижения значительно приближают нас к тому, чтобы сделать это реальным решением для пациентов".Профессор Калифорнийского университета в Сан-Франциско Эдвард Чанг 

47-летняя пациентка по имени Энн была серьезно парализована после перенесенного более 18 лет назад инсульта ствола мозга.

Она не может говорить и печатать и обычно общается с помощью технологии отслеживания движений, которая позволяет ей медленно выбирать буквы со скоростью до 14 слов в минуту. Она надеется, что технология аватара позволит ей в будущем работать консультантом.

Команда имплантировала на поверхность мозга Энн тонкий прямоугольник из 253 электродов в области, критически важной для речи. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, управляли мышцами языка, челюсти, гортани и лица.

После имплантации Энн совместно с командой обучила алгоритм искусственного интеллекта определять уникальные сигналы мозга для различных звуков речи путем многократного повторения различных фраз.

Компьютер выучил 39 характерных звуков, а для перевода сигналов в понятные предложения использовалась языковая модель в стиле Chat GPT. Затем она использовалась для управления аватаром, голос которого был подобен голосу Энн до травмы, на основе записи ее выступления на свадьбе.

Технология не была совершенной: в ходе испытаний, включавших более 500 фраз, она неправильно расшифровывала слова в 28% случаев, а скорость преобразования текста из мозга в текст составляла 78 слов в минуту по сравнению с 110-150 словами, обычно произносимыми при естественном общении.

Однако, по словам ученых, последние достижения в точности, скорости и сложности позволяют говорить о том, что технология уже практически полезна для пациентов.

Следующим важным шагом должно стать создание беспроводной версии BCI, которую можно было бы имплантировать под череп.