Ученые из Калифорнии создали мозговой имплантат и устройство, позволяющие людям с тетраплегией (параличом всего тела) общаться с окружающими при помощи искусственного интеллекта (ИИ). Система преобразует сигналы мозга в текст, читает его вслух и имитирует выражение лица на аватаре (изображение, представляющее определенного человека в виртуальной реальности). "Я жду момента, когда дочка сможет услышать мой голос", - говорит Энн, чей голос удалось синтезировать на основе видеофильма с ее свадьбы. Об этом пишет в воскресенье, 27 августа, сайт Ynet.
Это случилось совершенно внезапно. В 30 лет Энн полностью парализовало. Целых 5 лет она жила с опасением, что уснет и не проснется. После множества сеансов физиотерапии, длившихся несколько лет, она смогла немного двигать мимическими мышцами, что позволяло ей смеяться и плакать. С тех пор прошло 18 лет, но способность говорить не восстановилась.
"За одну ночь я лишилась всего", - написала Энн с помощью прибора, печатающего текст в компьютере по движениям глаз и слабым передвижениям мимических мышц.
Сейчас Энн участвует в исследовании Калифорнийского университета в Сан-Франциско (UCSF) и университета Беркли, цель которого - разработка новой технологии взаимодействия мозга и компьютера, которая позволит подобным людям общаться более естественным образом при помощи цифрового аватара, который синтезирует выражение лица и разговор. Используя имплантат в мозгу, система считывает мысли и желания, трансформирует сигналы мозга в текст со скоростью примерно 80 слов в минуту (это значительный прогресс по сравнению с установленным Энн аппаратом, скорость которого 14 слов в минуту), зачитывает его вслух и сопровождает соответствующим изменением выражения лица аватара.
Д-р Эдвард Чан, нейрохирург, работающий над технологией интерфейса мозга и компьютера уже более 10 лет, надеется, что система вскоре будет сертифицирована Федеральным агентством США по контролю за лекарствами и продуктами (FDA). "Наша цель - полное восстановление коммуникативных способностей, чтобы разговор получался как можно более естественным", - говорит он.
►Синдром запертого человека (тисмонет ха-неила)
В статье, которую опубликовали Робин Маркс и Лора Курцман на сайте UCSF, рассказывается, что в 2005 году Энн работала учительницей математики в средней школе в Канаде, состояла в браке, воспитывала приемного сына 8 лет и годовалую дочку. В 30-летнем возрасте у нее произошел инсульт и развился синдром запертого человека, который она описала в своей статье, набирая ее по буквам посредством малых движений мимических мышц.
"Синдром запертого человека (LIS) полностью соответствует своему названию, - написала она. - Человек находится в полном сознании, у него сохраняется чувствительность, все 5 чувств в порядке, но он заперт в своем теле из-за отказа мышц. Мне пришлось учиться самостоятельно дышать, сейчас у меня полностью восстановилась подвижность шеи, я могу смеяться и плакать, я также могу читать и произносить несколько слов".
Когда Энн немного пришла в себя, она поняла, что ее опыт может помочь другим, и сейчас она хочет стать консультантом реабилитационного учреждения. "Я хочу, чтобы больные там увидели меня и поняли, что жизнь не закончилась, - написала она. - Я хочу показать им, что инвалидность не может нас остановить".
Энн узнала об исследовании д-ра Чана в 2021 году, прочитав о парализованном человеке по имени Панчо, который помогал ученым преобразовывать мозговые сигналы в текст, пытаясь разговаривать. Он перенес инсульт ствола мозга много лет назад, и было непонятно, может ли его мозг подавать команды на движения, требующиеся для разговора. При использовании разработанной учеными системы Панчо надо было не только думать о чем-то, но и пытаться озвучить свои мысли так, чтобы мозг посылал в мышцы лица соответствующие команды. Панчо стал первым человеком, живущим с параличом, сигналы мозга которого удалось расшифровать и преобразовать в слова.
Планы работы с Энн были более амбициозными. Было решено преобразовывать сигналы ее мозга не только в речь, но и в мимику. Для этого ей имплантировали в мозг 253 электрода в области, играющей критическую роль в формировании речи. Электроды считывали сигналы мозга, которые передавались бы на мышцы губ, языка, челюстей и гортани, а также на мимическую мускулатуру, если бы Энн была здорова. От этих электродов шел кабель к внешнему компьютеру.
В течение нескольких недель ученые работали над обучением алгоритмов ИИ распознанию тех сигналов мозга, которые связаны с речью. Это требовало повторения одного из 1024 слов по многу раз, пока компьютер не начинал распознавать паттерны мозговой активности, характерные для основных звуков речи.
На следующем этапе Энн пришлось тяжело поработать: вместе с учеными она обучала ИИ распознавать сигналы мозга, соответствующие слогам, из которых затем складывались слова. Ученые не обучали ИИ распознавать слова целиком, он делал это, опираясь на более мелкие их элементы - фонемы (минимальные смыслоразличительные единицы языка). Таким способом ИИ смог усвоить 39 фонем, что позволяло распознавать любое английское слово. Благодаря этому точность работы системы улучшилась, а скорость работы увеличилась втрое.
Для синтеза голоса Энн, каким он был до болезни, исследователи использовали видеозапись со звуком ее свадьбы. "У меня возникают странные ощущения в мозгу, когда я слышу свой синтезированный голос, - написала Энн. - Ощущение, будто я слушаю свою подружку".
Сейчас она ждет момента, когда ее дочь, знакомая только с искусственным голосом матери с британским акцентом, который синтезирует используемое ею сейчас коммуникационное устройство, услышит новый мамин голос. "Когда я заболела, дочке был 1 год, так что она незнакома с подлинным звучанием моего голоса", - утверждает Энн.
Одновременно другая группа ученых работает над графическим образом Энн - ее аватаром, который позволит имитировать мимику. Исследователи обучают ИИ распознавать сигналы мозга и генерировать движения мышц лица, характерные для грусти, радости и удивления.
Кроме того, ведется работа над беспроводной версией системы, что позволит Энн не быть связанной с массивным устройством, что обеспечит большую автономию при социальных взаимодействиях. "Участие в исследовании дало мне ощущение цели, - утверждает она. - Я ощущаю, что выполняю общественно-полезную работу, как если бы трудилась на прежнем месте. Это исследование помогает мне ощущать себя живым человеком".
►Интеграция мозга с компьютером при повреждениях спинного мозга
Нейрохирург из израильской больницы "Шиба" д-р Лиор Унгер прокомментировал достижение американских ученых: "Компьютер пока что не научился читать мысли, но он может принимать сопровождающие их сигналы. Например, если я хочу улыбнуться, то после того, как подумал об этом, я посылаю соответствующие сигналы круговой мышце рта, формирующей улыбку. Эта мысль активирует участки мозга, отвечающие за работу этой мышцы, а компьютер их считывает и сможет интерпретировать, поскольку нам известно, где именно в мозгу находятся эти участки".
Смогут ли в будущем парализованные люди задействовать свои конечности и отказаться от инвалидного кресла? Ожидается, что это будет нескоро, но сама идея не утопична. "Мы уже можем активировать мышцы электрическим током, - говорит д-р Унгер. - Если мы будем знать, какие мышцы следует задействовать через интерфейс между мозгом и компьютером, то можно будет преодолеть последствия повреждения спинного мозга. Компьютер поймет, какие мышцы больной хочет задействовать, и пошлет в них электрические импульсы, которые в норме посылает спинной мозг.
Даже если кажется, что интерфейс между мозгом и компьютером проходит по разряду научной фантастики, то на самом деле подобные технологии применяются в клинической практике уже несколько лет. Введенные в мозг электроды уже сейчас способны считывать сигналы и стимулировать мозг, что помогает в лечении хронических болевых синдромов и паркинсонизма. Рост детализации при составлении карты электрической активности мозга, достигнутый в последнее время, в будущем позволит создать еще более подробную карту мозга и еще более точно воспроизводить его деятельность".
Перевод: Даниэль Штайсслингер