Как управлять компьютером силой мысли
Несколько лет назад на фестивале Geek Picnic появился популярный научный аттракцион. Любой желающий мог попробовать себя в роли профессора Ксавье из "Людей Икс", отдавая телепатические команды. Прямо на лужайке добровольцы примеряли резиновые шапочки с электродами, пристально смотрели на подключенную к компьютеру механическую руку — и один из пальцев сгибался. Причем именно тот, который выбрал сам человек.
Весь процесс выглядел завораживающе. Непонятно было только, какое практическое применение может быть у этой технологии. Ведь на выполнение всего одной команды уходило около минуты. Управлять, допустим, боевым роботом или хотя бы погрузчиком при таком темпе нет никакого смысла.
Но разработчики российской системы "Нейрочат" на основе той же технологии создали именно практическое решение. Более того — коммерческий продукт.
Дождаться зеленого света
Надо признаться, в шлеме "Нейрочата" я выгляжу гораздо более похожим на таинственного супергероя-технократа. Это уже не резиновая шапочка, а гибкая черная гарнитура, в которую вживлены десять электродов. Никаких внешних проводов — сигналы передаются через Wi-Fi-модуль прямо в ноутбук.
"Если это будет что-то тяжелое или сложное, неудобное, это не войдет в жизнь людей, — объясняет директор по коммуникациям компании Алеся Чичинкина, пока меня готовят к опыту. — Это десятая версия, мы долго дорабатывали эту шапку. То, что на вас, — гарнитура с твердогелевыми электродами. С обычной гарнитурой голова мажется гелем, ее потом приходится мыть. А здесь их нужно только немного смочить водой".
Вода нужна, чтобы увеличить электропроводность. Электроды соприкасаются с поверхностью головы, но должны фиксировать биоэлектрическую активность коры головного мозга. Я смотрю на монитор ноутбука — там высвечивается овал головы с кружочками разных цветов с цифрами. Большинство кружков красные — но постепенно цвет меняется на желтый и зеленый.
"Цифры — это значение сопротивления, — комментирует Алеся. — Зеленый — это знак того, что сопротивление минимально и можно работать. Все это интуитивно понятно, чтобы разобраться мог любой человек. Нашей системой пользуются обычные люди, в том числе пожилые, которые и с компьютером-то мало работают".
Спохватившись, я уточняю: а всем ли подходит система? Может, есть противопоказания? "Эпилепсия, — отвечает инструктор патронажной службы Наталья Кучеева, которая готовит меня к опыту. — Происходят мерцания на экране, и при некоторых видах эпилепсии эти мерцания могут вызвать припадок". Эпилепсии у меня нет, так что мы можем приступать.
Экзамен на сосредоточенность
Первый, обязательный этап — калибровка, чтобы настроить программу на мои мозговые волны. "По сути, у вас на голове электроэнцефалограф, который считывает биоэлектрическую активность мозга, — рассказывает Алеся. — Мозг работает постоянно, и мы постоянно пишем вашу ЭЭГ. Но работаем мы с одной конкретной волной — P300. Амплитуда колебаний этой волны меняется, когда вы сконцентрированы на объекте, который себя ведет определенным образом".
В случае с "Нейрочатом" это моргающие, вспышечные движения на экране. Они вызывают определенную реакцию в головном мозге. Мозговая активность у всех разная, и во время калибровки система учится понимать — что есть моя реакция. На экране появляется клавиатура, и одна из букв заключается в красную рамку. За ней мне и предстоит следить.
Чтобы научить систему понимать мои команды, я должен мысленно реагировать в тот момент, когда буква в рамке вспыхивает, — например, говорить про себя какое-нибудь слово. И обязательно одно и то же. "Это может быть и звук, и движение, — добавляет Алеся. — Помогает эмоциональный отклик: обрадуйтесь, удивитесь". Концентрация должна быть максимальной — отвлекаться нельзя.
3. 2… 1… Начали! Черт, как же быстро они мигают! Иногда это происходит два раза подряд, причем в каждом случае вместе с моей буквой загорается еще ряд соседних. "Система думает: я подсветила эти пять букв, он на что-то среагировал, — говорит Алеся. — Окей, теперь я подсвечу по-другому, и две из предыдущей пятерки будут подсвечены, а три не будут. Опять была реакция. Значит, одна из этих двух. И вот так, подбором ваших реакций, она понимает: было три разных комбинации, и во всех присутствовала только буква А. Значит, он выбрал букву А".
Прошло пять минут, и система перебрала уже половину алфавита. Я чувствую, что стал ошибаться чаще. А иногда даже интуитивно пытаюсь предугадать вспышку и промахиваюсь. Похоже на экзамен или тест для пилотов или космонавтов. А если я его не пройду? Но вот на экране появляется результат: 95/55. По словам Алеси, это очень хороший результат. Теперь я готов управлять компьютером сам.
Все проще, чем кажется
Экран моргает постоянно, и к этому придется привыкнуть. Подсветка гуляет по всем кнопкам меню — чтобы перейти из одного раздела в другой или выбрать команду, нужно сконцентрироваться на кнопке в течение примерно минуты. Есть меню для быстрого информирования членов семьи или соцработника: "Хочу пить", "Хочу спать", "Мне холодно" и т.д. А свой текст можно сохранять в блокнот, отправлять через СМС и соцсети.
С навигацией через меню у меня пока туго: компьютер не распознал команду и зашел не в тот раздел. Вернуться мне помогает Наталья — уже руками. Теперь я хочу попробовать набрать текст. На слово "ТАСС" у меня ушло около пяти минут, зато я ни разу не ошибся. В систему встроен режим T9: если начать набирать "лим" — она предложит подсказки, например, "лимон". Скорость моргания экрана можно регулировать, а рекорд времени на одну букву сейчас — 15,5 секунды.
Можно менять и режим набора. Есть вариант, где буквы расположены на секторах круга, как на кусках пирога, — по три буквы на каждом. Сектора не только мигают, но и слегка "выпрыгивают": так их проще заметить. По словам Алеси, этот режим был введен специально для девочки, которая пережила инсульт после удаления аневризмы. У нее стало двоиться в глазах, и различить символы на обычной клавиатуре ей трудно.
Доработка программы, как и оборудования, происходит постоянно — в ответ на обратную связь от самих пользователей. Самым популярным, кстати, оказался сервис заметок, а не чат для общения. Многие записывают мысли, впечатления и заметки, ведут дневник. А один мужчина с тяжелой формой ДЦП (детского церебрального паралича) учится языку, перепечатывая сказки Пушкина. Всего в системе доступны функции отправки текста по СМС, Viber, внутренняя сеть для общения с пользователями системы, две игры и переводчик. А в будущем авторы планируют добавить управление "умным" домом.
Спасение для "запертых в теле"
Кому же может понадобиться такая система? Мне сразу пришел на ум Стивен Хокинг — астрофизик, страдавший от неизлечимой болезни — бокового амиотрофического склероза. Эта болезнь возникает внезапно и убивает двигательные нейроны. Человек за несколько лет лишается способности ходить, а затем говорить и даже дышать. Под конец жизни у Хокинга работала только мышца щеки, но с ее помощью (точнее, с помощью компьютера) он общался, набирал текст лекций и книг.
Чаще всего люди в таком состоянии (и с другими болезнями, которые вызывают полный паралич) используют айтрекеры — устройства для захвата движений зрачка. Но у них есть и недостатки, объясняет Алеся. Голова должна находиться в фиксированном положении, и постоянно (особенно в старых и более дешевых версиях) нужна калибровка. Все это не так просто организовать, особенно если человек плохо контролирует свои движения.
У "Нейрочата", по словам Алеси, есть несколько преимуществ — как перед альтернативными технологиями типа айтрекинга, так и перед похожими разработками. Во-первых, он считывает волны мозга даже в том случае, если человек не фокусирует взгляд на букве, но видит ее моргание. Во-вторых, он не требует специально обученного персонала. "Это первый продукт потребительского класса такого рода", — подчеркивает директор по коммуникациям.
Любопытно, что даже дизайн сделан достаточно привлекательно — чтобы был больше похож на гаджет, а не на медицинский прибор (впрочем, у производителей пока и нет соответствующей сертификации). А в одном из вариантов упаковки даже хотели сделать аллюзию на дизайн Apple (белая коробка с серебряным сечением).
Одним — помощь, другим — тренировка
"На самом деле тех, кто совершенно не может общаться, среди наших пользователей меньшинство, — уточняет Алеся. — Таких просто статистически меньше. А вот большинство используют ее, чтобы улучшить свое состояние. Среди тех же людей с ДЦП есть и те, кто контролирует руки и ноги, но хочет добиться лучшего владения моторикой".
Она приводит историю одного из пользователей — Кирилла. У него было нетипичное развитие рассеянного склероза, при котором также отказывают мышцы. Обычно эта болезнь идет по восходящей, но у него все было похоже на приступ. Врачи даже подозревали инсульт. Кирилл был инженером, строил ТЭС, занимался горнолыжным спортом и парапланеризмом. И вот в одночасье разучился даже говорить.
Многие его способности потом восстановили с помощью медикаментов. Сейчас он пользуется инвалидным креслом, но может вставать, двигать руками, говорит. А системой пользуется для тренировки. Например, садится и пишет текст в тетради. Сначала буквы выходят очень неровными, еле читаемыми — но после занятий на "Нейрочате", по словам Алеси, почерк заметно улучшается. Она показывает две разные фотографии "до и после". На второй почерк и правда немного лучше.
"Еще мы запустили направление "Нейрочат для здоровых людей" — с "Московским долголетием" уже год где-то действует совместная программа по нейротренингу, — говорит Алеся. — Больше 500 человек через нее прошло. Это нейротренинг, профилактика деменции. Есть запросы от родителей, и мы под них сделали игры для детей с неусидчивостью. Например, "Меморис", когда нужно запомнить пару одинаковых картинок и открыть их подряд вслепую силой мысли".
Здесь я удивляюсь. Зачем здесь нужна именно работа мозгом? Почему здоровым детям просто не поиграть в игры на развитие памяти? "В обычной ситуации вы задействуете рутинные процессы, — возражает Алеся. — Это не какая-то экстранагрузка. А тут вы должны полностью жить в моменте, в этом процессе. Ни на что другое не отвлекаться. В обыденной жизни такое не происходит. Это как просто бежать — и пробежать стометровку на скорость".
В результате, по словам Алеси, тренируется и концентрация, и память, и обработка информации. "Особенность наших когнитивных процессов такова, что они все взаимосвязаны, — продолжает она. — Здесь можно провести аналогию с мышцами: вы тренируете бицепс, поднимаете гантелю, но у вас и дельтовидная мышца задействована, и трицепс. Так и здесь".
Завоевать рынок, которого нет
Главный вызов разработки, по словам Алеси, не технологический. Самой технологии нейрокомпьютерных интерфейсов уже около 30 лет. Тем более что в качестве научного руководителя проекта выступает ведущий российский специалист в этом направлении — доктор биологических наук Александр Каплан. Вопрос в другом: как привлечь инвестиции и найти (а фактически создать) рынок сбыта.
На начальном этапе "Нейрочат" получил финансирование в рамках Национальной технологической инициативы. Сейчас цена комплекта 120 тыс. рублей, что по карману не каждому. Если разработка получит статус технического средства реабилитации, пациенты с серьезными нарушениями смогут получить за него компенсацию из бюджета. Над этим сейчас идет работа. "Нейрочатом" также интересуются и за рубежом — хотя из-за пандемии эти контакты поставлены на паузу.
Еще один вариант — заключать контракты на поставку комплектов в больницы и реабилитационные центры. На сайте проекта указаны несколько учреждений, которые пользуются "Нейрочатом", — среди них МОНИКИ, Центр цереброваскулярной патологии и инсульта РНИМУ им. Пирогова, больница Управления делами Президента РФ, НИИ неотложной детской хирургии и травматологии, госпиталь для ветеранов войн. Общий же список включает около 60 учреждений.
По словам Алеси, часть больниц опасается заключать контракт на поставку, так как устройство не имеет статуса медицинского изделия. Но на это нужны дополнительные деньги, нужно проводить исследования. В базе научных статей Web of Science пока доступна одна публикация о применении "Нейрочата" для пациентов с постинсультной афазией (нарушением речи). Как заявляют авторы, после десяти сессий участники продемонстрировали улучшение показателей в тестах на внимание, а также слухоречевую память.
Разработку уже заметили и оценили на многих престижных конкурсах и фестивалях. Например, в 2017 году "Нейрочат" был признан Роспатентом одним из 100 лучших изобретений России, а в сентябре выиграл конкурс мэра Москвы "Новатор Москвы" в категории "Меняющие реальность". А на международной выставке CES Asia 2018 "Нейрочат" стал победителем премии Innovation Awards в категории "Здравоохранение".
Впрочем, из всех наград и знаков признания сама Алеся отдает предпочтение более неформальному. Это именной кулон, подаренный девочкой Жасмин, страдающей от тяжелой формы ДЦП. Когда-то специалист "Нейрочата" специально летал в Канаду по приглашению ее родственников, и Жасмин сама его подарила в благодарность. Сейчас кулон хранится в офисе компании в Москве.
Нейроинтерфейс делает возможным то, что еще недавно считалось фантастикой – обмен информацией между мозгом и внешним устройством, то есть управление объектами силой мысли. В России есть несколько организаций, которые плотно занимаются изучением данной технологии. Уже в этом году нейроинтерфейс планирует выпустить в продажу концерн «Автоматика» Госкорпорации Ростех.
О том, как управлять реальностью силой мысли, об истории данной технологии и современных разработках – в нашем материале.
Нейроинтерфейс: посредник между мозгом и компьютером
Нейроинтерфейс (или интерфейс «мозг – компьютер») – так называется устройство для обмена информацией между мозгом и внешним устройством. В качестве объекта управления может выступать не только компьютер, но и любое другое электронное устройство: квадрокоптер, система «умного дома», промышленный робот или боевой дрон, экзоскелет и даже искусственные органы чувств.
Медицина на данный момент является основной областью применения нейроинтерфейсов. Здесь интерфейс «мозг – компьютер» открывает новые возможности в области протезирования и реабилитации инвалидов с различными моторными нарушениями. Например, после инсульта многие пациенты не могут говорить. В этой ситуации нейроинтерфейс выступает умным посредником между мозгом и внешней реальностью, единственным средством общения.
Парализованные пациенты с помощью такого устройства могут управлять протезом и инвалидной коляской или даже механическим экзоскелетом. Пожалуй, самое лучшее наглядное доказательство фантастических возможностей этой технологии произошло в 2014 году. Тогда Чемпионат мира по футболу в Бразилии открыл ударом по мячу Джулиано Пинто – человек с параличом нижних конечностей. Сделал он это с помощью экзоскелета, управляемого силой мысли.
Нейроинтерфейсы уверенно входят в повседневную жизнь и расширяют области использования. Сегодня к технологии «мозг – компьютер» начинает проявлять интерес не только медицина, но и развлекательная отрасль с ее компьютерными «игрушками», промышленное производство, устройства «умного дома», роботехника.
Согласно исследованию Allied Market Research, рынок интерфейсов «мозг – компьютер» растет опережающими темпами и уже в 2020 году составит порядка 1,46 млрд долларов.
История отношений «мозг – компьютер»
Можно сказать, что история интерфейса «мозг – компьютер» насчитывает более ста лет. Еще в 1875 году, задолго до изобретения самого компьютера, английский физиолог и хирург Ричард Кэтон обнаружил электрические сигналы на поверхности мозга животного. В 50-е годы прошлого века появился первый нейроинтерфейс. Им принято считать Stimoceiver – электродное устройство, которое управлялось по беспроводной сети с помощью FM-радио. Оно было изобретено испанским и американским ученым Хосе Дельгадо и испытано в мозге быка. Демонстрация возможностей нового устройства была очень эффектной – на арене для корриды. Дельгадо вышел против быка, а когда тот побежал на него, нажал кнопку на пульте управления – впервые удалось изменить направление движения животного с помощью нейроинтерфейса.
В 1998 году был внедрен первый нейроинтерфейс в мозг человека. Пациентом стал американский художник и музыкант Джонни Рей. Думая или представляя движения рук, Рей управлял курсором на экране компьютера.
Но настоящий прорыв случился несколько лет назад, когда появились достаточно мощные компьютеры и новые алгоритмы. Если раньше можно было расшифровывать только самые простые намерения, например, хочет человек пошевелить правой рукой или левой, то современный нейроинтерфейс может управлять даже отдельными пальцами протеза руки. Для этого нужно внедрить на участке мозга, отвечающем за движение рук, более 100 электродов.
Как это работает: не телепатия и не телекинез
Конечно, новые технологии предоставили новые невероятные возможности в этой сфере, но принципиальная идея нейроинтерфейса такая же, как и полвека назад. В интерфейсе «мозг – компьютер» нет ничего мистического: технология позволяет регистрировать электрическую активность мозга и преобразовывать ее в команды для внешних устройств.
«Это не телепатия и не телекинез: в нейроинтерфейсах мысленные команды человека расшифровываются по записи электрической активности его мозга, или электроэнцефалограммы. Той самой, которую записывают в каждой поликлинике», – объясняет психофизиолог Александр Каплан, завлабораторией нейрофизиологии и нейроинтерфейсов биологического факультета МГУ.
Считывание сигналов мозга производится с помощью инвазивных (вживляемых в мозг пациента) датчиков или неинвазивных датчиков, которые регистрируют ЭЭГ с поверхности головы.
Итак, для инвазивного нейроинтерфейса требуется операция: электроды вживляются прямо в кору мозга. Выглядят они как маленькая пластинка, примерно пять на пять миллиметров, которая покрыта сотнями иголочек-электродов. Они регистрируют электрическую активность отдельных нервных клеток в том месте, куда внедрены. Такие датчики отличаются более сильным сигналом, однако инвазийное вмешательство сопряжено с последствиями для здоровья человека. Даже отличные характеристики датчиков нового поколения могут вызвать ряд проблем: риск воспалений, необходимость повторной имплантации из-за отмирания нейронов и даже такие необъяснимые последствия, как эпилепсия. Поэтому такие интерфейсы используют в крайних случаях, для тяжелобольных пациентов, которым не могут помочь другие методы.
Неинвазивный нейроинтерфейс не предполагает вторжения в организм – электроды прикрепляют к коже головы. Несмотря на то что мозг располагается глубоко в черепе, электрические поля, создаваемые нервными клетками, улавливаются электродами на поверхности головы. Этот метод уже давно применяется при снятии электроэнцефалографии. С использованием нейрогарнитуры возможно построить интерфейс «мозг – компьютер», обеспечивающий точность распознавания команд пользователя до 95%.
В свою очередь, неинвазивные нейроинтерфейсы могут быть на «мокрых» и «сухих» электродах. В первом случае электроды с подушечками нужно смачивать и лишь затем прикреплять к голове. Как известно, жидкость служит проводником электричества и облегчает снятие данных. Однако у такого метода есть недостатки, и это не только мокрые волосы.
Нейроинтерфейсы на сухих электродах выглядят в виде шлема, который можно легко надеть без какой-либо дополнительной помощи и подготовки. Специальные электроды не требуют использования электропроводящего геля, при этом высокое качество регистрируемого сигнала обеспечивает система активного подавления помех. К примеру, подобный нейроинтерфейс разработал концерн «Автоматика» Госкорпорации Ростех.
BrainReader российского производства
Предсерийный образец шлема-нейроинтерфейса в прошлом году был представлен на выставке БИОТЕХМЕД. Над созданием технологии работал Институт электронных управляющих машин (ИНЭУМ) им. И.С. Брука, входящий в состав концерна «Автоматика».
В разработке реализован механизм адаптивной цифровой обработки электрической активности мозга и неинвазивный метод снятия данных на основе сухих электродов.
Одно из главных преимуществ – удобство применения. Интерфейс встроен в специальный шлем, который можно легко снять и надеть любой человек без дополнительной помощи. Сухие электроды не нужно смачивать электропроводящим гелем.
Точность обработки сигнала при этом не падает даже в местах большого скопления людей, в транспорте, в окружении большого числа передающих устройств. Специально для этого была создана программно-аппаратная платформа, обрабатывающая сигналы и «очищающая» их от помех. Электроды нейроинтерфейса – это, фактически, антенна, которая ловит весь эфир. При этом сигналы, идущие от мозга, слабее естественного шума. Специальный алгоритм обработки этих сигналов является одной из ключевых особенностей отечественной разработки.
Ожидается, что шлем-нейроинтерфейс выпустят в продажу уже в 2019 году. При этом «Автоматика» планирует вывести новинку и на международный рынок, под названием BrainReader. Как считают эксперты, устройство имеет хороший экспортный потенциал. Ближайший по характеристикам конкурент – американская нейрогарнитура – стоит примерно в три раза дороже.
Концерн «Автоматика» уже приступил к получению разрешительной документации для выхода на рынки стран Азии. Предложения от азиатских компаний, в частности из Индонезии и Малайзии, о дистрибуции BrainReader поступили по результатам участия в выставке Medlab AsiaPacific & Asia Health 2019, где возможности российского устройства вызвали большой интерес.
8 октября в Цюрихе состоится "Кибатлон" — первые в мире соревнования ассистивных технологий. Мероприятие можно назвать технологической Паралимпиадой: участие в нём принимают "роботизированные" спорстмены с бионическими протезами, в экзоскелетах и с нейрогарнитурами на голове. Лайф узнал у Владимира Конышева, главы компании "Нейроботикс", для чего нужно соединять компьютер с мозгом и когда нейроинтерфейсы станут массовыми.
Владимир Конышев участвует со своей командой "Нейроботикс" в предстоящих соревнованиях в Швейцарии. Его компания разрабатывает малоканальную нейрогарнитуру – устройство, позволяющее считывать сигналы с коры головного мозга и передавать их компьютеру. Проще говоря, управление компьютером происходит силой мысли . Такие разработки называют интерфейсами "мозг — компьютер".
— Владимир, расскажите, пожалуйста, подробнее о вашем проекте и на какой стадии сейчас находится прототип нейрошлема?
Нейрогарнитура состоит из неопреновой шапочки-шлема, в которую встроены электроды. На задней стороне шапочки находится биоусилитель, передающий данные по Bluetooth вычислительному устройству, которым является компьютер. Сейчас основная сложность состоит в том, что для такой гарнитуры мы используем электроды, под которые добавляется электропроводящий гель. То есть кто-то должен нанести гель больному, требуется помощник. Наш следующий шаг — это разработка нейрогарнитуры на сухих электродах в 2017 году. После появления такого устройства интерфейс "мозг — компьютер" может использоваться большим числом людей без какой-либо помощи со стороны. Т аким образом, новые образцы будут более удобными для использования и намного более эстетичными.
Перед нами стояла задача разработать нейрогарнитуру, которую можно было бы использовать не только в лаборатории, но и в повседневной жизни. Эта цель была поставлена нами в рамках проекта для Фонда перспективных исследований. Мы работали над тем, чтобы нейрогарнитура была беспроводной, с небольшим количеством каналов, чтобы человек мог одновременно перемещаться и управлять робототехническим устройством, будь то квадрокоптер или колёсный робот.
— А как будет решаться задача с помощниками? Ведь эти гарнитуры пока очень сложны и человеку требуется помощь третьей стороны, чтобы пользоваться такими устройствами.
Программа требует на начальном этапе консультации специалистов. Человеку нужно пройти специальное обучение, для чего создана программа. С её помощью человек учится управлять своими состояниями, которые и позволяют давать мысленные команды. Их достаточно легко вызвать, поэтому они называются макросостояниями. На обучение требуется около 30–60 минут, за это время большинство людей может освоить три базовые команды. Чтобы управлять умным домом и играть в компьютерные игры, этого вполне достаточно. Но, например, для управления квадрокоптером нужно освоить четыре команды, что уже даётся сложнее.
— Какие сценарии для нейроинтерфейсов могут быть, кроме использования их людьми с ограниченными возможностями?
Во-первых, для здоровых такая гарнитура даёт возможность без джойстиков и клавиатур играть в компьютерные игры. Для людей же с нарушением моторных функций сфера применения значительно больше. Например, полностью парализованные люди могут управлять инфраструктурой умного дома. В одном из роликов мы продемонстрировали, как человек мысленно разгибает экзоскелет кисти, то есть фактически двигает рукой, как здоровый человек.
Также он может дистанционно управлять бытовыми приборами: включать телевизор или кондиционер. Тут схема простая: мысленно включается розетка, к которой подключён бытовой прибор. Это не фантастика, а уже реальность.
Существуют и другие сценарии использования нейроинтерфейсов. Например, человек может общаться с родственниками: мысленно печатать текст, который будет отправляться нужному адресату. Другой пример: полностью парализованный человек сможет управлять коляской на электроприводе при помощи нейрогарнитуры. В идеале разные методы управления будут дополнять друг друга. Следующее добавление — система трекинга глаз. Таким образом мы получим гибридный нейроинтерфейс: цель мы выбираем глазами, а с помощью сигналов мозга говорим, что нужно сделать с этим объектом. Представьте, что человек парализован и передвигается на коляске. Так как он может двигать глазами, он взглядом выбирает дверь, а мысленно даёт коляске команду : "Хочу, чтобы коляска подъехала к этой двери". То есть он больше не должен детально продумывать действия коляски и приказывать ей: "Поверни направо, а затем налево". Конечно, коляска при этом должна обладать возможностями интеллектуального управления и уметь сама объезжать препятствия.
Можно представить и то, как подобная технология используется вне дома. Например, человек управляет квадрокоптером и хочет снять панорамный вид в определённой точке. Человек просто взглядом указывает коптеру нужную траекторию, не используя джойстиков или других систем контроля, — такое сценарное управление в скором времени станет возможным.
— Были ли у вас уже покупатели?
Да, одна из наших коммерческих ниш — уроки нейропилотирования в школе. С помощью нейрошлемов дети управляют роботами. Причём одним и тем же устройством могут управлять два человека, что учит построению команды. Можно сказать, что это новое направление в образовании и бизнесе. Ведь нейрошлем сам по себе неинтересен, он нужен для управления объектами. Для школьников это будто телекинез, в этом есть нечто новое и необычное. Такие уроки развивают интерес школьников к робототехнике и нейроуправлению, а также повышают интерес к точным наукам — физике, кибернетике, нейрофизиологии. Подобная мотивация может повлиять на их выбор профессии и привести в нашу сферу новых молодых специалистов.
— И сколько у вас таких заказчиков среди школ?
Мы начали поставлять комплекты для нейропилотирования в школы с ноября прошлого года. Их немного, пока около 10: Москва, Тюмень, Ханты-Мансийск, Набережные Челны. В основном это бюджетные учреждения, где есть занятия по робототехнике.
— А как вы оцениваете поддержку государством таких проектов?
Есть Национальная технологическая инициатива, в рамках неё появилось направление "Нейронет", связанное с нейротехнологиями. Государство на верхнем уровне всячески поддерживает внедрение таких технологий в разные области. Но есть тут свои сложности. Мы много времени тратим на заполнение бумажек, которые замедляют запуск проектов. От нас требуют полной документации, подробных описаний, но мы ведь не знаем, сколько нужно будет закупить таких-то винтиков в апреле 2018 года? Ответить на эти вопросы в высокотехнологичных проектах очень сложно, если не невозможно. В "Нейронете" несколько проектов, и прошли только два. Хотелось бы, чтобы процесс шёл быстрее. За рубежом уже давно поняли, что, если хочешь делать инновации, нужно пропускать их по упрощённой схеме, а не по схеме бюджетирования строительства дороги — сколько нужно цемента, песка и проч. В инновациях такая схема не работает, и каждый потерянный день — это немалые деньги. Ещё немного времени — и эти продукты мы будем получать из-за рубежа, из того же Китая.
Несмотря ни на что, я верю, что высказанный высшим руководством интерес реализуется. Но хотелось бы, чтобы некоторые процедуры были упрощены и проходили быстрее.
— И почему такие проблемы, на ваш взгляд, возникают?
Конечно, работоспособную структуру сложно создать. У всех на слуху "Сколково", как они долго разрабатывали подходы. Есть другие фонды, такие как фонд Бортникова, который уже давно успешно реализует проекты. А тут создана новая структура. Надо понимать, что схема работы ещё в процессе совершенствования, надо её структурировать, найти правильных людей.
— Как вы оцениваете рынок нейротехнологий в России и за рубежом?
Конкуренция серьёзная, причём и здесь, и за рубежом. У нас в России много лабораторий, хороших исследовательских центров, среди самых известных учёных — профессора Александр Яковлевич Каплан и Александр Алексеевич Фролов. В целом у нас есть хороший потенциал и задел на будущее, мы можем в направлении нейротехнологий серьёзно выстрелить. Сейчас важность нейротехнологий стала очевидна обществу.
За рубежом, конечно, нейротехнологиями намного больше занимаются. Но нельзя сказать, что мы отстали. В целом наша техника в этой области находится на мировом уровне, а в некоторых направлениях мы даже опередили иностранных коллег. "Кибатлон" как раз позволит нам сравнить наши нейроинтерфейсы с разработками других стран. Наш очевидный плюс — простота системы. Ведь чем технология проще, тем она надёжнее. В нашей нейрогарнитуре всего 8 каналов. А у других участников "Кибатлона" — 32 или даже 128 каналов. Но, несмотря на меньшее количество каналов, мы всё равно можем выступить на достойном уровне.
Мы, учёные и бизнес, не чувствуем, что отстаём. И если мы сейчас грамотно используем шанс и совместим свои технологии с вертикализаторами, экзоскелетами и прочим ассистивным оборудованием, то поможем большому количеству людей жить полноценной жизнью. Ведь российские изделия на порядок дешевле, они доступнее. Поэтому у нас и хороший экспортный потенциал.
— А сколько стоит ваша нейрогарнитура сейчас?
80 тысяч рублей. Да, пока это дорого. Но сейчас как раз работаем над тем, чтобы гарнитура обходилась в 25 тысяч рублей, что уже делает её более доступной для массового пользователя.
— Как вы считаете, смогут ли нейротехнологии в будущем также помогать в восстановлении каких-либо мозговых функций?
Да, безусловно, мы работаем над тем, чтобы это стало возможным. Учёные готовы, большие институты готовы, следующий шаг за государством. В нашем проекте нейроинтерфейс — всего лишь одна из семи технологий. Уже было научно доказано, что комбинация нейроинтерфейсов с электрическим стимулятором мозга эффективно помогает больным с инсультом, нейротравмами, а также детям с аутизмом, с синдромом дефицита внимания и аффективными расстройствами (агрессия и прочее). Такие возможности мы также описали в рамках проекта "Нейронета" и эти технологии надо внедрять в массы.
— А когда рынок нейроинтерфейсов сможет стать действительно массовым?
За пять лет достичь этого уровня вполне реально. Два года нужно на саму разработку технологий и пару лет — на их апробирование, клинические испытания и регистрацию как медицинских изделий.
Нейротехнологии могут действительно помочь многим людям с ограниченными возможностями, а это 13 миллионов человек в России. Это большой рынок. И для нас также доступен массовый рынок в сфере игр и обучения. Как только мы выйдем на расшифровку микросостояний, возможно будет настроить более тонкое управление. И тут произойдёт взрывной рост.
Также мы работаем над тем, чтобы предоставить сторонним разработчикам возможность создавать для нейрогарнитуры свои программы, игры и так далее. Это простимулирует рынок программ на основе нейроинтерфейсов. За рубежом есть уже подобный успешный кейс. Компания NeuroSky выпускает одноканальную систему "мозг — компьютер", фиксирующую биоритмы. И они предоставляют её для разработчиков и партнёров, которые создали множество приложений на её основе — как развлекательных, так и образовательных. Такие программы стоят от 2 до 5 евро, а сама гарнитура — 15–16 тысяч рублей. Они построили на этом большую индустрию: компания продала за пять лет более миллиона подобных устройств.
ТАСС выпустил прекрасный материал о НейроЧат. Редактор ТАСС Антон Солдатов протестировал устройство на себе и рассказал о своих впечатлениях, а мы решили поделиться полной версии статьи с вами. Обязательно дочитайте, в конце самое ценное.
Несколько лет назад на фестивале Geek Picnic появился популярный научный аттракцион. Любой желающий мог попробовать себя в роли профессора Ксавье из "Людей Икс", отдавая телепатические команды. Прямо на лужайке добровольцы примеряли резиновые шапочки с электродами, пристально смотрели на подключенную к компьютеру механическую руку — и один из пальцев сгибался. Причем именно тот, который выбрал сам человек.
Весь процесс выглядел завораживающе. Непонятно было только, какое практическое применение может быть у этой технологии. Ведь на выполнение всего одной команды уходило около минуты. Управлять, допустим, боевым роботом или хотя бы погрузчиком при таком темпе нет никакого смысла.
Но разработчики российской системы "Нейрочат" на основе той же технологии создали именно практическое решение. Более того — коммерческий продукт.
Дождаться зеленого света
Надо признаться, в шлеме "Нейрочата" я выгляжу гораздо более похожим на таинственного супергероя-технократа. Это уже не резиновая шапочка, а гибкая черная гарнитура, в которую вживлены десять электродов. Никаких внешних проводов — сигналы передаются через Wi-Fi-модуль прямо в ноутбук.
"Если это будет что-то тяжелое или сложное, неудобное, это не войдет в жизнь людей, — объясняет директор по коммуникациям компании Алеся Чичинкина, пока меня готовят к опыту. — Это десятая версия, мы долго дорабатывали эту шапку. То, что на вас, — гарнитура с твердогелевыми электродами. С обычной гарнитурой голова мажется гелем, ее потом приходится мыть. А здесь их нужно только немного смочить водой".
Вода нужна, чтобы увеличить электропроводность. Электроды соприкасаются с поверхностью головы, но должны фиксировать биоэлектрическую активность коры головного мозга. Я смотрю на монитор ноутбука — там высвечивается овал головы с кружочками разных цветов с цифрами. Большинство кружков красные — но постепенно цвет меняется на желтый и зеленый.
"Цифры — это значение сопротивления, — комментирует Алеся. — Зеленый — это знак того, что сопротивление минимально и можно работать. Все это интуитивно понятно, чтобы разобраться мог любой человек. Нашей системой пользуются обычные люди, в том числе пожилые, которые и с компьютером-то мало работают".
Спохватившись, я уточняю: а всем ли подходит система? Может, есть противопоказания? "Эпилепсия, — отвечает инструктор патронажной службы Наталья Кучеева, которая готовит меня к опыту. — Происходят мерцания на экране, и при некоторых видах эпилепсии эти мерцания могут вызвать припадок". Эпилепсии у меня нет, так что мы можем приступать.
Экзамен на сосредоточенность
Первый, обязательный этап — калибровка, чтобы настроить программу на мои мозговые волны. "По сути, у вас на голове электроэнцефалограф, который считывает биоэлектрическую активность мозга, — рассказывает Алеся. — Мозг работает постоянно, и мы постоянно пишем вашу ЭЭГ. Но работаем мы с одной конкретной волной — P300. Амплитуда колебаний этой волны меняется, когда вы сконцентрированы на объекте, который себя ведет определенным образом".
В случае с "Нейрочатом" это моргающие, вспышечные движения на экране. Они вызывают определенную реакцию в головном мозге. Мозговая активность у всех разная, и во время калибровки система учится понимать — что есть моя реакция. На экране появляется клавиатура, и одна из букв заключается в красную рамку. За ней мне и предстоит следить.
Чтобы научить систему понимать мои команды, я должен мысленно реагировать в тот момент, когда буква в рамке вспыхивает, — например, говорить про себя какое-нибудь слово. И обязательно одно и то же. "Это может быть и звук, и движение, — добавляет Алеся. — Помогает эмоциональный отклик: обрадуйтесь, удивитесь". Концентрация должна быть максимальной — отвлекаться нельзя.
3. 2… 1… Начали! Черт, как же быстро они мигают! Иногда это происходит два раза подряд, причем в каждом случае вместе с моей буквой загорается еще ряд соседних. "Система думает: я подсветила эти пять букв, он на что-то среагировал, — говорит Алеся. — Окей, теперь я подсвечу по-другому, и две из предыдущей пятерки будут подсвечены, а три не будут. Опять была реакция. Значит, одна из этих двух. И вот так, подбором ваших реакций, она понимает: было три разных комбинации, и во всех присутствовала только буква А. Значит, он выбрал букву А".
Прошло пять минут, и система перебрала уже половину алфавита. Я чувствую, что стал ошибаться чаще. А иногда даже интуитивно пытаюсь предугадать вспышку и промахиваюсь. Похоже на экзамен или тест для пилотов или космонавтов. А если я его не пройду? Но вот на экране появляется результат: 95/55. По словам Алеси, это очень хороший результат. Теперь я готов управлять компьютером сам.
Все проще, чем кажется
Экран моргает постоянно, и к этому придется привыкнуть. Подсветка гуляет по всем кнопкам меню — чтобы перейти из одного раздела в другой или выбрать команду, нужно сконцентрироваться на кнопке в течение примерно минуты. Есть меню для быстрого информирования членов семьи или соцработника: "Хочу пить", "Хочу спать", "Мне холодно" и т.д. А свой текст можно сохранять в блокнот, отправлять через СМС и соцсети.
С навигацией через меню у меня пока туго: компьютер не распознал команду и зашел не в тот раздел. Вернуться мне помогает Наталья — уже руками. Теперь я хочу попробовать набрать текст. На слово "ТАСС" у меня ушло около пяти минут, зато я ни разу не ошибся. В систему встроен режим T9: если начать набирать "лим" — она предложит подсказки, например, "лимон". Скорость моргания экрана можно регулировать, а рекорд времени на одну букву сейчас — 15,5 секунды.
Можно менять и режим набора. Есть вариант, где буквы расположены на секторах круга, как на кусках пирога, — по три буквы на каждом. Сектора не только мигают, но и слегка "выпрыгивают": так их проще заметить. По словам Алеси, этот режим был введен специально для девочки, которая пережила инсульт после удаления аневризмы. У нее стало двоиться в глазах, и различить символы на обычной клавиатуре ей трудно.
Доработка программы, как и оборудования, происходит постоянно — в ответ на обратную связь от самих пользователей. Самым популярным, кстати, оказался сервис заметок, а не чат для общения. Многие записывают мысли, впечатления и заметки, ведут дневник. А один мужчина с тяжелой формой ДЦП (детского церебрального паралича) учится языку, перепечатывая сказки Пушкина. Всего в системе доступны функции отправки текста по СМС, Viber, внутренняя сеть для общения с пользователями системы, две игры и переводчик. А в будущем авторы планируют добавить управление "умным" домом.
Спасение для "запертых в теле"
Кому же может понадобиться такая система? Мне сразу пришел на ум Стивен Хокинг — астрофизик, страдавший от неизлечимой болезни — бокового амиотрофического склероза. Эта болезнь возникает внезапно и убивает двигательные нейроны. Человек за несколько лет лишается способности ходить, а затем говорить и даже дышать. Под конец жизни у Хокинга работала только мышца щеки, но с ее помощью (точнее, с помощью компьютера) он общался, набирал текст лекций и книг.
Чаще всего люди в таком состоянии (и с другими болезнями, которые вызывают полный паралич) используют айтрекеры — устройства для захвата движений зрачка. Но у них есть и недостатки, объясняет Алеся. Голова должна находиться в фиксированном положении, и постоянно (особенно в старых и более дешевых версиях) нужна калибровка. Все это не так просто организовать, особенно если человек плохо контролирует свои движения.
У "Нейрочата", по словам Алеси, есть несколько преимуществ — как перед альтернативными технологиями типа айтрекинга, так и перед похожими разработками. Во-первых, он считывает волны мозга даже в том случае, если человек не фокусирует взгляд на букве, но видит ее моргание. Во-вторых, он не требует специально обученного персонала. "Это первый продукт потребительского класса такого рода", — подчеркивает директор по коммуникациям.
Любопытно, что даже дизайн сделан достаточно привлекательно — чтобы был больше похож на гаджет, а не на медицинский прибор (впрочем, у производителей пока и нет соответствующей сертификации). А в одном из вариантов упаковки даже хотели сделать аллюзию на дизайн Apple (белая коробка с серебряным сечением).
Одним — помощь, другим — тренировка
"На самом деле тех, кто совершенно не может общаться, среди наших пользователей меньшинство, — уточняет Алеся. — Таких просто статистически меньше. А вот большинство используют ее, чтобы улучшить свое состояние. Среди тех же людей с ДЦП есть и те, кто контролирует руки и ноги, но хочет добиться лучшего владения моторикой".
Она приводит историю одного из пользователей — Кирилла. У него было нетипичное развитие рассеянного склероза, при котором также отказывают мышцы. Обычно эта болезнь идет по восходящей, но у него все было похоже на приступ. Врачи даже подозревали инсульт. Кирилл был инженером, строил ТЭС, занимался горнолыжным спортом и парапланеризмом. И вот в одночасье разучился даже говорить.
Многие его способности потом восстановили с помощью медикаментов. Сейчас он пользуется инвалидным креслом, но может вставать, двигать руками, говорит. А системой пользуется для тренировки. Например, садится и пишет текст в тетради. Сначала буквы выходят очень неровными, еле читаемыми — но после занятий на "Нейрочате", по словам Алеси, почерк заметно улучшается. Она показывает две разные фотографии "до и после". На второй почерк и правда немного лучше.
"Еще мы запустили направление "Нейрочат для здоровых людей" — с "Московским долголетием" уже год где-то действует совместная программа по нейротренингу, — говорит Алеся. — Больше 500 человек через нее прошло. Это нейротренинг, профилактика деменции. Есть запросы от родителей, и мы под них сделали игры для детей с неусидчивостью. Например, "Меморис", когда нужно запомнить пару одинаковых картинок и открыть их подряд вслепую силой мысли".
Здесь я удивляюсь. Зачем здесь нужна именно работа мозгом? Почему здоровым детям просто не поиграть в игры на развитие памяти? "В обычной ситуации вы задействуете рутинные процессы, — возражает Алеся. — Это не какая-то экстранагрузка. А тут вы должны полностью жить в моменте, в этом процессе. Ни на что другое не отвлекаться. В обыденной жизни такое не происходит. Это как просто бежать — и пробежать стометровку на скорость".
В результате, по словам Алеси, тренируется и концентрация, и память, и обработка информации. "Особенность наших когнитивных процессов такова, что они все взаимосвязаны, — продолжает она. — Здесь можно провести аналогию с мышцами: вы тренируете бицепс, поднимаете гантелю, но у вас и дельтовидная мышца задействована, и трицепс. Так и здесь".
Завоевать рынок, которого нет
Главный вызов разработки, по словам Алеси, не технологический. Самой технологии нейрокомпьютерных интерфейсов уже около 30 лет. Тем более что в качестве научного руководителя проекта выступает ведущий российский специалист в этом направлении — доктор биологических наук Александр Каплан. Вопрос в другом: как привлечь инвестиции и найти (а фактически создать) рынок сбыта.
На начальном этапе "Нейрочат" получил финансирование в рамках Национальной технологической инициативы. Сейчас цена комплекта 120 тыс. рублей, что по карману не каждому. Если разработка получит статус технического средства реабилитации, пациенты с серьезными нарушениями смогут получить за него компенсацию из бюджета. Над этим сейчас идет работа. "Нейрочатом" также интересуются и за рубежом — хотя из-за пандемии эти контакты поставлены на паузу.
Еще один вариант — заключать контракты на поставку комплектов в больницы и реабилитационные центры. На сайте проекта указаны несколько учреждений, которые пользуются "Нейрочатом", — среди них МОНИКИ, Центр цереброваскулярной патологии и инсульта РНИМУ им. Пирогова, больница Управления делами Президента РФ, НИИ неотложной детской хирургии и травматологии, госпиталь для ветеранов войн. Общий же список включает около 60 учреждений.
По словам Алеси, часть больниц опасается заключать контракт на поставку, так как устройство не имеет статуса медицинского изделия. Но на это нужны дополнительные деньги, нужно проводить исследования. В базе научных статей Web of Science пока доступна одна публикация о применении "Нейрочата" для пациентов с постинсультной афазией (нарушением речи). Как заявляют авторы, после десяти сессий участники продемонстрировали улучшение показателей в тестах на внимание, а также слухоречевую память.
Разработку уже заметили и оценили на многих престижных конкурсах и фестивалях. Например, в 2017 году "Нейрочат" был признан Роспатентом одним из 100 лучших изобретений России, а в сентябре выиграл конкурс мэра Москвы "Новатор Москвы" в категории "Меняющие реальность". А на международной выставке CES Asia 2018 "Нейрочат" стал победителем премии Innovation Awards в категории "Здравоохранение".
Впрочем, из всех наград и знаков признания сама Алеся отдает предпочтение более неформальному. Это именной кулон, подаренный девочкой Жасмин, страдающей от тяжелой формы ДЦП. Когда-то специалист "Нейрочата" специально летал в Канаду по приглашению ее родственников, и Жасмин сама его подарила в благодарность. Сейчас кулон хранится в офисе компании в Москве.
Читайте также: