Скажи мне, кто твой аватар…
В конце прошлого года в Лонг-Бич, штат Калифорния, проходил очередной финал инженерного конкурса Avatar XPrize, в ходе которого состязались почти два десятка команд. Задания были непростые: контролируя по каналам телеуправления сложные электромеханические конструкции, требовалось активировать самый обыкновенный настенный выключатель (кроме шуток — для дистанционно управляемого робота это немалый вызов), преодолеть полосу препятствий, использовать по назначению перфоратор, произвести определённые манипуляции с контейнером и т. п. Главной целью состязаний было заявлено не столько успешное исполнение роботом-аватаром команд оператора, сколько простота и лёгкость освоения этой машины человеком, сидящим за рычагами её интерфейса — причём термин «рычаги» здесь использован, как будет показано чуть далее, не ради красного словца.
Самоходный, дистанционно управляемый робот-аватар тоже можно рассматривать как сложный (и, увы, пока что чрезвычайно громоздкий) интерфейс «мозг — всякие дополнительные органы управления и обратной связи — компьютер» (источник: XPrize Foundation)
Более ранние состязания такого рода, проводившиеся под эгидой небезызвестного агентства DARPA, ставили во главу угла именно качество действий роботизированного аватара: точность исполняемых им движений, устойчивость коммуникационного канала, способность какое-то время работать автономно (или по крайней мере не портить начатое), если связь на время прерывается и т. д. При этом операторы самых разнообразных по конструкции устройств чаще всего сидели перед крупнопанельными мониторами, отдавая команды посредством привычных любому айтишнику интерфейсов — мышей и клавиатур. Участник команды, непосредственно контролировавший аватар на конкурсе DARPA, тренировался едва ли не усерднее, чем пилот болида «Формулы-1», осознавая меру своей ответственности перед всей командой, — и соратники возлагали на него немалые надежды.
Назначение же Avatar XPrize — принципиально иное: способствовать разработке таких более или менее сносно решающих свои задачи телеуправляемых антропоморфных систем, которые уверенно выдерживали бы попадание в виртуальный кокпит самого неподготовленного оператора. Именно поэтому пилотов в своих коллективах состязавшиеся не выращивали: к каждой команде случайным образом приписывался один из судей, на подготовку которого к управлению аватаром отводилось не более 45 минут. Судьи, ясно дело, брались не с улицы — среди них были выдающиеся специалисты по робототехнике, виртуальной реальности, человеко-компьютерным взаимодействиям, даже неврологии, — но опыта взаимодействия по крайней мере с данным конкретным аватаром они совершенно точно не имели.
Наблюдать за тем, как управляются с их творениями посторонние, в общем-то, люди, участникам конкурса Avatar XPrize было мучительно больно (источник: XPrize Foundation)
Ох, как же живо ощутили на себе и операторы аватаров Avatar XPrize, и бессильно наблюдавшие за их пилотированием команды недоступность на данный момент полнофункциональных интерфейсов «мозг — компьютер» (brain computer interfaces, BCI)! Для передачи изображения на очки виртуальной реальности (а у некоторых моделей — и просто на монитор) использовались стереокамеры, для управления манипуляторами системы — громоздкие рычажные конструкции, которые операторам приходилось с усилием двигать. И далеко не всегда, как показала практика, это выходило удачно.
В финальном, самом сложном задании нужно было различить на ощупь шершавую и гладкую поверхности: хотя соответствующие датчики в робототехнике известны уже давно, здесь было важно разработать систему, которая адекватно передавала бы ощущение от манипулятора робота, скользящего по образцу, руке оператора. Как только не изощрялись конкурсанты в попытке решить эту инженерную задачу: использовали многослойные перчатки с нагнетаемой под подушечки пальцев жидкостью (для воссоздания усиления давления при соприкосновении манипулятора с неровностями), применяли для той же цели малые вибромоторы и даже микрофоны на пальцах робота (идея крайне остроумная — звук при скольжении по гладкой и неровной поверхностям существенно различается).
Если вот это — наиболее удобные и эффективные на данный момент промежуточные интерфейсы для взаимодействия мозга с компьютером, значит, необходимость наладить прямое взаимодействие последних становится чрезвычайно насущной (источник: XPrize Foundation)
И всё же вид операторов, помещённых внутрь стальных рам с подвижными штангами манипуляторных контроллеров, с громоздкими перчатками на пальцах и с очками виртуальной реальности на головах, отнюдь не пробуждал чувства удовлетворения покорёнными инженерным гением человечества высотами. Скорее, подталкивал к мысли о том, что этот путь развития человеко-машинных интерфейсов — явно тупиковый.
Маленький пример: выигравший Avatar XPrize немецкий робот NimbRo не полагается на ультразвуковые или иные датчики для точного определения расстояний — его стереокамеры расположены на гибкой длинной шее, что даёт оператору возможность самому повертеть головой, чтобы адекватно оценить дистанцию до того или иного объекта в поле зрения. Правда, если картинку с камер робота передавать оператору напрямую, при резких поворотах головы начнёт ощущаться задержка видеосигнала — что может спровоцировать тошноту. Поэтому специальное ПО перекраивает поток кадров, выбрасывая откровенно запаздывающие и сглаживая переходы между остающимися. Решение полезное на уровне испытаний и прототипов, но для реальной работы с гипотетическим серийным аватаром, в особенности если применять его для решения сложных и ответственных задач, явно малопригодное.
Нейросеть с готовностью предлагает крайне привлекательные по дизайну BCI — вот только каким образом их сконструировать, к сожалению, не говорит (источник: генерация на базе модели Stable Diffusion XL)
Раз уж устроители конкурса поставили цель максимально приблизиться к созданию роботов-аватаров — позволяющих человеку чувственно переноситься туда, где находится в данный момент машина, и взаимодействовать с окружением привычным для себя способом, получая и обрабатывая многоканальный поток информации (звуковой, зрительной, сенсорной), а затем отдавая команды естественными движениями тела, а не посредством каких-нибудь виртуальных кнопок, отображаемых VR-очками, — то и интерфейсы нужны такие, что обеспечат оператору более глубокое погружение; а именно — BCI.
Хотя справедливости ради стоит отметить, что до эффективного воплощения их в металле, пластике, кремнии, гидрогеле и иных материалах пока ещё очень и очень далеко.
Как мы уже упоминали, компании Neuralink Илона Маска американский потребнадзор (Food and Drug Administration, FDA) запретил пока испытывать на людях разработанный ею BCI-имплант, вживляемый прямо в мозг. Устройство это под незамысловатым названием «Перемычка» (The Link) способно — или только будет способно, тут независимые экспертные оценки разнятся, — как записывать, так и стимулировать электрическую активность внутри мозга носителя. Поставленная самим Маском во время ноябрьской 2022 г. презентации «Перемычки» цель — не позже чем в мае года нынешнего приступить к экспериментам на людях — судя по всему, достигнута всё же не будет.
Знакомьтесь: «Перемычка» версии 0.9. Выглядит несколько объёмистой, чтобы согласиться на установку её в собственную голову, не так ли? (Источник: презентация Neuralink 2020 г.)
Дело в том, что по классификации FDA интерфейс разработки Neuralink относится к медицинским устройствам третьего класса, которые «служат для поддержания жизненных функций, имплантируются, но потенциально создают необоснованный риск заболевания либо травмы». Получить одобрение для испытаний устройства третьего класса на людях реально лишь после представления контролирующему органу детального описания того, каким именно образом данный агрегат гарантирует безопасность носителя в ходе исполнения своих заявленных функций. При этом любое сомнение FDA трактуется не в пользу соискателя: если описание некоего процесса покажется экспертам потребнадзора неполным или туманным — его предложат переписать, если результаты испытаний на животных будут расценены как малоубедительные или недостоверные — их придётся проводить заново.
Один раз, кстати говоря, «Перемычка» уже провалила рассмотрение поданной в FDA заявки: нарекания вызвали стабильность бортового аккумулятора импланта и системы его подзарядки. Кроме того, эксперты усомнились в способности имплантированных в мозг электродов устройства прочно держаться на исходных позициях. Это существенный момент: мозговые ткани крайне нежны, и тонкий металлический провод, сдвинувшись с места, почти наверняка повредит немало соседних нейронов. Даже если каким-то образом обеспечить стабильное позиционирование однажды вживлённых электродов, при необходимости удалить «Перемычку» целиком либо заменить только один (допустим, перегоревший) проводок вероятность случайных повреждений многократно возрастает.
«А ты, биологический носитель разума, записался на невральную имплантацию?» (Источник: генерация на базе модели Stable Diffusion XL)
Возможно, препятствия на пути The Link возникают во многом из-за особенностей характера самого Маска, безапелляционность и неуживчивость которого стали притчей во языцех не в одной только ИТ-отрасли. Скажем, американские Национальные институты здоровья (National Institutes of Health, NIH) предлагают целый ряд программ поддержки частных разработок в области нейротехнологий, и сотрудничество с этой организацией наверняка помогло бы Neuralink преодолеть высокий барьер, установленный FDA, — но увы. «Маск не хочет иметь дела ни с кем, у кого имеется хоть какой-то опыт работы в индустрии медоборудования, — заявил Кип Людвиг (Kip Ludwig), бывший программный директор NIH. — И у него нет желания сотрудничать с правительственными органами: ему, понимаете ли, не по душе бюрократия».
Тем временем другие разработчики инвазивных нейроинтерфейсов — пусть и не ставя перед собой таких амбициозных целей, как Neuralink, — обходят её на пути к заветным испытаниям. Не далее как в начале 2023 г. стало известно, что молодая нейротехнологическая компания Synchron, ещё в середине 2021 г. получившая вожделенное разрешение FDA (и успевшая провести уже 7 успешных инсталляций), вскоре намеревается приступить к широким испытаниям своего сенсорного устройства на базе Сосудистого института Гейтса в г. Баффало, штат Нью-Йорк. При этом разработка Synchron технологически проще «Перемычки» — это сетка электродов, созданная по образцу венозного стента и подводящаяся к коре головного мозга не напрямую, а эндоваскулярно, через сосуды кровеносной системы. При этом заявку на проведение испытаний на людях компания подала ещё в 2016-м. Неудивительно, что Маск не готов терпеливо ждать ещё 5-6 лет!
Схематическое изображение эндоваскулярного нейроимпланта Synchron, места его расположения и способа применения — для налаживания непосредственной коммуникации между мозгом и бионическим либо экзопротезом по беспроводному каналу (источник: University of Melbourne)
Притом если бы не органическое неприятие неофициальным прототипом Железного Человека (официальным был Говард Хьюз (Howard Hughes), американский промышленник, кинопродюсер и авиатор первой половины XX века, но сам автор оригинального сценария Марк Фергус (Mark Fergus) признавал, что его команда вдохновлялась по сути дела именно Маском) формальных процедур, всё могло бы сложиться совсем иначе. Ведь первая информация о Neuralink появилась немногим позже того времени, когда Synchron заявила FDA о намерении тестировать свою разработку на людях, а именно в 2017-м. Нейрофизиологи, нейробиологи и иные эксперты ещё тогда предупреждали, что скорого и захватывающего дух прогресса от очередной разработки Маска ожидать не стоит, — и вовсе не потому, что сплошь оказались ретроградами и скептиками. Просто на нынешнем уровне развития технологий — не компьютерных вовсе, а нейробиологических — говорить о близкой возможности создания полноценного инвазивного BCI было бы по меньшей мере опрометчиво.
Невральный имплант (neural implant) — устройство, внедряемое непосредственно внутрь головного мозга и прямо контактирующее с нейронами, — далёкому от нейрофизиологии человеку может представляться совершенно фантастическим на данный момент гаджетом. На самом же деле такие импланты уже не первый год существуют и обладают довольно широким спектром применений — от ускорения реабилитации после травм и заболеваний до контроля механизированных протезов.
Электроды для глубокой стимуляции мозга, вживлённые в голову пациента с болезнью Паркинсона, своего рода «мозговой (по аналогии с сердечным) водитель ритма»: колоризованная рентгенограмма (источник: Science)
Принцип их действия достаточно прямолинеен: поскольку по аксону активного нейрона распространяется электрический сигнал, вызванное этим движением заряда изменение потенциала можно зафиксировать, если разместить где-то поблизости чувствительный контур; в простейшем случае — линейный электрод. С адекватным приёмом сигнала могут возникать сложности — если тот будет слишком слабым или несколько рядом расположенных нейронов активизируются одновременно и т. п., — но эти затруднения в основном технические, что делает интерфейс «мозг — компьютер» в принципе реализуемым.
Невральные импланты могут работать и в обратную сторону, от компьютера к мозгу. Генерируемые искусственно импульсы — при корректно подобранных длительностях и амплитудах — способны «перезаписывать» (точнее, заглушать, подменяя собой) естественные сигналы, что распространяются по аксонам близлежащих к проводнику-антенне нейронов. Таким образом появляется возможность если не полностью контролировать мозговую активность на участке вблизи импланта (поскольку оригинальный импульс всё равно спровоцирует выделение нейромедиаторов в зазоре между аксоном и дендритом, т. е. внешний сигнал не полностью заменит внутренний, а, скорее, зашумит/ослабит его), то по крайней мере целенаправленно на неё воздействовать.
Для лечения двигательных расстройств, вызванных нарушениями в мозговых центрах, применяют электростимуляцию трёх основных зон: вентрального промежуточного ядра, внутреннего бледного шара и субталамического ядра (источник: Health Plexus)
Собственно, как раз такое воздействие в виде глубокой стимуляции мозга (deep brain stimulation, DBS) врачи и практикуют посредством медицинских невральных имплантов, работая с пациентами ещё с конца прошлого века. Прежде всего — с теми, кто страдает определёнными расстройствами мозговой деятельности, включая болезнь Паркинсона, обсессивно-компульсивное расстройство, эпилепсию и прочее. По оценке экспертов из International Neuromodulation Society, к 2018 г. в мире насчитывалось уже более 150 тыс. носителей таких имплантов. В их числе — люди с повреждениями спинного мозга, которым DBS-гаджеты вернули утерянную, казалось, навсегда возможность хотя бы частично контролировать собственное тело.
Управляемые непосредственно мозгом бионические протезы — вполне практичное воплощение концепции BCI — также стали реальностью благодаря имплантируемым в мозговую ткань электродам. Здесь важно подчеркнуть слово «непосредственно», поскольку при сохранении контакта между периферийной и центральной нервной системой задача значительно упрощается. Так, ещё в 2016 г. медики и нейроинженеры из Functional Neural Interface Lab, что в американском Кливленде, штат Огайо, создали и испытали нейробионический протез кисти для пациента, потерявшего ее в результате несчастного случая на производстве.
Благодаря модульному бионическому протезу к людям, лишившимся рук даже вплоть до плечевого сустава, возвращается способность взаимодействовать с предметами (источник: Johns Hopkins University)
Более ранние бионические конструкции такого рода предусматривали контакт только в одном направлении — от головного мозга через сохранившиеся нервы, что прежде контролировали движения рук, к цифровой управляющей системе протеза. В целом подобные системы работают сносно (ссылка может требовать оплаты доступа; другой рассказ об этом проекте здесь), если не считать отсутствия тактильной обратной связи — что не позволяет тонко контролировать прилагаемое к искусственным пальцам усилие.
Кливлендские же исследователи имплантировали в предплечье и плечо пациента дополнительные сенсорные (не командные!) электроды, образовав 20 точек контакта с тремя нервными окончаниями. В подушечки же пальцев нейробионического протеза — среднего, указательного и большого — были вмонтированы тонкоплёночные датчики давления, сигналы от которых ретранслировались нервам. В результате успешность выполнения задач, требующих тонкого контроля прилагаемых к пальцам усилий (отщипывание виноградины от грозди без повреждения ягоды, например), выросла с 43% при использовании стандартного бионического протеза до 93% в случае нейробионического.
Процедура гадания на цветке подразумевает весьма точный контроль прилагаемых усилий: стоит немного пережать — и тонкий лепесток попросту расплющится. Нейробионический протез с обратной тактильной связью позволяет уверенно справляться с этой задачей (источник: Functional Neural Interface Lab)
К настоящему времени известен уже целый ряд подобных разработок, позволяющих мозгу — через посредство сохранившихся каналов периферийной нервной системы — управлять искусственными подобиями натуральных органов. В 2019 г. международная команда исследователей, базирующаяся в Цюрихе, представила нейробионический протез ноги выше колена, способный возвращать пациентам ощущение того, как это самое колено (представленное теперь электромеханическим сочленением) сгибается и разгибается. Интересно, что для этого был модифицирован уже достаточно совершенный серийный бионический протез, встроенные микропроцессор и угловой датчик которого обеспечивают уверенное позиционирование искусственной конечности при движении.
Исследователи лишь дополнили коммерческую систему имплантом, стимулирующим большеберцовый нерв (на задней стороне бедра): информация с углового датчика, замеряющего, в каком положении голенная часть протеза находится относительно бедренной, передаётся не только в процессор, но и в мозг пациента через его же собственный нерв. «А дальше природа подскажет», как выразился один из разработчиков: получая сигнал, кодированный максимально приближенным к натуральному образом, мозг пациента спустя крайне непродолжительное время научается корректно его интерпретировать — и контролирует в итоге сгибание/разгибание электромеханического колена ничуть не менее уверенно, чем натурального.
Но как быть, если повреждён спинной мозг, вследствие чего периферийная нервная система лишена контакта с центральной — так, что вполне здоровым нервам вполне здоровой руки пациент не в состоянии отдавать команды? В том же 2016-м команда нейроинженеров из Университета Питтсбурга испытала невральный имплант, разработанный как раз на такой случай. Предварительно за несколько месяцев была построена карта соответствия отдельных участков мозга ощущениям, которые возникают при соприкосновениях с объектами отдельных пальцев и ладони в целом. Затем был создан сам имплант — прямоугольная гребёнка из 60 игольчатых контактов на площадке размером 2,4 × 4 мм.
Довольно невзрачный на вид невральный имплант способен значительно облегчить жизнь потерявшим конечности людям (источник: University of Pittsburgh)
Поскольку обнаруженные участки располагаются в первичной соматосенсорной коре головного мозга (зона S1), на самой его поверхности, не было необходимости значительно заглублять импланты. Их разместили так, чтобы между кончиками электродов и поверхностью коры оставался зазор в доли миллиметра, а пластина-основание с коммуникационными шинами оставалась снаружи черепной коробки для удобства подключения к внешней управляющей системе. Да, это не совсем тот тип с лёгкостью снимаемого и надеваемого нейроинтерфейса, что знаком и привычен поклонникам фантастики в жанре киберпанк, — но лиха беда начало.
Дальнейшее было уже делом техники: пациент с повреждением спинного мозга в первые недели после операции ощущал при стимулировании электродов разными вариациями импульсов то покалывание в ладонях, то вибрацию в указательном пальце, то лёгкие прикосновения к большому и т. п. Примерно полгода потребовалось, чтобы подобрать необходимые параметры стимуляции (амплитуда, продолжительность и частота отдельного импульса плюс число и расположение импульсов в пакете) и поставить определённые сигналы в строгое соответствие каждому из желаемых откликов нервной системы.
В отсутствие связи между центральной и периферийной нервной системой нейроимплант даёт возможность уверенно управлять роботизированной рукой — даже если та не прикреплена непосредственно к телу оператора (источник: University of Pittsburgh)
Финальным этапом эксперимента стало подключение к лабораторной системе роботизированной руки с датчиками давления на кисти и пальцах — и управление этим манипулятором всё тем же пациентом с плотной повязкой на глазах. Опыт удался: сразу после начала работы пациент адекватно воспринимал передаваемые невральным имплантом импульсы в 85% случаев, а после непродолжительной тренировки и калибровки системы — и во всех 100%.
Да, не всё прошло совсем уж гладко: чувствительность на самых кончиках роботизированных пальцев восстановить не удалось, и в ряде случаев пациент ощущал вместо давления или вибрации словно бы лёгкие электрические покалывания. Это свидетельствует, по мнению учёных, о недостаточно точном позиционировании имплантов и/или невысокой разрешающей способности использованной в эксперименте гребёнки электродов. Вот где пригодился бы хвалёный продукт Neuralink с его многими сотнями электродов на площадке диаметром 23 мм — но в перспективе долгих лет, как уже говорилось, американский потребнадзор (FDA) вряд ли разрешит использовать этот нейрочип на людях.
Пилотируемая дальняя космонавтика — это романтика и преодоление, но куда практичнее и безопасней для человека окажется прикасаться к чудесам далёких планет на расстоянии, активно эксплуатируя двунаправленные BCI (источник: генерация на базе модели Stable Diffusion XL)
Впрочем, тут многое зависит от того, кто и как составит запрос. Ещё в 2014-м упомянутое уже агентство DARPA начало работу над программой восстановления активной памяти: Restoring Active Memory, RAM. Военное ведомство США выделило тогда 77 млн долл. на разработку имплантируемого устройства, способствующего укреплению памяти у пациентов, что пережили травматические повреждения мозга. В ходе этой разработки как раз проводились весьма интенсивные испытания на людях — и никаких препятствий со стороны FDA притом не возникало. По вполне основательной причине, о которой будет сказано чуть позже.
Об интенсивности и масштабе экспериментов, а также о том, в насколько тёмном и глухом лесу приходится бродить нейрофизиологам и нейроимплантологам практически на ощупь, можно судить по деятельности Computational Memory Lab при Пенсильванском университете, чья работа была удостоена внушительного, в размере 22,7 млн долл., гранта упомянутой программы RAM. Исследователи поставили перед собой цель выяснить, как именно работает мозг в ходе запоминания и забывания информации, — чтобы получить представление о возможности и способах стимулирования первого и препятствования второму.
Схема одного из полушарий «обобщённого мозга», исследованного в Computational Memory Lab при помощи системы машинного обучения, с указанными точками входа всей совокупности электродов (источник: University of Pennsylvania)
К испытаниям привлекли 102 пациентов, каждый примерно с сотней вживлённых в различные отделы мозга электродов. Все они проходили стандартный тест на запоминание-забывание, который включает демонстрацию списка из нескольких случайных слов на определённое время, а затем ряд попыток воспроизвести этот список — через всё более увеличивающиеся интервалы. На протяжении всего теста с участников посредством имплантированных электродов снимались интракраниальные (внутричерепные) электрокардиограммы, иЭКГ, которые затем обрабатывались на компьютере с привлечением системы машинного обучения.
В результате — допустив, что внутричерепное пространство у всех испытуемых устроено в целом одинаково, — исследователи получили иЭКГ словно бы от 10 тыс. электродов, имплантированных в разные участки одного и того же «обобщённого мозга». Анализируя характерные рисунки (паттерны) мозговой активности на этапах первичного запоминания данных, их последующего припоминания и следующего за ним забывания, система создала модель классификации этой самой активности. Искусственный интеллект, пусть и довольно рудиментарный, приложил виртуальную руку к изучению естественного!
Нейросеть выдаёт порой довольно-таки язвительные картинки: так, здесь, иллюстрируя процесс кодирования высокой интенсивности в человеческом мозге, слегка преуменьшила размеры последнего (источник: генерация на базе модели Stable Diffusion XL)
Выяснилось, что в ходе запоминания информации мозг находится в так называемом состоянии «кодирования высокой интенсивности» с преобладанием на иЭКГ быстрых (высокочастотных) мозговых волн, тогда как потеря информации — забывание — сопровождается усилением медленных волн мозговой активности. Компьютерная модель, сопоставляя фиксируемые на иЭКГ паттерны с результатами тестов, научилась в итоге довольно точно предсказывать, останется в памяти данного испытуемого именно это конкретное слово из списка к моменту следующей проверки — или же успеет забыться.
Следующим этапом эксперимента стало предотвращение забывания: выяснилось, что точечное стимулирование (путём подачи сигнала на некоторые из электродов) сразу после того, как медленные волны начинают преобладать над быстрыми, предотвращает потерю информации. Это можно сравнить с ручным прерыванием сигнала «стереть из памяти», формируемого вполне естественным образом: мозг в любом случае склонен скорее забывать, чем запоминать, и если информация не воспринимается как жизненно важная, то выбрасывается из головы она достаточно быстро.
Наглядное свидетельство пользы, которую приносит долгосрочная DBL-терапия: сразу после установки глубоких мозговых имплантов мозг пациента с депрессией проявлял крайне вялую активность (отмеченные зелёным зоны на правой паре снимков), но всего полгода спустя регулярная электростимуляция принесла ощутимые плоды (источник: Emory University)
И вот здесь-то эксперимент вступил в свою самую занимательную фазу: исследователи долго и упорно пробовали различные по форме, частоте, амплитуде и длительности импульсы, прилагая их к разным электродам, — и в итоге получили достойные публикации в Nature позитивные результаты. Правда, для постановки на конвейер спасительных имплантов для исцеления посттравматического синдрома забывчивости всё же не совсем пригодные: выборка испытуемых оказалась слишком уж специфической.
Дело в том, что все 102 участника пенсильванского эксперимента — пациенты с эпилепсией, которым предварительно вживили электроды в мозг с целью клинической терапии этого недуга (вот почему не пришлось испрашивать у FDA дополнительного разрешения). При этом часть электродов у каждого из испытуемых доходила лишь до внешней коры, часть углублялась до внутренних структур вроде гиппокампа, — а главное, весь срок проведения этой клинической терапии не превышал трёх недель. Другим пациентам, страдающим болезнью Паркинсона, например, вживляют импланты для глубокой стимуляции мозга на годы, — но к таким испытуемым у пенсильванской группы доступа не было.
Среди различных направлений мозговой деятельности едва ли не важнейшим, особенно в эпоху тотальной цифровизации, без преувеличения можно считать обработку визуальных сигналов — зрение. Неудивительно, что BCI-коррекции (и даже частичному восстановлению) зрения уделяется сегодня так много внимания: эффект от практического применения таких разработок окажется оглушительно значимым и в медицинском, и в коммерческом плане. Тем более что глаза как орган зрения и соответствующие отделы коры больших полушарий связаны электрически — а значит, естествоиспытателям есть к чему приложить свои электроды.
Зрительный тракт (не путать со зрительным нервом!) начинается от зрительного перекреста и заканчивается в латеральном коленчатом теле, подушке таламуса и верхнем холмике крыши среднего мозга (источник: National University of Colombia)
Ещё в начале XIX века физиологами были описаны фосфены — от древнегреческих слов φῶς, «свет», и φαίνω, «обнаруживаю, выявляю» — феномены проявления зрительной реакции в отсутствие прямого воздействия фотонов видимого света на сетчатку глаза. Простейший для зрячего человека способ наблюдать фосфен — надавить (только аккуратно!) пальцем на собственный закрытый глаз в темноте. Помимо механического воздействия, фосфены порождаются некоторыми химическими веществами, а также электрическим возбуждением — либо самой сетчатки, либо непосредственно зрительных центров коры головного мозга.
Если сетчатка повреждена, т. е. фоторецепторы на ней вышли из строя — вследствие несчастного случая или инфекции, скажем, — зрительный нерв и прочие структуры вплоть до зрительных центров остаются чаще всего нетронутыми. В этом случае логичным представляется взять некий искусственный фотоэлектрический преобразователь — вроде КМОП-матрицы, которых сегодня буквально в каждом смартфоне не меньше трёх, — и соединить его со зрительным нервом. Позаботившись, конечно, о том, чтобы поступающие на нерв электрические импульсы соответствовали тем, что генерировала бы в тех же самых условиях природная сетчатка (retina).
Художественное представление фосфенов, вызванных механическим воздействием на глазные яблоки (источник: Wikimedia Commons)
Такие импланты, называемые ретинальными, могут быть чисто оптоэлектронными устройствами (как приборы Argus компании Second Sight, к которым мы вернёмся чуть ниже), а могут полагаться на природные фотоэлектрические преобразователи — интеграция которых в живую ткань во множестве случаев оказывается проще и безболезненней. Так, группа исследователей из Университета Базеля предложила в 2021 г. генную терапию для лечения пациентов с пигментным ретинитом (retinitis pigmentosa) — заболеванием, необратимо уничтожающим фоторецепторы сетчатки.
Из одноклеточной фотосинтезирующей водоросли был выделен ген светочувствительности, при помощи которого швейцарские оптогенетики (да, есть теперь в медицине и такая отрасль!) модифицировали ганглиозные клетки сетчатки, отвечающие за собственно преобразование фотона в электрический импульс и повреждённые у данного пациента. Правда, есть нюанс: поскольку исходная водоросль чувствительна к жёлто-оранжевой области спектра, пациенту с генно-модифицированной сетчаткой приходится носить специальные умные очки, существенно усиливающие контрастность и смещающие цветовой баланс необходимым образом — и лишь затем проецирующие изображение на сетчатку. Казалось бы, причём тут Гудвин, Великий и Ужасный?
Оптогенетический способ возвращения способности видеть (пусть и не полноценного зрения) на данном этапе развития технологий подразумевает использование довольно громоздкой наголовной конструкции (источник: Nature)
Однако в ряде случаев у пациента выходит из строя и сам зрительный нерв, так что полагаться на естественный путь доставки электрических импульсов до зрительных зон коры больших полушарий становится бессмысленно. Отметим, что зрительный нерв представляет собой плотный жгут из аксонов миллиона с лишним ганглиозных клеток, — конструкция достаточно уязвимая. При её повреждении есть смысл сделать ставку на собственно BCI-корекцию зрения: трансформировать свет в электроимпульсы при помощи полупроводниковой системы (благо в компактных цифровых камерах высокого разрешения сегодня недостатка нет), затем перекодировать эти импульсы в наборы сигналов, идентичные тем, что проходят по зрительным нервам от здоровой сетчатки, — и переправлять этот информационный поток непосредственно в зрительные центры.
Звучит просто, но насколько же — и с нейрофизиологической, и с чисто инженерной точки зрения — это сложнее, чем обеспечить обратную тактильную связь от бионического протеза кисти руки, например! В 1978 г. Уильям Добель (William H. Dobelle), американский офтальмолог, впервые в истории имплантировал сетку электродов на поверхность коры больших полушарий незрячего пациента — в надежде научиться возвращать людям способность к визуальному восприятию. По этим электродам планировалось ретранслировать сигнал с видеокамеры и оптического дальномера, закреплённых на специальных очках: дальномер был необходим, чтобы определять дистанцию до объектов, не нагружая мозг дополнительно потоком данных от пары стереокамер. На поясе пациента размещались КПК, перенаправляющий информацию с очков на входные контакты импланта, и аккумуляторная батарея.
Система Argus II компании Second Sight ещё в 2015-м помогала людям хотя бы частично возвращать зрение (источник: BBC)
От первого прототипа до появления готового к практическому применению импланта прошло больше двух десятилетий: только в 2002-м Добель прооперировал своего «пациента альфа», причём сделал это в Португалии, поскольку в США — как внимательный читатель уже наверняка догадался — не смог получить разрешение от FDA. При тогдашнем уровне развития науки и техники и речи быть не могло о том, чтобы в точности определять, на какие именно нейроны следует подавать какие сигналы для формирования различимого человеком изображения. Принцип «природа подскажет» — не такой уж редкий в нейрофизиологии — сработал и тут: пациент, зрительные центры которого возбуждались непрерывно меняющимися сигналами, сперва наблюдал некие абстрактные фосфены в виде мельтешения белых пятен на чёрном фоне, но постепенно, в ходе длительных систематических упражнений («Сейчас перед вами белый квадрат. Белый квадрат на чёрном фоне. Это белый квадрат. А теперь круг…»), зрение начинало возвращаться.
Да, только монохромное; да, с крайне низким разрешением, причём способности к самообучению разные пациенты демонстрировали различные, — но объективный контроль свидетельствовал: незрячие превращались в чрезвычайно слабовидящих. Точнее, превращались на время: «пациент альфа» потерял способность различать даже грубые и нерезкие контуры предметов уже через несколько месяцев после операции — из-за деградации помещённой на поверхности его мозга сетки электродов.
Оригинальная система доктора Добеля: очки с камерой, имплант в голове, мини-компьютер («мини» по меркам того времени, конечно же) на поясе, кабельные жгуты (источник: Institut Dobelle AG)
Деятельность доктора Добеля вызывала крайне противоречивые отклики: его резко критиковали за отсутствие подробных экспериментальных журналов и серьёзных научных публикаций, но в то же время выдвинули в 2003 г. на Нобелевскую премию по физиологии и медицине. Увы, в 2004-м этот учёный скоропостижно скончался, не оставив после себя по сути никакого задела, пригодного для дальнейшего развития (ходили слухи, что он специально ничего не документировал и не патентовал, опасаясь утечки своих наработок к недобросовестным конкурентам), — и направление это на долгие годы заглохло.
Насколько идеи Добеля опережали своё время, можно судить по тому, что лишь в 2020 г. в Science появилась публикация «О восстановлении зрения путём стимулирования мозга» за авторством коллектива под руководством Питера Рёльфсема (Pieter Roelfsema) из Нидерландского института нейронауки со строго академическим описанием подобного эксперимента и его результатов. Правда, проводились голландские изыскания не на людях, а на обезьянах, и к тому же зрячих, — иначе как верифицировать их реакции? На поверхность зрительного центра каждой из подопытных обезьян имплантировалась сетка из 16 рядов по 64 электрода, что по сути позволяло генерировать фосфены на прямоугольном поле зрения с разрешением в 1024 точки.
⇡#Со вкусом возвращённого зрения
Здесь на помощь нейрофизиологам пришёл известный принцип ретинотопии: определённые участки сетчатки связаны со вполне определёнными же зонами зрительного центра. Так что если в поле зрения пациента источник света появляется, скажем, сверху слева, это будет вызывать возбуждение одних чётко локализованных нейронов зрительной коры, а если снизу справа — то уже других. На этом принципе основана предложенная ещё в 2013 г. японскими исследователями техника подглядывания за чужими снами — или, как это более научно сформулировано в названии их статьи в Science, «нейронного декодирования зрительных изображений во время сна».
Титановый держатель массива электродов (слева) монтировался на голову подопытной обезьяны, тогда как сама электродная сетка (справа) для генерации фосфенов накладывалась на зрительную зону коры (источник: Science)
Питер Рёльфсем с коллегами использовали принцип ретинотопии в обратную сторону: активируя посредством сети электродов определённые области зрительных центров, они заставляли обезьян наблюдать фосфены в тех или иных участках поля зрения. Серия экспериментов подтвердила, что подопытные со временем научились уверенно различать пространственное позиционирование отдельных фосфенов, ориентацию упорядоченных структур из двух фосфенов (горизонтально эта пара видна в поле зрения или вертикально), а также направление их последовательной демонстрации (первым появился фосфен справа, за ним второй слева — или наоборот). Более того: в число подопытных попали обезьяны, обученные различать буквы. И эти животные смогли с неплохой точностью идентифицировать литеры, образуемые в их мозгу упорядоченным расположением индуцированных испытателями фосфенов — от 8 до 15 на каждую букву.
Если всё так хорошо отработано на обезьянах и если незрячим людям реально таким образом возвратить хотя бы ограниченную возможность видеть (либо получать «визуальную» информацию, сгенерированную компьютером, посредством фосфенов), — почему же идеи доктора Добеля не нашли масштабного развития? Всё дело в том, что центральная нервная система — куда более тонкая и чувствительная материя, чем периферическая: те простота и лёгкость (сравнительные, конечно), с которыми подсоединяются к нервам конечностей бионические протезы, только снятся церебральным нейрофизиологам.
Роберт Гринберг (Robert Greenberg), основатель Second Sight, представляет свои ретинальные импланты (источник: Second Sight)
Живой (с некоторыми оговорками) тому пример — основанная ещё в 1998 г. американская компания Second Sight, после поглощения летом 2022-го переименованная в Vivani. Первой её разработкой в области искусственного зрения стали ретинальные импланты Argus (с разрешением 16 пикселов) и Argus II (64 пиксела), призванные заменять собой необратимо повреждённую сетчатку пациентов. Далее в планы компании входил выпуск уже церебральных нейроимплантов под названием Orion, которые должны были выглядеть и действовать примерно так же, как пресловутая система Добеля, — только на новом уровне развития технологий и с куда более длительным гарантированным сроком работы.
Однако в 2019-м проект Argus был свёрнут, а испытания Orion всё откладывались, пока не разразился коронакризис, — и Second Sight оказалась на грани банкротства. По всему миру на тот момент насчитывалось более 350 носителей её «бионических глаз», которые в одночасье остались без техподдержки и медицинского сопровождения. Сегодня, после поглощения и переименования компании в Vivani, оставшиеся её специалисты заняты, как сообщает официальный сайт, «разработкой портфолио миниатюрных долговременных имплантов для дозированного введения лекарственных доз в организм».
Внутреннее устройство Argus II: собственно ретинальный имплант располагается там же, где фоторецепторы натурального глаза, а на экваторе протеза размещена необходимая электронная обвязка (источник: IEEE Spectrum)
Проектировщики Orion также выбрали для размещения своего церебрального импланта поверхностный подход: хотя погружные электроды обеспечивают более точную, адресную доставку возбуждающих импульсов к выбранным нейронам, металлические проволочки в мозговой ткани неизбежно либо корродируют сами, либо механически повреждают окружающие клетки, либо провоцируют воспаление. Приходится довольствоваться сетками электродов на поверхности коры зрительной зоны, однако, как следствие, необходимо повышать мощность каждого отдельного импульса, управляющего порождением фосфенов в поле зрения пациента.
А это, в свою очередь, накладывает неизбежные ограничения на густоту электродной сетки (т. е. на разрешение итогового образа, составленного из фосфеновых пикселей), поскольку слишком сильная электростимуляция зрительных нейронов ведёт, как выясняется, к эпилепсии. Упомянутая ранее голландская группа Рёльфсема практикует промежуточный подход: каждый из электродов в её сетке представляет собой не узел, а тончайшую иглу, уходящую вглубь коры всего на несколько нейронных слоёв. Это позволяет использовать токи средней интенсивности (в сто раз меньшие, чем требуются поверхностным электродам для возбуждения нужных клеток) и притом сводит к разумному минимуму негативные эффекты от пребывания инородных тел в мозговой ткани.
«Леденец» системы BrainPort — новая надежда для потерявших зрение (источник: Wicab)
А можно ли вовсе обойтись без инвазивных операций для получения доступа к зрительным зонам? Как наглядно демонстрирует BrainPort, разработка американской компании Wicab, — вполне. Этот созданный ещё в первое десятилетие текущего века гаджет на первый взгляд напоминает систему Orion или неудачливое творение доктора Добеля: те же очки с единственной камерой, тот же КПК на поясе пациента для обработки передаваемого ею сигнала и преобразования его в нервные импульсы. Вот только провода от управляющего компьютера ведут не к имплантированной в затылок пациента сетке электродов, а в рот, к «леденцу» — наязычной контактной площадке примерно в 9 см2, усеянной небольшими торчащими электродами, словно типичный процессор (кроме нескольких последних поколений Intel) ножками. Каждый электрод суммирует информацию от определённого участка поля зрения камеры, эффективно понижая тем самым разрешение итоговой картинки.
Почему сигналы от видеокамеры подаются именно на язык? Да потому, что, как уже не раз нами упоминалось, «природа подскажет»: пластичность центральной нервной системы человека поистине поразительна. Как признают сами разработчики из Wicab — дипломированные нейрофизиологи, между прочим, — никто не знает даже, куда именно идёт информация, принимаемая нервными окончаниями на поверхности языка: непосредственно в зрительный отдел — или же в соматосенсорный, обычным порядком отвечающий за обработку тактильных ощущений. Визуализировать в томографе работу мозга пациента с контактной пластиной во рту по понятным причинам нельзя, так что ещё какое-то время — до изобретения принципиально новых средств контроля церебральной активности в режиме реального времени — эта загадка останется неразрешённой.
На вкус и цвет все фломастеры в поле зрения системы «язык — зрительный центр» покажутся одинаковыми, но зато, по крайней мере, их удастся хоть как-то увидеть (источник: Wicab)
Тем не менее прибор работает, и осваивают его испытуемые в среднем не более чем за четверть часа — примерно столько же нужно, чтобы научиться более или менее ровно ездить на велосипеде. Пациент прислушивается к внутренним ощущениям, порождаемым лёгкими покалываниями от электродов пластины на его языке, и вдруг начинает фиксировать фосфены — сперва как невнятный белый шум, из которого постепенно проступают грубые, гиперконтрастные, но всё же узнаваемые контуры предметов. Незрячие носители BrainPort оказываются способны самостоятельно пройти по узкому коридору, не задевая стен; обнаружить на стене без прямого контакта — не на ощупь, как обычно! — кнопку лифта; протянуть руку точно к стоящей на столе кружке; даже различать крупные буквы на вывесках или видеоэкранах.
В принципе, ничто не мешает точно таким же образом научить человека «видеть ладонями» или иными фрагментами тела, — преобразование тактильной информации в зрительную благодаря пластичности сенсорного восприятия не ограничено одним только языком. Просто тот особенно удобен по целому ряду параметров: слюна обеспечивает контактам отличную проводимость, плотность расположения нервных окончаний на поверхности языка выше, чем где-либо ещё, да и сами эти окончания находятся практически у самой поверхности (тогда как подушечки пальцев, к примеру, покрывает роговой слой из отмерших клеток кожи, обеспечивая дополнительную механическую защиту, но и снижая чувствительность).
Наглядное представление того, как пикселы-фосфены формируют вполне различимую картинку в статике и в динамике уже при разрешении 60 × 60 точек (источник: Wicab)
Приведённые примеры наглядно, хочется верить, демонстрируют, насколько нова и неизученна отрасль BCI — и в то же время насколько остра в ней потребность у достаточно значительной по количеству, пусть и небольшой в процентном отношении, доли населения планеты. Скорее всего, развитие интерфейсов между компьютером и мозгом (в обе стороны) наиболее интенсивно будет вестись с прицелом именно на нужды здравоохранения. А геймерам, кибердайверам, поклонникам метавселенных и всем, кто просто интересуется новыми возможностями, что открывают BCI, придётся ещё какое-то время подождать.
Надо думать, ждать придётся до появления первых действительно удобных — неинвазивных, но в то же время не слишком громоздких (по сравнению с МРТ-аппаратом) — медицинских интерфейсов. Такие устройства будет значительно проще коммерциализировать — тем более что потенциальная аудитория их покупателей уже, можно сказать, находится на низком старте. Тогда и автономными роботами управлять станет значительно проще, и в виртуальные миры погружаться; а уж каких высот (и глубин) достигнут коммуникации с искусственным интеллектом в полностью цифровом пространстве, пусть даже воспринимаемом через фосфенную визуализацию невысокого на первых порах разрешения, — можно только догадываться!