Meta✴ разработала бесконтактный нейроинтерфейс, который считывает нажатия клавиш из мозга пользователя

Учёные компании Meta✴ разработали систему, способную интерпретировать мозговые сигналы и определять, какие клавиши нажимает человек, не прибегая к прямому наблюдению. В ходе эксперимента, проведённого с участием 35 добровольцев, алгоритм на основе глубокой нейронной сети оказался способен достигать 80 % точности при распознавании букв. Однако эта технология остаётся исключительно лабораторной. Несмотря на все ограничения, Meta✴ рассматривает этот проект как стратегическое направление, способное пролить свет на механизмы человеческого мышления и способствовать развитию ИИ.

Источник изображений: ai.meta.com

В далёком 2017 году Марк Цукерберг (Mark Zuckerberg) объявил, что Facebook✴ работает над технологией, которая позволит «набирать текст прямо из мозга». Тогда компания планировала создать компактное устройство — например, шапку или повязку, способную считывать мозговые сигналы и преобразовывать их в текст без необходимости вживления имплантов. Однако реализация этой идеи столкнулась с серьёзными техническими ограничениями, и спустя четыре года Facebook✴ отказался от разработки потребительской версии устройства.

Несмотря на сворачивание коммерческого проекта, Meta✴ продолжила финансировать фундаментальные исследования в области нейронаук. В новой работе, результаты которой изложены в двух препринтах и в блоге компании, учёные использовали метод магнитоэнцефалографии (MEG) — технологию, фиксирующую слабые магнитные поля, создаваемые нейронной активностью. Полученные сигналы подвергались обработке глубокой нейронной сетью, что позволило анализировать мозговую активность человека и сопоставлять её с конкретными нажатиями клавиш.

Жан-Реми Кинг (Jean-Rémi King), руководитель исследовательской группы Meta✴ «Brain & AI», подчёркивает, что главной целью проекта является не создание конечного продукта, а изучение фундаментальных принципов интеллекта. По его словам, понимание архитектуры и механизмов работы человеческого мозга может открыть новые пути в разработке ИИ-систем. В ходе эксперимента система продемонстрировала способность с точностью до 80 % распознавать буквы, которые набирает опытный пользователь, анализируя только мозговые сигналы. Такой уровень точности позволил исследователям воссоздавать целые предложения на основе зарегистрированных нейросигналов. «Попытка понять точную архитектуру или принципы работы человеческого мозга может стать ключом к развитию машинного интеллекта. Именно этот путь мы и исследуем», — утверждает Кинг.

Эксперимент с 35 участниками использовал EEG/MEG и модель Brain2Qwerty для декодирования текста из мозговых сигналов человека

Однако даже несмотря на впечатляющие результаты, технология остаётся далёкой от практического применения. В эксперименте использовался громоздкий магнитоэнцефалографический сканер стоимостью более $2 млн. Его работа требует помещения с мощной магнитной защитой, поскольку естественное магнитное поле Земли превосходит мозговые сигналы в триллион раз, создавая сильные помехи. К тому же система чрезвычайно чувствительна к движениям: малейшее смещение головы испытуемого приводит к потере сигнала. Кинг подчёркивает, что такие ограничения делают проект непригодным для коммерциализации.

Исследование проводилось на базе Баскского центра познания, мозга и языка (BCBL) в Испании. В нём приняли участие 35 добровольцев, каждый из которых провёл около 20 часов в сканере, набирая текст на испанском языке. Среди вводимых фраз были предложения, например: «el procesador ejecuta la instrucción» («процессор выполняет инструкцию»). Разработанная Meta✴ система, получившая название Brain2Qwerty, анализировала мозговые сигналы участников и сопоставляла их с соответствующими нажатиями клавиш.

На первом этапе обучения алгоритму требовалось проанализировать тысячи введённых символов, прежде чем он мог начать предсказывать буквы, основываясь на зарегистрированных мозговых сигналах. Средний уровень ошибок составил 32 % — почти одна неверно определённая буква на каждые три. Несмотря на это, Meta✴ называет достигнутую точность самой высокой среди всех известных неинвазивных методов набора текста, использующих полный алфавит.

В то время как Meta✴ делает ставку на неинвазивные методы, в области нейроинтерфейсов активно развиваются инвазивные технологии, основанные на вживлении электродов. В 2023 году пациентка с боковым амиотрофическим склерозом (БАС), утратившая способность говорить, вновь обрела возможность общаться благодаря нейроинтерфейсу, передающему её мысли в синтезатор речи. Компания Neuralink, основанная Илоном Маском (Elon Musk), разрабатывает имплантируемые устройства, позволяющие парализованным пациентам управлять курсором компьютера. Хотя такие технологии обеспечивают значительно более точное считывание сигналов, они требуют хирургического вмешательства и связаны с рисками.

Meta✴ не занимается разработкой медицинских устройств и делает ставку на фундаментальную науку. В отличие от электродных интерфейсов, магнитоэнцефалографический сканер не может фиксировать активность отдельных нейронов, но даёт исследователям возможность анализировать работу мозга в целом. Этот метод позволяет отслеживать сложные процессы, охватывающие сразу несколько областей мозга, что особенно важно для изучения когнитивных функций и языкового мышления.

Во втором исследовании, проведённом на тех же данных, учёные Meta✴ изучили, каким образом мозг структурирует языковую информацию. Они подтвердили гипотезу о том, что процесс идёт иерархически: сначала формируется общая мысль, затем активируются области, отвечающие за отдельные слова, затем за слоги, и только в последнюю очередь мозг генерирует сигналы, соответствующие конкретным буквам. Хотя эта концепция не является новой, Meta✴ предоставила дополнительные данные о взаимодействии этих уровней и их динамике.

Хотя разработанная система далека от практического применения, её результаты могут оказать влияние на развитие нейроинтерфейсов и ИИ. Современные языковые модели уже используют алгоритмы, имитирующие обработку информации в человеческом мозге, но более глубокое понимание когнитивных процессов, связанных с формированием языка, может стать ключом к созданию по-настоящему интеллектуальных систем.