С помощью ИИ и ЭЭГ учёные научились читать мысли людей, не влезая к ним в голову скальпелем

Чем глубже в мозг проникают сверхчувствительные датчики учёных, тем точнее сигналы и лучше декодирование мыслей. Однако хотелось бы научиться распознавать мысленную речь без хирургического вмешательства. Это было бы проще и безопаснее. Шаг в этом направлении сделали учёные из Австралии, показав возможность довольно точного распознавания мыслей пациентов без установки датчиков внутрь головного мозга.

Источник изображения: UTS

Для считывания активности мозга была использована простая шапочка с электродами. Она снимала электроэнцефалограмму (ЭЭГ) — это рутинная, в общем-то, процедура для установки множества диагнозов, связанных с работой мозга. Эта процедура разрешена даже для детей и не несёт никакой опасности для пациента. Читать с её помощью мысли, конечно же, нельзя. Поэтому на следующем этапе учёные добавили к ЭЭГ большую языковую модель (LLM) и открытый набор данных ZuCo, что сразу перевело разработку в разряд перспективных.

Пакет ZuCo содержит данные о траектории движения глаз пациента в процессе чтения в сочетании с показаниями ЭЭГ. Как долго взгляд задерживается на слове, куда и в каком темпе перепрыгивает и другое. В сочетании с ИИ (с большой языковой моделью) и данными с ЭЭГ возникают сопоставления, которые транслируются в текст.

Исследователи из Технологического университета Сиднея (UTS) создали платформу DeWave LLM, которую протестировали на 29 добровольцах. Оказалось, что точность распознавания мысленно произнесённых фраз в среднем составляет 42,8 % в рамках двуязычной оценочной методики машинного перевода BLEU-1. Довольно неплохо для неинвазивной технологии чтения мыслей.

При этом система часто использовала синонимы вместо реально произнесённых пациентом слов и лучше понимала глаголы, что можно объяснить ограниченным набором данных. Впрочем, простор для улучшения методики есть, и опыт это хорошо показал. В любом случае, это лучше, чем ничего, а для страдающих проблемами речи людей это возможность вернуться к живому общению.