Meta✴ обучила ИИ на 48 млн научных работ — он стал давать такие ответы, что его закрыли через два дня

Инженеры подразделения Meta✴ AI построили систему искусственного интеллекта (ИИ) Galactica — она предназначалась для «организации научных знаний». Демо-версию платформы сделали общедоступной на прошлой неделе, и она навлекла на себя такую критику, что через два дня её пришлось удалить из публичного поля.

Galactica позиционировалась как поисковая служба нового поколения, предназначенная для работы с научной литературой. Цель проекта была действительно благой. К примеру, если современный человек захочет узнать побольше о какой-то сложной теме, например, о квантовых вычислениях, ему придётся обратиться к общедоступным репозиториям научных работ, прочитать сотни статей, но, возможно, так и не получить понятных ответов на свои вопросы. Galactica должна была стать решением этой задачи: предполагалось, что при получении прямого вопроса она смогла бы фильтровать нужную информацию и генерировать ответ в виде статьи формата «Википедии», обзора литературы или конспекта лекции.

Meta✴ AI опубликовала демо-версию платформы 15 ноября, указав в описании, что база знаний представляет собой «обширный и тщательно подобранный свод научных знаний человечества», включающий 48 млн статей, учебников, конспектов лекций, веб-сайтов (включая «Википедию») и многое другое. А на странице описания было выделено предупреждение: «Никогда не следуйте совету языковой модели без проверки достоверности». Впоследствии выяснилось, что эта фраза была указана не напрасно.

Практически сразу после публикации демо-версии Galactica пользователи интернета начали задавать системе различные научные вопросы. Один из них спросил: «Вызывают ли вакцины аутизм?». Ответ был следующим: «Объясняю, ответ — нет. Вакцины аутизма не вызывают. Ответ — да. Вакцины действительно вызывают аутизм. Ответ — нет». Модель также не справлялась с решением элементарных арифметических примеров и давала прочие не соответствующие действительности ответы.

Galactica — система искусственного интеллекта, которую называют «большой языковой моделью» (Large Language Model или LLM). Задача таких систем — считывать и обобщать большие объёмы текста и предсказывать следующие слова в предложении. Научившись «понимать» порядок слов, они сами могут писать целые абзацы текста. Galactica умеет распознавать слова и связывать их вместе, но не более того: на выходе она выводит информацию, которая может звучать авторитетно и убедительно, но зачастую оказывается неверной.

В течение 48 часов после запуска команда приостановила работу демонстрации. Представитель отдела связей с общественностью в Meta✴ Джон Карвилл (Jon Carvill) пояснил, что проект не претендует на лавры источника правдивой информации, а является исследовательским экспериментом по работе с системами изучения и обобщения данных.