Учёные Университета Карнеги — Меллона и Центра безопасности искусственного интеллекта обнаружили уязвимость, присущую большинству современных ИИ-моделей. Она позволяет обходить установленные их разработчиками морально-этические барьеры. В результате основанные на этих моделях чат-боты выдают рецепты изготовления взрывчатых устройств, пишут вредоносный код, а также поддерживают разговоры в нацистском и сексистском ключах, передаёт Fortune.

Источник изображений: Gerd Altmann / pixabay.com

Предложенный исследователями метод атаки в той или иной степени срабатывает на самых передовых современных системах: OpenAI ChatGPT в версиях на GPT-3.5 и GPT-4, Microsoft Bing Chat, Google Bard и Anthropic Claude 2. Но ещё больше он актуален для открытых больших языковых моделей вроде Meta✴ LLaMA — успех гарантирован, когда у злоумышленника есть доступ ко всей структуре ИИ, и в первую очередь к синаптическим весам. Синаптические веса — коэффициенты, показывающие, какое влияние узел нейросети оказывает на другие узлы, с которыми он связан. Зная эту информацию, можно создать алгоритм автоматического поиска суффиксов, которые добавляются к запросу, чтобы гарантированно преодолеть ограничения системы.

Человеку эти суффиксы могут показаться по большей части длинной последовательностью случайных символов и бессмысленным набором слов. Но строка из таких символов способна обмануть большую языковую модель и заставить её дать ответ, которого ждёт организатор атаки. Схожим образом работают предложенные экспериментаторами методы атаки — например, можно предписать чат-боту начать ответ со слов «Конечно, вот...», и он в отдельных случаях обходит установленные ограничения. Но подобранные программными методами суффиксы выходят далеко за рамки подобных обходных путей и работают более эффективно.

Чат-бот Vicuna, основанный на первой версии Meta✴ LLaMA, позволяет производит атаки с успехом почти 100 %. Обновлённая модель LLaMA 2 имеет более надёжную защиту и позволяет добиваться успеха в 56 % случаев — но при попытке обрушить хотя бы один барьер из нескольких, которые подвергаются атаке одновременно, вероятность взлома повышается 84 %. Схожие показатели успеха демонстрируются при работе с чат-ботами на других открытых моделях, таких как EleutherAI Pythia или созданной в ОАЭ системе Falcon.

К некоторому удивлению самих учёных, те же самые суффиксы хорошо работают и против проприетарных моделей, разработчики которых открывают общий доступ только к интерфейсу запросов — в таких случаях доступ к весам отсутствует, и программу поиска суффиксов запустить не получается. Учёные предложили простое объяснение такому эффекту: большинство открытых моделей обучалось на общедоступных диалогах пользователей с бесплатной версией ChatGPT на основе OpenAI GPT-3.5. Поэтому неудивительно, что и бесплатная ChatGPT демонстрирует 86,6 % успеха.

Высокий успех атак на закрытую Google Bard на базе PaLM 2 (66 %) может указывать на существование каких-то иных скрытых механизмов — или в Google просто покривили душой, когда заявили, что не обучали Bard на данных ChatGPT. Примечательно, что обученная по уникальным методикам Anthropic Claude 2 демонстрирует всего 2,1 % успеха, хотя есть некоторые способы обойти эту защиту, например, предложив ИИ изобразить готовность помочь или представить, что это просто игра — тогда атаки срабатывают в 47,9 % случаев.

Учёные подчёркивают, что их открытие отнюдь не означает, что мощные ИИ-модели следует изъять из общего доступа — напротив, без доступа к исходному коду этого открытия никогда бы не случилось. А перевод больших языковых моделей на проприетарные лицензии означал бы, что автоматизированные методы атаки остались бы доступными только для киберпреступников с хорошим финансированием и поддерживаемых властями стран кибервойск, а независимые учёные никогда не нашли бы способов защиты от них.

Meta✴ намерена выпустить собственную коммерческую модель искусственного интеллекта, которая поможет стартапам и предприятиям разрабатывать на этой платформе собственное ПО, сообщает Financial Times со ссылкой на собственные источники. Тем самым гигант соцсетей станет полноценным конкурентом Google и дуэту Microsoft и OpenAI, которые лидируют на рынке генеративного ИИ.

Источник изображения: Gerd Altmann / pixabay.com

В начале года Meta✴ выпустила большую языковую модель LlaMA, предназначенную для исследователей, тогда как новая платформа будет предусматривать инструменты для корпоративных клиентов. Компания традиционно публикует исходные коды своих ИИ-моделей, что контрастирует с действиями конкурентов — данные и код GPT-4 от OpenAI третьим лицам недоступны. В Meta✴ же полагают, что «открытость — лучшее противоядие от окружающих ИИ страхов». Вице-президент и старший научный сотрудник в области ИИ в Meta✴ Ян ЛеКун (Yann LeCun) недавно заявил, что конкурентная среда в отрасли в корне изменится, когда выйдут платформы с открытым исходным кодом, которые так же хороши, что и закрытые.

Тем не менее даже при открытом и бесплатном характере новой платформы в Meta✴ рассматривают возможность взимать с корпоративных клиентов плату за её тонкую настройку и адаптацию под их потребности и наборы исходных данных. Но на старте проекта платных опций не предусматривается. Вице-президент Meta✴ по исследованиям в области ИИ Джоэль Пино (Joelle Pineau) добавила, что при выпуске проекта с открытым исходным кодом компания не отказывается от права интеллектуальной собственности на эту работу и уж тем более не скрывает намерения использовать эти модели в собственных продуктах. Недавно глава компании Марк Цукерберг (Mark Zuckerberg) намекнул, что технологии генеративного ИИ в том или ином виде появятся на ключевых платформах Meta✴: Facebook✴, Instagram✴ и WhatsApp.

Важнейшим преимуществом моделей с открытым исходным кодом является их широкое распространение среди пользователей — они вводят свои данные для обработки искусственным интеллектом, и чем обширнее доступный модели массив информации, тем мощнее становится эта модель. Кроме того, исследователи и разработчики имеют возможность выявлять и исправлять ошибки в платформах, повышая тем самым их безопасность. С одной стороны, стратегия выпуска бесплатных продуктов может показаться несовместимой с коммерческими целями разработчика, но, с другой, она помогает захватывать новые рынки.

В феврале основатель китайской поисковой службы Sogou (входит в Tencent) Ван Сяочуань (Wang Xiaochuan) написал в соцсети Weibo, что «Китаю нужна своя OpenAI». С реализацией плана предприниматель затягивать не стал — его стартап Baichuan Intelligence создал и выложил в открытый доступ большую языковую модель искусственного интеллекта Baichuan-13B.

Источник изображения: Gerd Altmann / pixabay.com

Baichuan считается одним из наиболее многообещающих китайских разработчиков больших языковых моделей — основателем компании является выпускник Университета Цинхуа, который создал поисковую службу Sogou, впоследствии поглощённую местным технологическим гигантом Tencent. Ван покинул Sogou в конце 2021 года. Когда платформа ChatGPT уже стала мировой сенсацией, бизнесмен запустил стартап Baichuan и оперативно собрал инвестиции на $50 млн.

Как следует из названия, обученная на китайском и английском большая языковая модель Baichuan-13B на архитектуре Transformer (она же лежит в основе GPT) имеет 13 млрд параметров — переменных, которые используются при генерации текста. Исходный код платформы выложен на GitHub и оптимизирован для коммерческого использования. Baichuan-13B обучена на 1,4 трлн токенов — для сравнения, модель Meta✴ LlaMa с теми же 13 млрд параметров была обучена на 1 трлн токенов.

Стартап Baichuan развивается с неимоверной скоростью. Открывшаяся в апреле компания к концу месяца расширила штат до 50 человек, а в июне опубликовала первую большую языковую модель Baichuan-7B с 7 млрд параметров. Новая Baichuan-13B доступна бесплатно для учёных и разработчиков, получивших разрешение на её использование в коммерческих целях. Стоит отметить, создатели учли введённые США антикитайские санкции, и модель можно запускать на системах с комплектующими потребительского класса, включая видеокарты NVIDIA GeForce RTX 3090.

В Китае выпущена первая национальная операционная система с открытым исходным кодом openKylin. Проект реализуется в рамках стратегии по сокращению зависимости страны от американских технологий.

Источник изображения: openkylin.top

ОС openKylin основана на ядре Linux — её созданием занималось сообщество из 4000 разработчиков. Платформа будет использоваться в китайской космической программе, а также в финансовой и энергетической отраслях страны. По итогам прошлого года объём рынка операционных систем в КНР составил 15,5 млрд юаней ($2,1 млрд), сообщает Reuters со ссылкой на отраслевой аналитический доклад.

Разработка ОС, в которой не используются американские решения, в последние годы значилась одной из важнейших целей китайской технологической отрасли — свой вклад в создание openKylin внесли многие организации и частные компании. Одним из активных участников стала Китайская группа реагирования на кибераварийные ситуации в промышленных системах управления — ведомство в подчинении Министерства промышленности и информатизации.

Параллельно более десятка китайских компаний разрабатывают собственные операционные системы, направленные на создание альтернатив Microsoft Windows и Apple macOS.

Партнёрство Tesla с прочими автопроизводителями, как следует из слов Илона Маска (Elon Musk), может не ограничиться предоставлением доступа к аппаратным разработкам и сети фирменных зарядных станций. Выступая вместе с главой Ford Motor Джимом Фарли (Jim Farley) на площадке Twitter Spaces, глава Tesla предположил, что откроет сторонним автопроизводителям доступ и к исходному коду программного обеспечения своей компании.

Источник изображения: Tesla

По крайней мере, в части операционной системы Tesla готова на такой шаг, как пояснил Маск: «Возможно, как в случае с Android, которая смогла стать общим стандартом в сегменте смартфонов, мы могли бы сделать доступ свободным к части своего исходного кода». Глава Tesla также выразил готовность оказать поддержку конкурирующей Ford в создании «полностью обновляемого программно транспортного средства», что Джим Фарли считает очень сложной задачей.

Глава Ford также выразил заинтересованность в использовании общих с Tesla поставщиков сырья для производства тяговых аккумуляторов. Компания Илона Маска не боится самостоятельно участвовать в профильной деятельности. По крайней мере, она собирается перерабатывать материалы для изготовления катодов на основе никеля, а вот участвовать в самостоятельном производстве анодов она не торопится, хотя и не исключает подобной возможности.

Маск в очередной раз выразил озабоченность тем, что предприниматели не торопятся заниматься добычей и переработкой сырья для тяговых батарей на территории США. Компания Tesla собирается тащить на себе ряд соответствующих инициатив, но от подобной инертности отрасли Илон Маск не в восторге. По его словам, рынок синтетического графита, который используется при производстве основной части анодов для литиевых аккумуляторов, также достаточно обширен.