В октябре Anthropic представила модель искусственного интеллекта Claude Computer Use, которая позволяет нейросети Claude самостоятельно управлять компьютером по запросам пользователя. Исследователь в области безопасности ИИ нашёл способ обратить эту функцию во зло.
Источник изображения: anthropic.com
Эксперт в области кибербезопасности Иоганн Ренбергер (Johann Rehnberger) опубликовал доклад о том, как сумел злоупотребить функцией Computer Use: ИИ по его запросу загрузил и запустил вредоносное приложение, после чего вышел на связь с контролирующим зловред сервером.
Следует отметить, что Claude Computer Use пока остаётся на стадии бета-тестирования, и разработавшая её компания Anthropic предупредила, что функция может работать не так, как задумано: «Рекомендуем принять меры предосторожности, чтобы изолировать Claude от важных данных и действий, чтобы избежать рисков, связанных с инъекциями в запросах». Подобные схемы атаки против ИИ остаются распространёнными.
Ренбергер назвал свой эксплойт ZombAIs — с его помощью эксперт заставил систему загрузить среду удалённого управления Sliver, которая была разработана для тестирования на проникновение, но киберпреступники адаптировали её для своих нужд. Он также отметил, что это не единственный способ использовать ИИ для преступной деятельности — например, можно заставить Claude написать вирус с нуля и скомпилировать его, потому что он может писать код на C.
Установлено также, что перед атаками через инъекции в запросах уязвим китайский чат-бот DeepSeek AI. А большие языковые модели оказались способны выводить код с управляющими символами ANSI для взлома системных терминалов — этот подтип атак получил название Terminal DiLLMa.