реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
YouTube добавил в Shorts функцию Dream Screen — ИИ-генератор фонов для роликов 48 мин.
ПК с ИИ снижают производительность труда пользователей — люди не умеют правильно общаться с ИИ 2 ч.
Разработчики Path of Exile 2 раскрыли, чего ждать от раннего доступа — геймплей, подробности и предзаказ в российском Steam 3 ч.
Приключение Hela про храброго мышонка в открытом мире получит кооператив на четверых — геймплейный трейлер новой игры от экс-разработчиков Unravel 4 ч.
OpenAI случайно удалила потенциальные улики по иску об авторских правах 5 ч.
Скрытые возможности Microsoft Bing Wallpaper напугали пользователей 6 ч.
В WhatsApp появилась расшифровка голосовых сообщений — она бесплатна и поддерживает русский язык 7 ч.
Новая игра создателей The Invincible отправит в сердце ада выживать и спасать жизни — первый трейлер и подробности Dante’s Ring 7 ч.
Центр ФСБ по компьютерным инцидентам разорвал договор с Positive Technologies 9 ч.
Android упростит смену смартфона — авторизовываться в приложениях вручную больше не придётся 9 ч.
Magssory Fold 3 в 1 — компактная и функциональная беспроводная зарядная станция для Apple, Samsung и не только 3 ч.
Nokia подписала пятилетнее соглашение о поддержке ЦОД Microsoft Azure с миграцией с 100GbE на 400GbE 3 ч.
Давно упавший на Землю кусочек Марса пролил свет на историю воды на Красной планете 3 ч.
TeamGroup представила SSD T-Force GA Pro на чипе InnoGrit — PCIe 5.0, до 2 Тбайт и до 10 000 Мбайт/с 3 ч.
Провалился крупнейший проект по производству электромобильных батарей в Европе — Northvolt объявила о банкротстве 4 ч.
«Уэбб» открыл в ранней Вселенной три огромные галактики — учёные не понимают, почему они так быстро сформировались 4 ч.
В Зеленограде начнут выпускать чипы для SIM-карт и паспортов — на этом планируется заработать триллионы рублей 4 ч.
Смартфоны Poco X6 Pro 5G, M6 Pro и C75 предлагают современный дизайн и продвинутые характеристики 5 ч.
В России стартовали продажи полностью беспроводных наушников Tecno True 1 Air, Buds 4 и Buds 4 Air 5 ч.
Одна из структур Минпромторга закупит ИИ-серверы на 665 млн рублей 6 ч.