реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Amazon добавила ИИ-функцию кратких обзоров книг Kindle, но предупредила о спойлерах 2 ч.
Инвесторы потребовали от Ubisoft пересмотреть условия сделки с Tencent и готовы добиваться своего через суд 7 ч.
Microsoft запустила собственный ИИ-поисковик Copilot Search 8 ч.
Спустя почти пять лет после дебюта на консолях The Last of Us Part II наконец вышла на ПК 8 ч.
ЕС оштрафует TikTok на €500 млн за передачу данных европейцев в Китай 9 ч.
Представлена ранняя ПК-версия российской ОС «Аврора» — на ней уже запускается Telegram и не только 10 ч.
«РТК ИТ Плюс» пополнила ИТ-экосистему «Лукоморье» тремя новыми продуктами 11 ч.
Microsoft подтвердила дату выхода GTA V в PC Game Pass — подписчики получат доступ к GTA V Enhanced 11 ч.
Новый контент в Elden Ring: Tarnished Edition для Nintendo Switch 2 появится и на других платформах 12 ч.
Лавкрафтианский хоррор Stygian: Outer Gods готовится к старту открытой «беты» — новый геймплейный трейлер 13 ч.
Intel и TSMC почти договорились работать вместе 6 ч.
Новая статья: Обзор блока питания Formula V Line APMM-1000GM 6 ч.
Большой адронный коллайдер собрал базу для выхода за пределы известной физики 9 ч.
Восьмиядерные CPU стали самыми популярными в мире по статистике CPU-Z — AMD стремительно отбирает рынок у Intel и Nvidia 10 ч.
Apple потеряла $250 млрд стоимости за день — пошлины Трампа обвалили акции техногигантов 11 ч.
Nintendo Switch 2 получила поддержку трассировки лучей и DLSS, но их появление в играх зависит от разработчиков 11 ч.
Nikon представила полнокадровую камеру Z5 II с улучшенным автофокусом и повышенной скоростью съёмки за $1700 11 ч.
«Акустическое совершенство»: Bang & Olufsen представила каменную колонку Beosound Balance Natura 11 ч.
У россиян вырос интерес к планшетам — продажи подскочили на 15 % в первом квартале 13 ч.
Samsung выпустила 20-метровые телевизоры для кинотеатров Onyx 13 ч.
Включить темный режим