реклама
Новости Software

OpenAI формирует команду для контроля над созданием «сверхразумных» систем ИИ

По последним данным, компания OpenAI, положившая начало гонке ИИ, представив чрезвычайно эффективного чат-бота ChatGPT, сформировала специальную команду для управления и контроля «сверхразумными» ИИ-системами. Её главой стал один из основателей компании и её главный научный сотрудник Илья Суцкевер.

 Источник изображения: D5000/pixabay.com

Источник изображения: D5000/pixabay.com

Согласно публикации в блоге OpenAI, ИИ, превосходящий по возможностям человеческий разум, может появиться в течение десятилетия. При этом вовсе не обязательно, что этот «сверхразум» будет благожелательно настроен к человечеству — поэтому необходимо искать пути контроля и ограничений возможностей подобных систем.

Как заявляют в OpenAI, сегодня отсутствуют решения для эффективного контроля и управления сверхразумными ИИ и предотвращения «агрессии» с его стороны. Существующие технологии настройки искусственного интеллекта основаны на обучении с подкреплением на основе обратной связи от человека. При этом такие методики рассчитывают на то, что люди в принципе могут контролировать ИИ, что маловероятно с системами, потенциально более разумными, чем люди. Для изучения данного вопроса специальная команда получит доступ к 20 % вычислительных мощностей компании. К ним присоединятся учёные и программисты из отдела, занятого настройкой ИИ в компании, а также других подразделений — в ближайшие четыре года команда намерена справиться с ключевыми техническими вызовами, связанными с контролем сверхразумного ИИ.

Фактически речь идёт о тренировке ИИ с использованием обратной связи. При этом будет использоваться специальный искусственный интеллект, предназначенный для оценки других ИИ-систем и обеспечения желаемых результатов, а также обеспечения безопасности их эксплуатации. В OpenAI полагают, что искусственный интеллект справится с этим лучше и быстрее, чем люди. По мере развития ИИ-системы компании предположительно будут брать на себя всё больше задач и в результате станут создавать и внедрять лучшие технологии настройки, чем имеются сейчас. Они будут работать вместе с людьми для того, чтобы их собственные преемники больше соответствовали потребностями людей, а те будут осуществлять только надзор, не принимая в исследованиях непосредственного участия.

Конечно, ни один метод не имеет абсолютной защиты от ошибок, о чём и заявили в OpenAI. Использование одного ИИ для оценки других может привести к росту числа ошибок и уязвимостей в создаваемых ИИ, и вообще может выявить, что сложнейшая часть настройки может быть связана с самыми неожиданными аспектами работы ИИ. Впрочем, в компании убеждены, что настройка сверхразума в основе своей является задачей машинного обучения, и критически важную роль будут играть специалисты в данной отрасли. В компании рассчитывают в будущем поделиться плодами своих изысканий для настройки и обеспечения безопасности проектов, даже не связанных с OpenAI.

По данным Reuters, противники инициативы считают, что ИИ с мышлением на уровне человеческого сможет выйти из-под контроля ещё до того, как займётся обеспечением безопасной работы других ИИ-систем. В апреле представители экспертного и бизнес-сообщества опубликовали открытое письмо, в котором предостерегали от создания ИИ, более совершенного, чем GPT-4.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Более трети российских компаний удаляют персональные данные вручную 2 ч.
ИИ-лаборатория Meta, создавшая модель Llama, постепенно угасает — в компании назвали это «новым началом» 2 ч.
Двухлетняя модель GPT-4 скоро исчезнет из ChatGPT, уступив место более свежей GPT-4o 9 ч.
ChatGPT обошёл Instagram и TikTok, став самым скачиваемым приложением в мире 9 ч.
Новая статья: inZOI — прощайте, симы. Предварительный обзор 15 ч.
Студия выходцев из Blizzard показала Causal Loop — вдохновлённую Portal и «Интерстеллар» головоломку, где нужно перезаписывать реальность 16 ч.
SaaS в России продолжает расти, однако не все направления показывают положительную динамику 16 ч.
В Ирландии проверят законность обучения ИИ-модели Grok на постах европейцев в X 17 ч.
«С каждым трейлером хочется поиграть всё больше и больше»: тизер новой фракции из Heroes of Might & Magic: Olden Era заинтриговал фанатов 17 ч.
«Я так долго об этом мечтал»: моддер добавил в Dark Souls Remastered бесшовный кооператив на шестерых 20 ч.