реклама
Новости Software

Microsoft представила ИИ-инструмент для защиты ИИ от галлюцинаций и ошибок

Microsoft представила новую функцию Content Safety в облачной инфраструктуре Azure — она направлена на борьбу со сбоями в работе генеративного искусственного интеллекта. Функция автоматически обнаруживает и даже исправляет ошибки в ответах моделей ИИ.

 Источник изображения: youtube.com/@MicrosoftAzure

Источник изображения: youtube.com/@MicrosoftAzure

Content Safety доступна в предварительной версии в пакете Azure AI Studio — это набор средств безопасности, предназначенных для обнаружения уязвимостей, поиска «галлюцинаций» у систем ИИ, а также блокировки недопустимых запросов от пользователей. Content Safety сканирует ответы ИИ и выявляет в них неточности, сравнивая выходные данные с исходными материалами клиента.

Обнаружив ошибку, система выделяет её, сопровождает сведениями, почему предоставленная информация неверна, и переписывает проблемный контент — всё это происходит ещё «до того, как пользователь сможет увидеть» неточность. Впрочем, гарантии надёжности эта функция не даёт. На корпоративной платформе Google Vertex AI тоже есть функция «заземления» моделей ИИ посредством сверки ответов по поисковой машине Google, собственным данным компании и в перспективе сторонним наборам данных.

Система Microsoft Content Safety осуществляет согласование ответов с базовыми документами при помощи больших и малых языковых моделей, рассказал представитель компании, но и она не застрахована от ошибок. «Важно отметить, что обнаружение [ошибок при помощи функции] "заземления" не решает проблему "точности", но помогает согласовывать ответы генеративного ИИ с базовыми документами», — пояснили в Microsoft.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Флагманские QLED-телевизоры Xiaomi TV Max вышли на глобальный рынок — 85 и 100 дюймов, 4K и до 240 Гц 15 мин.
В Китае создали самый мощный в мире электромагнит без сверхпроводимости 33 мин.
Сверхпрочный смартфон Cubot KingKong Star 2 с дополнительным экраном поступит в глобальную продажу 21 октября 2 ч.
Тысячи электровелосипедов «Яндекса» появятся на улицах городов России до конца года 2 ч.
Apple действительно сильно упростила ремонт iPhone 16 Pro и Pro Max, показала разборка iFixit 2 ч.
Apple через год выпустит второе поколение AR-гарнитуры Vision Pro на процессоре M5 — Мин-Чи Куо 3 ч.
Плата reServer Industrial J501 на базе NVIDIA Jetson AGX Orin предназначена для создания ИИ-устройств 3 ч.
В облаке Oracle можно объединить до 16 тыс. ускорителей AMD Instinct MI300X 3 ч.
Европейские астрономы создали самую подробную в истории инфракрасную карту Млечного Пути 3 ч.
ИИ-стартапы добиваются миллионной выручки гораздо быстрее прочих молодых компаний 3 ч.