реклама
Новости Software

В Meta✴ отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4

Представитель Meta опроверг слухи о том, что компания намеренно улучшала показатели своих новых ИИ-моделей Llama 4 в бенчмарках. Вице-президент по генеративному искусственному интеллекту Ахмад Аль-Дахле (Ahmad Al-Dahle) заявил в посте на страницах X, что утверждения о подгонке результатов с целью сокрытия слабых сторон моделей Maverick и Scout — «просто неправда».

 Источник изображения: Mariia Shalabaieva / Unsplash

Источник изображения: Mariia Shalabaieva / Unsplash

Слухи о манипуляциях появились в соцсетях после публикации бывшего сотрудника Meta. Пользователь китайской платформы утверждал, что уволился из компании в знак протеста против «нечестных методов тестирования». Позже эти обвинения распространились в X (бывший Twitter) и Reddit, пишет издание TechCrunch.

Однако Аль-Дахле подчеркнул, что Meta не обучала модели Llama 4 Maverick и Llama 4 Scout на «тестовых наборах данных», то есть специальных выборках, используемых для оценки ИИ. Такая практика могла бы искусственно завысить результаты, создав ложное впечатление о возможностях моделей.

Подозрения изначально появились из-за различий в работе Llama 4 Maverick на разных платформах. Исследователи заметили, что версия модели в бенчмарке LM Arena ведёт себя иначе, чем публично доступная и не справляется с определёнными задачами. Кроме того, Meta использовала экспериментальную сборку Maverick для улучшения результатов тестов, что также вызвало вопросы.

Одновременно Аль-Дахле отмечает, что причина, по которой пользователи пока сталкиваются с нестабильным качеством моделей, может быть связана с настройками облачных провайдеров, на серверах которых размещаются скрипты. «Мы выпустили модели сразу после их готовности, и потребуется несколько дней, чтобы все публичные реализации были настроены в соответствии с нашими требованиями», — пояснил он. В Meta пообещали в любом случае продолжить работу над исправлениями багов Llama 4 для быстрой интеграции разработчиками в свои проекты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Новая статья: The First Berserker: Khazan — дёшево, но по-хорошему сердито. Рецензия 58 мин.
Новая статья: Gamesblender № 721: новый шанс для Deus Ex, Switch 2 и цены, скандальное ИИ-демо Quake II 2 ч.
Marathon вышла из тени — дата выхода, много геймплея и короткометражка от оскароносного режиссёра 3 ч.
В Telegram появились групповые звонки на 100 человек со сквозным шифрованием — пока в тестовом режиме 4 ч.
Объём экспорта российского ПО в 2024 году рухнул в полтора раза, но это не точно 10 ч.
Более трети российских компаний удаляют персональные данные вручную 13 ч.
ИИ-лаборатория Meta, создавшая модель Llama, постепенно угасает — в компании назвали это «новым началом» 13 ч.
Двухлетняя модель GPT-4 скоро исчезнет из ChatGPT, уступив место более свежей GPT-4o 20 ч.
ChatGPT обошёл Instagram и TikTok, став самым скачиваемым приложением в мире 20 ч.
Новая статья: inZOI — прощайте, симы. Предварительный обзор 12-04 00:03
Три месяца до Марса: британцы придумали космический буксир на термоядерной тяге 4 ч.
Недавно проснувшаяся чёрная дыра показала «дикий» аппетит, ошеломивший учёных 6 ч.
Подорожание iPhone, видеокарт и прочей электроники отменяется — Трамп вывел их из-под действия повышенных пошлин 6 ч.
В 2024 госзакупки ИИ-оборудования увеличились на 150 % до 2,4 млрд рублей 9 ч.
Разработчик оптических чипов-коммутаторов на основе кремниевой фотоники nEye Systems получил на развитие $58 млн 10 ч.
Разработчик охлаждения чипов с помощью лазеров наобещал с три короба и теперь ищет помощи у учёных 11 ч.
Asus представила бюджетную плату X870 MAX Gaming WiFi7 для Ryzen 9000 11 ч.
Asus представила первый в мире 610-Гц геймерский монитор — ROG XG248Q5G-P за $1100 11 ч.
Asus представила геймерский мини-ПК ROG NUC 2025 — Core Ultra 9 и GeForce RTX 5080 в трёхлитровом корпусе за $3335 12 ч.
Asus представила свою лучшую материнскую плату для Ryzen 9000 за $1400 — ROG Crosshair X870E Extreme с испарительной камерой для SSD 12 ч.
Включить темный режим