Компания Meta✴ Platforms объявила о запуске семейства открытых моделей искусственного интеллекта Llama 4. В него вошли Llama 4 Scout, Maverick и Behemoth, которые обеспечивают возможность мультимодального взаимодействия, т.е. способны отвечать не только на текстовые запросы, но и обрабатывать изображения, видео и др. Они обучались на «большом количестве немаркированных текстовых, графических и видеоданных» для обеспечения «широкого визуального понимания».
Искусственный интеллект: Steve Johnson / Unsplash
Успех ИИ-моделей китайской компании DeepSeek, которые работают наравне или превосходят флагманские алгоритмы Llama предыдущих поколений, подтолкнул Meta✴ к ускорению процесса разработки в этом направлении. По данным источника, сотрудники компании прикладывают массу усилий, чтобы понять, как DeepSeek удалось снизить стоимость разработки и запуска ИИ-моделей, таких как R1 и V3.
Источник изображения: Meta✴
Алгоритм Llama 4 Scout имеет 17 млрд активных параметров, 16 «экспертов» и 109 млрд параметров в целом. По данным Meta✴, ИИ-модель превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1 в обработке разных типов задач. Одна из основных особенностей модели заключается в поддержке контекстного окна в 10 млн токенов.
Llama 4 Maverick имеет 17 млрд активных параметров и 128 «экспертов» (всего 400 млрд параметров). По данным разработчиков, модель превосходит GPT-4o и Gemini 2.0 Flash при тестировании в разных бенчмарках, а также показывает сравнимые с DeepSeek V3 результаты при ведении рассуждений и в процессе написания программного кода. Scout может работать на одном графическом ускорителе Nvidia H100, тогда как для Maverick требуется система Nvidia H100 DGX или эквивалентная ей.
Модель Llama 4 Behemoth имеет 288 млрд активных параметров и 16 «экспертов» (всего около 2 трлн параметров) и превосходит алгоритм GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro по результатам тестирования в разных бенчмарках. Модель Llama 4 Behemoth продолжает обучаться, поэтому она ещё недоступна публично. В это же время модели Scout и Maverick доступны на сайте Llama.com и на Hugging Face. В дополнение к этому фирменный ИИ-помощник Meta✴ AI, доступный в приложениях компании, таких как WhatsApp, Messenger и Instagram✴, переведён на работу с Llama 4 в 40 странах мира. Возможность обработки мультимодальных запросов пока ограничена английским языком и доступна только в США.
Источник изображения: Meta✴
«Модели Llama 4 знаменуют собой начало новой эры экосистемы Llama. Это только начало для семейства Llama 4», — говорится в сообщении в блоге Meta✴. Компания утверждает, что Llama 4 является первой группой ИИ-моделей, использующих архитектуру «смесь экспертов» (MoE), которая более эффективна при обучении и инференсе. Архитектура MoE позволяет алгоритму разбивать задачи на подзадачи, а затем делегировать их обработку более мелким и специализированным «экспертным» моделям.
Следует отметить, что ни одна из моделей Llama 4 не является правильной «рассуждающей» моделью, как, например, GPT-o1 или GPT-o3-mini от OpenAI. Рассуждающие модели проверяют свои ответы на достоверность и, как правило, их ответы более надёжны, но для их получения требуется больше времени, чем при взаимодействии с традиционными «не рассуждающими» моделями.