Что такое архитектура MoE в Llama 4 Scout?

Это архитектура Mixture-of-Experts, которая активирует только 17 миллиардов параметров из 109 возможных для каждого запроса, что обеспечивает высокую скорость работы без потери качества.

Какой объем контекста поддерживает модель на alltokens?

Модель поддерживает внушительное контекстное окно до 327 680 токенов, что позволяет загружать целые книги или обширные репозитории кода.

Можно ли использовать модель для анализа изображений?

Да, Llama 4 Scout является нативной мультимодальной моделью, способной принимать на вход как текст, так и изображения для последующего анализа.

Meta: Llama 4 Scout

Meta-llamaОбновлено: 05 апреля 2025 г.

Llama 4 Scout — это инновационная мультимодальная модель от Meta, построенная на архитектуре Mixture-of-Experts (MoE). Она эффективно сочетает высокую производительность с огромным контекстным окном в 327 680 токенов, позволяя обрабатывать сложные визуальные и текстовые данные одновременно.

Использовать через API

Метрики

Вход

10 ₽/M

Выход

38 ₽/M

Контекст

10M tokens

Параметры

Релиз

05 апреля 2025 г.

Поддерживаемые параметры

frequency_penaltylogit_biasmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_p

Технический обзор

Llama 4 Scout 17B Instruct (16E) — это языковая модель на базе архитектуры смеси экспертов (MoE), разработанная Meta. Модель активирует 17 миллиардов параметров из общего числа в 109 миллиардов. Она поддерживает нативный мультимодальный ввод (текст и изображения) и мультиязычный вывод (текст и программный код) на 12 языках. Scout спроектирована для работы в режиме ассистента и визуального анализа, используя 16 экспертов на каждом проходе. Модель обладает контекстным окном в 10 миллионов токенов и обучена на корпусе объемом около 40 триллионов токенов. Созданная для высокой эффективности и локального или коммерческого развертывания, Llama 4 Scout использует технологию раннего слияния для бесшовной интеграции различных модальностей. Модель прошла процедуру настройки инструкций для использования в мультиязычных чатах, генерации описаний к изображениям и задач по распознаванию визуального контента. Выпущенная под лицензией Llama 4 Community License, она обучалась на данных вплоть до августа 2024 года и стала доступна на alltokens 5 апреля 2025 года.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Смежные подборки

Модели для программирования Недорогие модели Модели с длинным контекстом

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Meta: Llama 4 ScoutТекущая

Для чего

Контекст

10M

Цена ₽

10 / 38

Meta: Llama 4 ScoutТекущая

10M

10 / 38

Модель

Mistral: Ministral 3 14B 2512

Для чего

Обе модели являются компактными решениями с поддержкой мультимодального ввода и ориентированы на высокую скорость генерации.

Контекст

262k

Цена ₽

25 / 25

Mistral: Ministral 3 14B 2512

262k

25 / 25

Модель

ByteDance: UI-TARS 7B

Для чего

Модели схожи по направленности на анализ визуальных интерфейсов и работу с изображениями при сохранении малого количества активных параметров.

Контекст

128k

Цена ₽

13 / 25

ByteDance: UI-TARS 7B

128k

13 / 25

Когда выбирать

Необходим анализ длинных документов или больших объемов кода благодаря контексту 327K
Требуется обработка изображений и текста в рамках одного запроса
Нужна высокая скорость работы за счет архитектуры Mixture-of-Experts

Когда не выбирать

Требуется максимально глубокая экспертиза, доступная только в полновесных моделях Llama 4
Задачи не подразумевают использование мультимодальных функций
Необходима работа в офлайн-режиме на устройствах с крайне малым объемом памяти