Что означает архитектура MoE в ERNIE 4.5 21B A3B?

Это архитектура «смеси экспертов», где из общего объема в 21 миллиард параметров для обработки каждого конкретного запроса активируется только 3 миллиарда, что ускоряет работу без потери качества.

Какой объем контекста поддерживает эта модель на alltokens?

Модель поддерживает контекстное окно до 120 000 токенов, что позволяет анализировать объемные отчеты, книги или длинные цепочки переписки.

Подходит ли модель для маркетинговых задач?

Да, благодаря продвинутому пониманию контекста и поддержке инструментов (tools), она эффективно справляется с генерацией контента и анализом рыночных данных.

Baidu: ERNIE 4.5 21B A3B

BABaiduОбновлено: 12 августа 2025 г.

ERNIE 4.5 21B A3B — это продвинутая модель на базе архитектуры Mixture-of-Experts (MoE), оптимизированная для эффективной обработки текста и мультимодального понимания. Благодаря активации всего 3 миллиардов параметров на токен, она обеспечивает высокую скорость генерации при сохранении глубокого контекста до 120 000 токенов.

Использовать через API

Метрики

Вход

9 ₽/M

Выход

35 ₽/M

Контекст

131k tokens

Параметры

Релиз

12 августа 2025 г.

Поддерживаемые параметры

frequency_penaltymax_tokenspresence_penaltyrepetition_penaltyseedstoptemperaturetool_choicetoolstop_ktop_p

Технический обзор

Высокотехнологичная текстовая модель на базе архитектуры Mixture-of-Experts (MoE) с общим числом параметров 21 млрд, из которых 3 млрд активируются для каждого токена. Модель обеспечивает исключительное мультимодальное понимание и генерацию благодаря гетерогенным структурам MoE и изолированной маршрутизации по модальностям. Поддерживая расширенное контекстное окно в 131 000 токенов, система достигает высокой эффективности логического вывода за счет параллельного взаимодействия экспертов и квантования. Передовые методы дообучения, включая SFT, DPO и UPO, гарантируют оптимизированную производительность в различных сценариях использования, а специализированная маршрутизация и механизмы балансировки потерь обеспечивают превосходное выполнение сложных задач. Доступно на alltokens.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Смежные подборки

Недорогие модели

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Baidu: ERNIE 4.5 21B A3BТекущая

Для чего

Контекст

131k

Цена ₽

9 / 35

Baidu: ERNIE 4.5 21B A3BТекущая

131k

9 / 35

Модель

Baidu: ERNIE 4.5 21B A3B Thinking

Для чего

Является модификацией той же архитектуры, но ориентирована на более глубокие логические рассуждения.

Контекст

131k

Цена ₽

9 / 35

Baidu: ERNIE 4.5 21B A3B Thinking

Является модификацией той же архитектуры, но ориентирована на более глубокие логические рассуждения.

131k

9 / 35

Модель

Qwen: Qwen3 Coder 30B A3B Instruct

Для чего

Имеет схожую структуру MoE с малым количеством активных параметров, что делает их прямыми конкурентами в задачах быстрой генерации.

Контекст

160k

Цена ₽

9 / 34

Qwen: Qwen3 Coder 30B A3B Instruct

160k

9 / 34

Когда выбирать

Необходима обработка длинных документов объемом до 120 000 токенов
Требуется высокая скорость работы за счет архитектуры с малым числом активных параметров
Нужна качественная работа с текстами на китайском и английском языках в рамках мультимодальных задач

Когда не выбирать

Требуется выполнение узкоспециализированных задач по написанию сложного программного кода
Необходима работа исключительно с изображениями без текстового контекста
Задачи требуют использования моделей с максимально возможным числом активных параметров для сложных научных вычислений