Baidu: ERNIE 4.5 300B A47B

Baidu: ERNIE 4.5 21B A3B

baidu

Высокотехнологичная текстовая модель на базе архитектуры Mixture-of-Experts (MoE) с общим числом параметров 21 млрд, из которых 3 млрд активируются для каждого токена. Модель обеспечивает исключительное мультимодальное понимание и генерацию благодаря гетерогенным структурам MoE и изолированной маршрутизации по модальностям. Поддерживая расширенное контекстное окно в 131 000 токенов, система достигает высокой эффективности логического вывода за счет параллельного взаимодействия экспертов и квантования. Передовые методы дообучения, включая SFT, DPO и UPO, гарантируют оптимизированную производительность в различных сценариях использования, а специализированная маршрутизация и механизмы балансировки потерь обеспечивают превосходное выполнение сложных задач. Доступно на alltokens.

Baidu: ERNIE 4.5 VL 28B A3B

baidu

Мощная мультимодальная чат-модель на базе архитектуры Mixture-of-Experts (MoE) с общим числом параметров 28 млрд, из которых 3 млрд активируются для каждого токена. Модель обеспечивает исключительное понимание текста и визуальных данных благодаря инновационной гетерогенной структуре MoE с изолированной маршрутизацией по модальностям. Построенная на масштабируемой инфраструктуре для обеспечения высокой пропускной способности при обучении и инференсе, модель использует передовые методы постобучения, включая SFT, DPO и UPO, для оптимизации производительности. Поддерживает контекстное окно длиной 131 000 токенов и выравнивание RLVR для достижения превосходных возможностей кросс-модального рассуждения и генерации. На alltokens модель доступна для интеграции через API.

Baidu: ERNIE 4.5 VL 424B A47B

baidu

ERNIE-4.5-VL-424B-A47B — это мультимодальная модель на архитектуре Mixture-of-Experts (MoE) из серии Baidu ERNIE 4.5. Общее количество параметров составляет 424 миллиарда, из которых 47 миллиардов активируются для каждого токена. Модель прошла совместное обучение на текстовых и визуальных данных с использованием гетерогенной архитектуры MoE и изолированной маршрутизации по модальностям. Это обеспечивает высокую точность кросс-модальных рассуждений, понимание изображений и генерацию длинных контекстов до 131 000 токенов. Благодаря тонкой настройке методами SFT, DPO, UPO и RLVR, модель поддерживает режимы инференса с этапом предварительных рассуждений и без него. Решение предназначено для визуально-языковых задач на английском и китайском языках, оптимизировано для эффективного масштабирования и поддерживает работу в режимах 4-битного и 8-битного квантования. Доступ к модели осуществляется через API alltokens.