Baidu: ERNIE 4.5 VL 424B A47B

Baidu: ERNIE 4.5 VL 28B A3B

baidu

Мощная мультимодальная чат-модель на базе архитектуры Mixture-of-Experts (MoE) с общим числом параметров 28 млрд, из которых 3 млрд активируются для каждого токена. Модель обеспечивает исключительное понимание текста и визуальных данных благодаря инновационной гетерогенной структуре MoE с изолированной маршрутизацией по модальностям. Построенная на масштабируемой инфраструктуре для обеспечения высокой пропускной способности при обучении и инференсе, модель использует передовые методы постобучения, включая SFT, DPO и UPO, для оптимизации производительности. Поддерживает контекстное окно длиной 131 000 токенов и выравнивание RLVR для достижения превосходных возможностей кросс-модального рассуждения и генерации. На alltokens модель доступна для интеграции через API.

Baidu: ERNIE 4.5 300B A47B

baidu

ERNIE-4.5-300B-A47B — это языковая модель с архитектурой Mixture-of-Experts (MoE) общим объемом 300 миллиардов параметров, разработанная компанией Baidu в рамках серии ERNIE 4.5. При обработке каждого токена активируется 47 миллиардов параметров. Модель поддерживает генерацию текста на английском и китайском языках. Она оптимизирована для высокой пропускной способности и эффективного масштабирования благодаря использованию гетерогенной структуры MoE с продвинутыми стратегиями маршрутизации и квантования, включая форматы FP8 и 2-бит. Данная версия дообучена для работы исключительно с текстовыми задачами и поддерживает логический вывод, работу с параметрами инструментов и расширенное контекстное окно до 131 000 токенов. Модель подходит для универсальных приложений на базе больших языковых моделей, требующих высокой скорости обработки и развитых способностей к рассуждению. На платформе alltokens вы можете получить доступ к возможностям этой модели.