В чем особенность архитектуры Mixtral 8x22B?

Модель использует технологию Mixture-of-Experts (MoE), где из 141 миллиарда общих параметров при каждом запросе активируются только 39 миллиардов, что повышает эффективность без потери качества.

Подходит ли эта модель для разработчиков?

Да, Mixtral 8x22B Instruct демонстрирует отличные результаты в программировании и поддерживает работу с инструментами через API alltokens.

Какие параметры генерации поддерживает модель?

Модель поддерживает широкий спектр настроек, включая температуру, seed для воспроизводимости, стоп-слова и структурированный вывод данных.

Mistral: Mixtral 8x22B Instruct

MIMistralaiОбновлено: 17 апреля 2024 г.

Mixtral 8x22B Instruct — это мощная разреженная модель, использующая архитектуру Mixture-of-Experts для достижения высокой производительности в математике и программировании. Благодаря 39 миллиардам активных параметров она обеспечивает глубокое понимание контекста и точность в сложных логических задачах.

Использовать через API

Метрики

Вход

240 ₽/M

Выход

718 ₽/M

Контекст

66k tokens

Параметры

Релиз

17 апреля 2024 г.

Поддерживаемые параметры

frequency_penaltymax_tokenspresence_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_p

Технический обзор

Официальная версия Mixtral 8x22B от Mistral, дообученная для следования инструкциям. Модель использует 39 миллиардов активных параметров из общего числа в 141 миллиард, что обеспечивает исключительную экономическую эффективность для ее масштаба. Ключевые преимущества включают: - высокие показатели в математике, программировании и логическом рассуждении; - увеличенное окно контекста (64k токенов); - свободное владение английским, французским, итальянским, немецким и испанским языками.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Mistral: Mixtral 8x22B InstructТекущая

Для чего

Контекст

66k

Цена ₽

240 / 718

Mistral: Mixtral 8x22B InstructТекущая

66k

240 / 718

Модель

AI21: Jamba Large 1.7

Для чего

Обе модели являются крупными гибридными решениями, ориентированными на высокую производительность в корпоративных задачах и обработку длинных контекстов.

Контекст

256k

Цена ₽

240 / 957

AI21: Jamba Large 1.7

256k

240 / 957

Модель

Z.ai: GLM 5 Turbo

Для чего

Модели сопоставимы по эффективности обработки запросов и качеству генерации кода, предлагая баланс между скоростью и глубиной ответов.

Контекст

203k

Цена ₽

144 / 479

Z.ai: GLM 5 Turbo

203k

144 / 479

Когда выбирать

Необходима высокая точность в написании программного кода и решении математических задач
Требуется работа с контекстом среднего объема до 65 тысяч токенов
Нужна модель с поддержкой структурированного вывода и инструментов (tool use)

Когда не выбирать

Требуется обработка сверхдлинных документов, выходящих за рамки 64k контекста
Необходима мультимодальность, так как модель работает только с текстовыми данными
Задачи требуют максимально легкой и быстрой модели для простых чат-ботов