Что такое архитектура Sparse Mixture of Experts в Mixtral 8x7B?

Это метод, при котором для обработки каждого токена активируется только часть параметров (экспертов), что позволяет модели быть быстрее и эффективнее стандартных плотных сетей.

Можно ли использовать Mixtral 8x7B для написания кода?

Да, модель отлично справляется с задачами программирования, генерацией функций и отладкой кода на различных языках.

Доступна ли модель Mixtral 8x7B через alltokens?

Да, данная модель доступна в интерфейсе alltokens, что позволяет интегрировать её возможности в ваши рабочие процессы.

Mistral: Mixtral 8x7B Instruct

MIMistralaiОбновлено: 10 декабря 2023 г.

Mixtral 8x7B Instruct — это высокопроизводительная модель на базе архитектуры Mixture of Experts (MoE), которая эффективно справляется с генерацией текста и сложными инструкциями. Благодаря использованию восьми экспертных сетей, она обеспечивает высокую скорость работы и точность ответов при контекстном окне в 32 768 токенов.

Использовать через API

Метрики

Вход

68 ₽/M

Выход

68 ₽/M

Контекст

33k tokens

Параметры

Релиз

10 декабря 2023 г.

Поддерживаемые параметры

frequency_penaltylogit_biasmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_p

Технический обзор

Mixtral 8x7B Instruct — это предварительно обученная генеративная модель с архитектурой разреженной смеси экспертов (Sparse Mixture of Experts), разработанная компанией Mistral AI для использования в чат-ботах и выполнения инструкций. Модель включает 8 экспертных сетей (feed-forward networks), что в общей сложности составляет 47 миллиардов параметров. Данная версия Instruct прошла тонкую настройку специалистами Mistral для более точного следования командам пользователя. Модель использует технологию MoE.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Mistral: Mixtral 8x7B InstructТекущая

Для чего

Контекст

33k

Цена ₽

68 / 68

Mistral: Mixtral 8x7B InstructТекущая

33k

68 / 68

Модель

MiniMax: MiniMax M2.5

Для чего

Обе модели ориентированы на высокую производительность в текстовых задачах и поддерживают современные методы обработки инструкций.

Контекст

205k

Цена ₽

19 / 112

MiniMax: MiniMax M2.5

205k

19 / 112

Модель

Arcee AI: Trinity Large Thinking

Для чего

Модели сопоставимы по возможностям логического вывода и качеству работы с объемными текстовыми данными.

Контекст

262k

Цена ₽

28 / 100

Arcee AI: Trinity Large Thinking

Модели сопоставимы по возможностям логического вывода и качеству работы с объемными текстовыми данными.

262k

28 / 100

Когда выбирать

Необходима высокая скорость генерации текста без потери качества ответов
Требуется работа с контекстом среднего объема до 32 тысяч токенов
Нужна надежная модель для следования сложным многошаговым инструкциям

Когда не выбирать

Требуется обработка сверхдлинных документов, выходящих за рамки 32k токенов
Необходима работа с мультимодальными данными, такими как изображения или видео
Требуются специфические узкоспециализированные знания, доступные только в проприетарных моделях последнего поколения