В чем особенность архитектуры Ministral 8B?

Модель использует уникальный механизм чередующегося внимания в скользящем окне, что значительно ускоряет инференс и снижает требования к памяти.

Какой максимальный объем текста может обработать модель за раз?

Ministral 8B поддерживает контекстное окно до 128 000 токенов, что позволяет работать с объемными файлами и длинными переписками через alltokens.

Подходит ли модель для разработки ПО?

Да, благодаря поддержке структурированного вывода и высокой эффективности, она отлично справляется с задачами программирования и автоматизации.

Mistral: Ministral 8B

MIMistralaiОбновлено: 17 октября 2024 г.

Ministral 8B — это компактная модель, оптимизированная для работы на периферийных устройствах с использованием инновационного механизма внимания. Она поддерживает внушительное контекстное окно в 128k токенов, обеспечивая высокую скорость и эффективность обработки данных.

Использовать через API

Метрики

Вход

14 ₽/M

Выход

14 ₽/M

Контекст

128k tokens

Параметры

Релиз

17 октября 2024 г.

Поддерживаемые параметры

frequency_penaltymax_tokenspresence_penaltyresponse_formatseedstopstructured_outputstemperaturetop_p

Технический обзор

Ministral 8B — это модель с 8 миллиардами параметров, использующая уникальную архитектуру чередующегося внимания со скользящим окном для ускоренного и эффективного по памяти вывода. Разработанная для работы на локальных устройствах, она поддерживает контекст до 128 тысяч токенов и демонстрирует отличные результаты в задачах на эрудицию и логическое мышление. Модель превосходит аналоги в категории до 10 миллиардов параметров, что делает ее идеальным решением для приложений с низким временем задержки и приоритетом конфиденциальности данных.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Смежные подборки

Недорогие модели

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Mistral: Ministral 8BТекущая

Для чего

Контекст

128k

Цена ₽

14 / 14

Mistral: Ministral 8BТекущая

128k

14 / 14

Модель

DeepSeek: DeepSeek V4 Flash 0423

Для чего

Обе модели ориентированы на высокую скорость генерации и эффективную работу с контекстом в реальном времени.

Контекст

Цена ₽

7 / 13

DeepSeek: DeepSeek V4 Flash 0423

7 / 13

Модель

Tencent: Hy-MT2-1.8B

Для чего

Являются представителями компактных решений, предназначенных для быстрой обработки текстовых запросов.

Контекст

Цена ₽

6 / 22

Tencent: Hy-MT2-1.8B

Являются представителями компактных решений, предназначенных для быстрой обработки текстовых запросов.

6 / 22

Когда выбирать

Необходима высокая скорость инференса при ограниченных вычислительных ресурсах
Требуется обработка длинных документов с контекстом до 128 тысяч токенов
Нужна поддержка структурированного вывода данных для интеграции в приложения

Когда не выбирать

Требуется решение сверхсложных логических задач, доступных только моделям с огромным числом параметров
Необходима работа с мультимодальным контентом, таким как изображения или видео
Планируется выполнение узкоспециализированных научных вычислений, требующих глубокой экспертизы