Каков максимальный объем контекста у Llama 3.3 70B?

Модель поддерживает контекстное окно размером до 131 072 токенов, что позволяет обрабатывать длинные документы и вести продолжительные диалоги.

Поддерживает ли модель работу с инструментами (Function Calling)?

Да, Llama 3.3 70B Instruct поддерживает параметры tools и tool_choice, что позволяет интегрировать её во внешние системы и сервисы через alltokens.

Для каких задач лучше всего подходит эта модель?

Она оптимальна для генерации текста, программирования, перевода и сложных логических рассуждений, где требуется баланс между скоростью и качеством ответа.

Meta: Llama 3.3 70B Instruct

Meta-llamaОбновлено: 06 декабря 2024 г.

Llama 3.3 70B Instruct — это высокопроизводительная мультиязычная модель от Meta, предлагающая возможности уровня флагманских решений в более компактном формате. Она оптимизирована для сложных текстовых задач, логических рассуждений и работы с контекстом до 128 тысяч токенов.

Использовать через API

Метрики

Вход

13 ₽/M

Выход

40 ₽/M

Контекст

131k tokens

Параметры

Релиз

06 декабря 2024 г.

Поддерживаемые параметры

frequency_penaltylogit_biasmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_p

Технический обзор

Мультиязычная большая языковая модель Meta Llama 3.3 представляет собой предварительно обученную и настроенную на выполнение инструкций генеративную модель объемом 70 миллиардов параметров. Модель оптимизирована для ведения диалогов на нескольких языках и превосходит многие доступные открытые и закрытые чат-модели в популярных отраслевых тестах производительности. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Доступно на alltokens.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Смежные подборки

Недорогие модели

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Meta: Llama 3.3 70B InstructТекущая

Для чего

Контекст

131k

Цена ₽

13 / 40

Meta: Llama 3.3 70B InstructТекущая

131k

13 / 40

Модель

StepFun: Step 3.5 Flash

Для чего

Обе модели находятся в одной весовой категории по производительности и предлагают схожую скорость генерации при работе с текстом.

Контекст

262k

Цена ₽

13 / 38

StepFun: Step 3.5 Flash

262k

13 / 38

Модель

Mistral: Mistral Small Creative

Для чего

Модели конкурируют в сегменте эффективных инструктивных моделей, подходящих для творческих и логических задач средней сложности.

Контекст

33k

Цена ₽

13 / 38

Mistral: Mistral Small Creative

33k

13 / 38

Когда выбирать

Необходима высокая точность следования сложным инструкциям при обработке больших объемов текста
Требуется поддержка широкого спектра параметров генерации, включая структурированный вывод и вызов инструментов
Нужна надежная мультиязычная модель для создания контента или анализа данных

Когда не выбирать

Требуется работа с модальностями, отличными от текста, такими как изображения или аудио
Необходима максимальная экономия ресурсов на крайне простых и коротких запросах
Задачи требуют специфической оптимизации под узкие программные стеки, где лучше справляются специализированные модели