NVIDIA: Llama 3.3 Nemotron Super 49B V1.5

Метрики

Технический обзор

Llama-3.3-Nemotron-Super-49B-v1.5 — это англоязычная модель для рассуждений и чатов с 49 миллиардами параметров, созданная на базе Meta Llama-3.3-70B-Instruct с контекстным окном 128K. Модель прошла дополнительное обучение для работы в агентных сценариях, таких как RAG и вызов инструментов, через этап SFT на данных по математике, программированию, науке и многошаговым диалогам. Последующее обучение с подкреплением включало оптимизацию предпочтений с учетом вознаграждения (RPO) для выравнивания ответов, RL с проверяемыми вознаграждениями (RLVR) для пошаговых рассуждений и итеративную DPO для оттачивания навыков использования инструментов. Благодаря методу нейронного архитектурного поиска Puzzle на основе дистилляции, часть блоков внимания была заменена, а ширина слоев FFN изменена. Это позволило сократить объем занимаемой памяти и увеличить пропускную способность, обеспечивая возможность развертывания на одном графическом процессоре H100 или H200 при сохранении качества следования инструкциям и цепочек рассуждений. Во внутренних тестах модель показала высокие результаты в логике и кодинге: MATH500 pass@1 составил 97.4, AIME-2024 — 87.5, AIME-2025 — 82.71, GPQA — 71.97, LiveCodeBench — 73.58 и MMLU-Pro (CoT) — 79.53. Модель ориентирована на практическую эффективность инференса с высокой скоростью генерации токенов и сниженным потреблением VRAM. Поддерживаются режимы с включенным и выключенным блоком рассуждений. Решение оптимально подходит для создания агентов, ассистентов и систем поиска в длинных контекстах, где важен баланс точности, стоимости и надежности работы с инструментами. Доступно через API alltokens.

Смежные подборки

Сравнение с похожими моделями

FAQ