NVIDIA: Llama 3.1 Nemotron Ultra 253B v1

Метрики

Технический обзор

Llama-3.1-Nemotron-Ultra-253B-v1 — это большая языковая модель, оптимизированная для сложного логического вывода, интерактивных чатов, генерации с дополнением данных из внешних источников (RAG) и задач вызова инструментов. Модель создана на базе Meta Llama-3.1-405B-Instruct и значительно доработана с использованием технологии поиска нейронной архитектуры (NAS). Это позволило повысить эффективность, снизить потребление памяти и сократить задержки при инференсе. Модель поддерживает контекстное окно до 128 000 токенов и может эффективно работать на узле с 8 графическими процессорами NVIDIA H100. Для активации режима рассуждений в системном промпте необходимо использовать фразу detailed thinking on. Подробности доступны в рекомендациях по использованию на alltokens.

Смежные подборки

Сравнение с похожими моделями

FAQ