Как была создана модель Goliath 120B?

Модель создана с использованием специального фреймворка для слияния (merge) двух различных версий Llama 70B — Xwin и Euryale, что позволило объединить их сильные стороны в одном решении на 120 миллиардов параметров.

Для каких задач лучше всего подходит эта модель на alltokens?

Goliath 120B лучше всего проявляет себя в художественном письме, ролевых играх и задачах, требующих сложной логики и богатого словарного запаса.

Какие параметры генерации поддерживает Goliath 120B?

Модель поддерживает широкий спектр настроек, включая температуру, top_p, top_k, штрафы за повторения (repetition_penalty), а также min_p и top_a для тонкой настройки вывода.

Goliath 120B

ALAlpindaleОбновлено: 10 ноября 2023 г.

Goliath 120B — это масштабная языковая модель, созданная путем объединения двух дообученных Llama 70B (Xwin и Euryale). Она демонстрирует выдающиеся способности в творческом письме и сложных рассуждениях благодаря своей уникальной архитектуре слияния.

Использовать через API

Метрики

Вход

432 ₽/M

Выход

863 ₽/M

Контекст

6k tokens

Параметры

Релиз

10 ноября 2023 г.

Поддерживаемые параметры

frequency_penaltylogit_biaslogprobsmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstoptemperaturetop_atop_ktop_logprobstop_p

Технический обзор

Крупная языковая модель, созданная путем объединения двух дообученных моделей Llama 70B в одну структуру объемом 120B параметров. Данная версия сочетает в себе возможности моделей Xwin и Euryale. Благодарности: - chargoddard за разработку инструментария mergekit, использованного для слияния моделей. - Undi95 за помощь в подборе коэффициентов смешивания.

Кодинг

Инструменты

Длинный контекст

Мультимодальность

Веб-автоматизация

Сравнение с похожими моделями

Модель

Для чего

Контекст

Цена ₽

Модель

Goliath 120BТекущая

Для чего

Контекст

Цена ₽

432 / 863

Goliath 120BТекущая

432 / 863

Модель

AI21: Jamba Large 1.7

Для чего

Обе модели относятся к классу крупных систем с высокой мощностью обработки текста, но Goliath фокусируется на качестве генерации через слияние проверенных весов Llama.

Контекст

256k

Цена ₽

240 / 957

AI21: Jamba Large 1.7

256k

240 / 957

Модель

Writer: Palmyra X5

Для чего

Модели сопоставимы по уровню сложности решаемых задач в текстовой модальности, при этом Goliath предлагает специфический опыт взаимодействия, характерный для глубоко дообученных моделей.

Контекст

Цена ₽

72 / 718

Writer: Palmyra X5

72 / 718

Когда выбирать

Необходима высокая креативность и проработка персонажей в ролевых сценариях
Требуется глубокое понимание контекста и нюансов языка в рамках доступного окна
Нужна модель с проверенной базой Llama, оптимизированная для сложных текстовых задач

Когда не выбирать

Требуется работа с очень длинными документами, превышающими контекст в 6144 токена
Необходима максимальная скорость генерации для простых чат-ботов
Задача требует мультимодальности, например, анализа изображений или аудио