Tongyi DeepResearch 30B A3B

Tongyi DeepResearch — это агентная большая языковая модель, разработанная Tongyi Lab. Общий объем параметров составляет 30 миллиардов, из которых при генерации каждого токена активируется только 3 миллиарда. Модель оптимизирована для длительных и глубоких задач по поиску информации, демонстрируя передовые результаты в таких тестах, как Humanity's Last Exam, BrowserComp, BrowserComp-ZH, WebWalkerQA, GAIA, xbench-DeepSearch и FRAMES. Это делает ее эффективным решением для сложного агентного поиска, логических рассуждений и многоэтапного решения проблем по сравнению с моделями предыдущих поколений.

Модель включает полностью автоматизированный конвейер синтетических данных для масштабируемого предварительного обучения, тонкой настройки и обучения с подкреплением. Для повышения качества рассуждений и поддержания актуальности знаний используется масштабное непрерывное предварительное обучение на разнообразных агентных данных. Также применяется сквозное обучение с подкреплением на основе собственной политики с использованием модифицированного метода Group Relative Policy Optimization, который включает градиенты на уровне токенов и фильтрацию отрицательных образцов для стабильности процесса. Модель поддерживает архитектуру ReAct для проверки базовых способностей и режим Heavy на базе IterResearch для достижения максимальной производительности за счет масштабирования вычислений во время вывода. Tongyi DeepResearch идеально подходит для продвинутых исследовательских агентов, работы с инструментами и ресурсоемких рабочих процессов.