JANSORI
базовая двуязычная модель на 3.22B параметров
2 мин чтенияобновлено
JANSORI — это предварительно обученная базовая языковая модель (LLM) с плотной (dense) архитектурой на 3.22 миллиарда параметров от автора pathcosmos. Она предназначена для продолжения текста на корейском и английском языках без чат-шаблонов и ролевых токенов. В отличие от инструктивных моделей, это «чистая» база (base-модель), которую можно использовать как отправную точку для дообучения под свои задачи. Модель пригодится исследователям и разработчикам, работающим с корейско-английскими текстами или изучающим поведение компактных моделей до стадии SFT.
Ключевые особенности
- Двуязычный фокус: модель обучена на ~98,57 млрд токенов, где примерно поровну представлены корейские (Wikipedia, FineWeb-2, HPLT 2.0) и английские данные, включая математику (OpenWebMath) и код (GitHub Code).
- Готовые квантизации в репозитории: помимо оригинальных весов в формате BF16, в том же коммите доступны GGUF-версии
Q8_0иQ4_K_Mс контрольными суммами SHA-256. - Компактный контекст и словарь: модель поддерживает длину контекста до 4 096 токенов и использует словарь размером 65 536 токенов.
- Честный разбор ограничений: автор приложил подробные замеры perplexity (PPL), скорости генерации и примеры ошибок на логике, арифметике и коде.
Что можно сделать
- Использовать как базу для файнтюнинга: дообучить модель (через LoRA или полный SFT) для генерации или обработки текстов на корейском и английском языках.
- Запустить локально через Ollama или vLLM: протестировать автодополнение текста на обычной видеокарте в формате GGUF или развернуть сервер в BF16.
Пример
ollama run hf.co/pathcosmos/JANSORI:Q8_0 "한국의 수도는"
ollama run hf.co/pathcosmos/JANSORI:Q4_K_M "한국의 수도는"
Подробнее
Метрики на holdout-выборке: корейский PPL — 9.09 (BF16 / Q8_0) и 9.20 (Q4_K_M); английский PPL — 10.22 (BF16 / Q8_0) и 10.32 (Q4_K_M).Потребление VRAM при генерации (замеры на H200): 8.8 ГБ для BF16, 5.06 ГБ для Q8_0 и 3.76 ГБ для Q4_K_M.
Обучение заняло 47 000 шагов (98 566 144 000 токенов).
Ограничения: как и другие чистые base-модели без дообучения, склонна к зацикливанию фраз, не решает простую арифметику и теряет отступы в коде.










Комментарии