Cognilex Qwen3.5-4B Synthetic QA IT
QA по сингальским учебникам
1 min read
Это Qwen3.5-4B, адаптированная под учебные материалы Шри-Ланки на сингальском языке. Synthetic-QA LoRA-адаптер уже влит в базовую модель и сохранён как 16-bit checkpoint; модель служит основой для отдельного MCQ-адаптера. Размер — около 4,539 млрд параметров.
Ключевые особенности
- Обучена на 100 370 синтетических парах «вопрос — прямой ответ» из учебников 6–11 классов.
- Данные собраны из материалов Educational Publications Department; текст извлекали через pypdf с поддержкой сингальского и тамильского Unicode.
- Для генерации QA использовали deepseek-v4-flash (284B) через Embercloud API, до 15 000 выходных токенов.
- Тренировка: Unsloth + LoRA (r=16, alpha=16), максимум 1 024 токена, early stopping около 11 000 шагов.
- Итоговый чекпойнт — merged_16bit; для MCQ-системы нужен companion-адаптер
team-cognilex-qwen35-4b-mcq-lora-it.
Пример
Сценарий из карточки: на вход подаётся вопрос по учебнику 6–11 класса на сингальском, а итоговая система с MCQ-адаптером выбирает номер ответа от 1 до 5. Инференс — greedy decoding, максимум 8 выходных токенов; точный промпт и парсинг ответа — в inference.ipynb.
Подробнее
Параметры merged-модели: 4 539 265 536 (~4,539B). Обучение заняло 31:12:07 на NVIDIA A100 80 GB в Google Colab.Оценка относится к связке merged-модель + MCQ-адаптер: Overall 68,55; Easy 61,21; Medium 67,96; Hard 76,49.
Отдельных оценок этого чекпойнта в карточке нет; язык — только сингальский (si).










Comments