Cognilex Qwen3.5-4B Synthetic QA IT

Это Qwen3.5-4B, адаптированная под учебные материалы Шри-Ланки на сингальском языке. Synthetic-QA LoRA-адаптер уже влит в базовую модель и сохранён как 16-bit checkpoint; модель служит основой для отдельного MCQ-адаптера. Размер — около 4,539 млрд параметров.

🔎 Ключевые особенности

• 🌐 Обучена на 100 370 синтетических парах «вопрос — прямой ответ» из учебников 6–11 классов.
• 🧳 Данные собраны из материалов Educational Publications Department; текст извлекали через pypdf с поддержкой сингальского и тамильского Unicode.
• ⚙️ Для генерации QA использовали deepseek-v4-flash (284B) через Embercloud API, до 15 000 выходных токенов.
• 🔅 Тренировка: Unsloth + LoRA (r=16, alpha=16), максимум 1 024 токена, early stopping около 11 000 шагов.
• 📌 Итоговый чекпойнт — merged_16bit; для MCQ-системы нужен companion-адаптер team-cognilex-qwen35-4b-mcq-lora-it.

💻 Пример

Сценарий из карточки: на вход подаётся вопрос по учебнику 6–11 класса на сингальском, а итоговая система с MCQ-адаптером выбирает номер ответа от 1 до 5. Инференс — greedy decoding, максимум 8 выходных токенов; точный промпт и парсинг ответа — в inference.ipynb.

Подробнее

Параметры merged-модели: 4 539 265 536 (~4,539B). Обучение заняло 31:12:07 на NVIDIA A100 80 GB в Google Colab.
Оценка относится к связке merged-модель + MCQ-адаптер: Overall 68,55; Easy 61,21; Medium 67,96; Hard 76,49.
Отдельных оценок этого чекпойнта в карточке нет; язык — только сингальский (si).