Qwen3.5-0.8B LLM Course 2026

Это файнтюн Qwen/Qwen3.5-0.8B (0,87 млрд параметров) для генерации ответов в японском Wikipedia RAG-соревновании курса «LLM講座2 2026». LoRA обучена 1 эпоху на 1062 примерах и слита с исходными весами; архитектура, config, tokenizer и chat template остались прежними. На вход модель получает вопрос и три найденных фрагмента, на выходе — JSON с ответом и номером источника.

🧐 Ключевые особенности

• 🧠 База — Qwen3.5-0.8B; параметров 0,87 млрд.
• 🔥 LoRA: r=16, alpha=32, dropout=0.05, 1 эпоха, затем слияние с базовыми весами.
• 📦 Строгий JSON: {"answer": ..., "chunk_id": ...} — ответ и номер фрагмента-источника.
• 🇯🇵 Японский язык: обучение на JEMHopQA и JSQuAD, плюс фрагменты японской Wikipedia.
• 🧪 Обучение полностью в Google Colab, без внешних API и других LLM.
• 🧩 Структура, config, tokenizer, chat template и имена/формы/типы весов совпадают с базовой моделью.

👀 Пример

Вход: вопрос на японском и три найденных фрагмента Wikipedia. Выход: {"answer": "…", "chunk_id": 2}, где chunk_id указывает на фрагмент с обоснованием.

Подробнее

Параметры: 0,87 млрд; LoRA r=16, alpha=32, dropout=0.05; 1 эпоха; 1062 обучающих примера.
Данные: JEMHopQA и JSQuAD (CC BY-SA 4.0), фрагменты японской Wikipedia из датасета соревнования.
Базовая модель — Apache 2.0; обучение и подготовка данных выполнены в Google Colab.
Ограничения: японский язык и формат RAG-ответа; бенчмарки в карточке не указаны.