Qwen3.5-0.8B-sintaxi-catala-4k
синтаксический анализатор каталонского языка
2 мин чтенияобновлено
Компактная языковая модель на 0,8 миллиарда параметров, обученная выполнять синтаксический разбор простых предложений на каталонском языке и возвращать результат в формате JSON. Проект создан путем дистилляции крупной модели Qwen/Qwen3.8-27B с использованием датасета на 975 примеров. В отличие от базовой версии, этой модели не требуются сложные промпты и примеры в контексте — она принимает на вход только саму фразу и выдает готовую разметку по школьной грамматике. Новинка пригодится исследователям каталонской лингвистики, разработчикам образовательных инструментов и тем, кто изучает синтаксис малоресурсных языков с помощью ИИ.
Ключевые особенности
- Точность структуры: выдает строгий JSON с разбором подлежащего, сказуемого, типа предиката и всех основных дополнений.
- Эффективность: работает значительно быстрее учителя за счет компактного размера 0,8B и обходится без длинных промптов.
- Обучение без LoRA: проведено полное дообучение (full fine-tuning) базовой модели Qwen/Qwen3.5-0.8B.
- Проверенные результаты: на тестовом наборе из 300 предложений достигает 86,7% точного совпадения разбора.
Что можно сделать
- Интеграция в сервисы: развернуть модель локально через vLLM для автоматической проверки домашних заданий по каталонскому синтаксису.
- Парсинг текстов: использовать для быстрой разметки простых предложений в лингвистических датасетах.
- Обучение языку: применять в образовательных чат-ботах для интерактивного разбора грамматических конструкций.
Пример
Отправьте модель на разбор предложения: «L'àvia serveix la sopa als néts.»
{"subjecte": {"text": "L'àvia", "nucli": "àvia", "eliptic": false},
"predicat": {"tipus": "verbal", "nucli": "serveix",
"complements": [{"funcio": "CD", "text": "la sopa"}, {"funcio": "CI", "text": "als néts"}]}
"veu": "activa", "impersonal": false}Подробнее
• Метрики (тест на 300 предложениях): точный разбор — 86,7%, F1 для дополнений — 92,4%, распознавание подлежащего — 98,3%.• Производительность: среднее время обработки составляет около 11 мс на фразу при пакетной обработке на RTX PRO 6000.
• Ограничения: модель работает только с простыми предложениями, может путать редкие функции (например, complement predicatiu) и иногда искажает слова при генерации.










Комментарии