kotag-0.8B
корейский теггер, управляемый промптом
2 мин чтения
kotag-0.8B от gogamza — instruction-following sequence tagger для корейского на базе Qwen/Qwen3.5-0.8B (0.85B параметров). За один forward pass модель размечает каждый символ или слово по вариантам из промпта и возвращает вероятности, не генерируя текст. В PyKoSpacing она используется как KoSpacing v2.
Ключевые особенности
- Любой набор меток в промпте: от 2 до 255 вариантов с описаниями; модель следует описаниям, а не именам ключей.
- Единицы — символ или слово; можно передавать контекстные поля, которые читаются, но не размечаются.
- Вероятности по каждой единице подходят для порогов, оценки неопределённости и constrained decoding.
- Устойчивость: при переименовании, перестановке или обратном порядке ключей ответы совпадают в 94.3–100.0% случаев на 8 натренированных задачах.
- Слабое место — ненатренированные задачи: результаты от 0.02 до 0.74; новая задача по одному описанию — скорее старт для файнтюна.
Пример
from pykospacing import Spacing
spacing = Spacing(backend='v2') # скачает gogamza/kotag-0.8b
spacing('아버지가방에들어가신다') # '아버지가 방에 들어가신다'Подробнее
Word spacing: word F1 0.838 при натренированной формулировке и 0.825 при новой; spacing correction — 0.918/0.912; sentence ends — 0.973/0.964.Обучение: full fine-tuning Qwen/Qwen3.5-0.8B, 1 615 шагов за 3 ч 30 мин, около 20 ГБ памяти на одной NVIDIA DGX Spark.
Ограничения: punctuation restoration падает с 0.822 до 0.159 при новых формулировках; procedural rules — 0.920 на натренированных правилах и 0.056 на новых.
Калибровка: temperature 1.0; на новых формулировках и ненатренированных задачах вероятностям доверять осторожно.










Комментарии