Tallie 1.0

Tallie 1.0 — token-classification модель от pateluday на базе Qwen3-1.7B. Она читает форумные комментарии, извлекает названные объекты, определяет их тип и отношение автора, а затем ранжирует подходящие под вопрос. 1,33 млрд параметров, ~2,5 ГБ в bf16.

🔍 Ключевые особенности

• 📌 Не генерирует текст: языковая голова удалена, каждый комментарий проходит один forward pass.
• 🗂 Для каждого упоминания возвращает точный фрагмент, тип (book, movie, podcast, video_game и др.) и мнение (positive/negative/neutral/mixed).
• 🎯 Вопрос подаётся вместе с комментарием, поэтому релевантность учитывается в контексте, а не по ключевым словам.
• ⚙ Архитектура: 8 верхних слоёв Qwen3-1.7B удалены, causal attention заменён на bidirectional, добавлены 4 головы, обученные через LoRA.
• ⚡ На одной NVIDIA L4 обрабатывает 130 комментариев в секунду.
• 🔒 Ответы собираются из spans комментариев, поэтому модель не может выдумать неупомянутый объект.

💻 Пример

from huggingface_hub import snapshot_download
import sys
path = snapshot_download("pateluday/tallie")
sys.path.insert(0, path)
from tallie import Tallie
t = Tallie.load(path)
t.index(list_of_comment_strings)
print(t.ask("podcasts people recommend"))

Подробнее

Бенчмарки на ручной разметке: F1 поиска названий 0,86 (recall 0,94), точность типа 0,91, end-to-end F1 0,68, точность мнения 0,64.
Для запуска достаточно ~4 ГБ VRAM; веса занимают ~2,5 ГБ в bf16. Нужны torch и transformers>=4.55.
Ограничения: только английский, обучение на Hacker News; мнения смещены в положительную сторону, сарказм даётся тяжело.