Fiszka 0.3
компактный классификатор тем ИИ-статей и новостей
2 min read
Модель читает заголовок и текст новости или аннотацию научной статьи про искусственный интеллект и возвращает от нуля до трёх главных тем из 17 категорий (LLM, агенты, безопасность, робототехника, бизнес, регулирование и другие). В основе лежит компактная нейросеть на 252 194 параметра от независимой лаборатории aipoc-lab, работающая поверх эмбеддингов (векторных представлений текста) от embeddinggemma-2:270m. В отличие от крупных языковых моделей, сама классификация занимает несколько микросекунд на CPU и не требует тяжёлых зависимостей — достаточно Python и numpy. Пригодится для автоматической разметки новостных лент, дайджестов и баз публикаций с arXiv.
Ключевые особенности
- Минималистичная архитектура: полносвязные слои 768 → 256 → 128 → 64 → 17 с ReLU и прямым линейным пробросом 768 → 17.
- 17 целевых категорий: система выделяет только основную тему публикации, игнорируя инструменты, упомянутые вскользь.
- Полностью открытый пайплайн: веса под лицензией Apache 2.0 и открытый датасет из 9 968 текстов, размеченный двумя open-weight моделями-учителями (DeepSeek V4.1 Flash 1017 и NVIDIA Nemotron 3.5 Lightning).
- Работа без Ollama: при наличии готовых 768-мерных векторов модель запускается напрямую через флаг
--vectors.
Что можно сделать
- Встроить в пайплайн сбора новостей или RSS-агрегатор для автоматической расстановки тегов по свежим публикациям об ИИ.
- Размечать потоки препринтов с arXiv, чтобы быстро отбирать статьи по узким направлениям вроде RAG, RL или оценки моделей.
- Переобучить классификатор под собственный набор рубрик, взяв за основу открытый скрипт
train.pyи датасетaipoc-lab/fiszka-dataset.
Пример
ollama pull embeddinggemma-2:270m
pip install numpy
python fiszka.py --title "ReAct agents for web browsing" --text "We present an agent that plans multi-step actions ..."
Подробнее
Метрики на ручной разметке (Set 2, 83 текста): Precision 0.538, Recall 0.571, F1 0.554 (на уровне согласованных меток моделей-учителей с F1 0.508).На 2 522 статьях arXiv полнота (Recall) совпадения с авторскими категориями составила 0.803.
Ограничения: обучена только на английских текстах об ИИ длиннее 200 символов; требует строго эмбеддинги от
embeddinggemma-2:270m в формате title: ... | text: ... и занижает частоту тега llm.









Comments